Les corpus du clavier, en chiffres

Les deux corpus

Aucun des deux ne remplace l'autre. Le premier apporte le vocabulaire et l'enchaînement des mots, le second la langue de tous les jours. Tous deux sont sous licence Creative Commons et exigent la citation de leurs auteurs : la voici, pour chacun.

@inproceedings{philippy-etal-2025-luxembedder,
    title     = "{L}ux{E}mbedder: A Cross-Lingual Approach to Enhanced {L}uxembourgish Sentence Embeddings",
    author    = "Philippy, Fred and Guo, Siwen and Klein, Jacques and Bissyande, Tegawende",
    booktitle = "Proceedings of the 31st International Conference on Computational Linguistics",
    year      = "2025",
    address   = "Abu Dhabi, UAE",
    publisher = "Association for Computational Linguistics",
    url       = "https://aclanthology.org/2025.coling-main.753/",
    pages     = "11369--11379"
}

@inproceedings{philippy-etal-2024-forget,
    title     = "Forget {NLI}, Use a Dictionary: Zero-Shot Topic Classification for Low-Resource Languages with Application to {L}uxembourgish",
    author    = "Philippy, Fred and Haddadan, Shohreh and Guo, Siwen",
    booktitle = "Proceedings of the 3rd Annual Meeting of the Special Interest Group on Under-resourced Languages @ LREC-COLING 2024",
    year      = "2024",
    address   = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url       = "https://aclanthology.org/2024.sigul-1.13",
    pages     = "97--104"
}

Pourquoi deux corpus et pas un

LuxAlign est soixante fois plus gros. On pourrait croire qu'il suffit. Mais un corpus de presse ne tutoie personne, et un clavier de téléphone ne fait presque que ça. Voici la même mesure sur les deux : la part de mots du registre familier (dech, däin, hues, bass, mamm, brudder…) ramenée à dix mille mots, pour que la différence de taille ne fausse pas la comparaison.

Une langue, pas trois

Le luxembourgeois s'écrit dans un pays où l'on parle aussi allemand et français, et beaucoup de corpus disponibles mélangent les trois. Un dictionnaire qui avale ce mélange finit par proposer de l'allemand à quelqu'un qui écrit en luxembourgeois. La mesure ci-dessous compte les mots allemands sans équivalent orthographique possible en luxembourgeois (und, wir, auch, ich, ist) : cela signale une bascule de langue et non un emprunt.

Les mots

Le découpage en mots est exactement celui du script qui fabrique le dictionnaire embarqué : lettres accentuées et traits d'union compris, deux caractères minimum, la ponctuation écartée.

Les accents, et la disposition du clavier

Le clavier est en QWERTZ, la convention au Luxembourg, avec trois voyelles accentuées sur des touches à elles : é, ä et ë. Ce choix n'est pas esthétique, il vient du décompte ci-dessous.

Les n‑grammes, ou comment le clavier devine la suite

Un n‑gramme, c'est une suite de mots observée dans les textes. En les comptant, on obtient un modèle qui répond à une question simple : après ces mots-là, qu'est-ce qui vient d'habitude ? C'est ici que LuxAlign compte le plus : ses phrases font dix-sept mots en moyenne, contre neuf pour LETZ, et seul un texte suivi apprend au clavier ce qui suit quoi.

Du corpus au clavier

Les corpus ne sont pas embarqués tels quels. Un script les transforme en deux fichiers compacts, les seuls que l'application lit, et qui tiennent dans l'APK pour fonctionner sans aucune connexion.

Envie de voir le résultat sans rien installer ? Le simulateur fait tourner ce même dictionnaire et ces mêmes prédictions directement dans le navigateur, où le modèle est simplement réencodé plus compactement, à suggestions identiques, pour ne pas faire retélécharger cinq mégaoctets à chaque visite.

Méthode et limites

Jeux de données : fredxlpy/LuxAlign · fredxlpy/LETZ · fredxlpy/ParaLux (évaluation)
Script de calcul : generate_corpus_stats.py · Attribution complète : CORPUS.md · Données brutes de cette page : corpus_stats.json