La tokenisation en sous-mots est une technique de traitement du langage naturel qui convertit un texte brut en une séquence de jetons, où chaque jeton peut être un mot entier, une partie d'un mot, ou même un caractère unique. Elle se situe entre la tokenisation au niveau du mot, qui traite chaque mot comme une unité indivisible, et la tokenisation au niveau du caractère, qui traite le texte comme des caractères individuels. En utilisant des unités de sous-mots, les tokeniseurs peuvent gérer efficacement de grands vocabulaires, représenter des mots rares ou inconnus, et préserver des informations morphologiques significatives. Cette approche est fondamentale pour les grands modèles de langage modernes et d'autres architectures de réseaux de neurones qui traitent du texte.
L'idée centrale est de décomposer les mots en morceaux plus petits qui apparaissent fréquemment dans le corpus d'entraînement. Par exemple, le mot « unhappiness » pourrait être divisé en « un », « happi » et « ness », ou « unhappiness » pourrait être conservé comme un seul jeton s'il est suffisamment courant. Cette flexibilité permet au modèle de comprendre des mots nouveaux en combinant des unités de sous-mots connues, tout en maintenant une taille de vocabulaire gérable. La tokenisation en sous-mots a été largement adoptée depuis le milieu des années 2010 et est un composant clé des modèles basés sur Transformer (architecture).
Histoire et développement
Le concept de tokenisation en sous-mots est né du besoin de résoudre les problèmes de vocabulaire ouvert en traduction automatique et en modélisation du langage. Les premières approches dans les années 1990 et 2000 utilisaient l'analyse morphologique, mais elles étaient souvent spécifiques à une langue et coûteuses en calcul. Une avancée majeure est venue avec l'introduction du codage par paires d'octets (BPE) pour la compression de texte, adapté à la tokenisation par Rico Sennrich et ses collègues en 2016. Leur article « Neural Machine Translation of Rare Words with Subword Units » a démontré que le BPE pouvait gérer efficacement les mots rares dans les modèles Sequence-to-Sequence (Seq2Seq).
À peu près à la même époque, le modèle WordPiece a été développé chez Google, initialement pour la reconnaissance vocale et plus tard popularisé par BERT. Une autre variante, le modèle de langue Unigram, a été introduite par Taku Kudo en 2018 et utilisée dans des modèles comme ALBERT et T5. Ces méthodes diffèrent dans la manière de sélectionner les unités de sous-mots, mais partagent toutes l'objectif de trouver une segmentation optimale du texte.
Méthodes et algorithmes
Codage par paires d'octets (BPE)
Le BPE est un algorithme de compression de données qui fusionne itérativement la paire de symboles consécutifs la plus fréquente (initialement des caractères) en un nouveau symbole. Pour la tokenisation, le processus commence avec un corpus de texte divisé en caractères, puis compte de manière répétée les paires adjacentes et fusionne la paire la plus fréquente jusqu'à atteindre une taille de vocabulaire cible. Le vocabulaire résultant contient des caractères, des sous-mots et des mots entiers. Le BPE est utilisé dans de nombreux modèles, y compris la série GPT de OpenAI et LLaMA de Meta.
WordPiece
WordPiece est similaire au BPE mais utilise un critère basé sur la vraisemblance pour la fusion. Il construit un vocabulaire en commençant par des caractères individuels, puis ajoute de nouveaux jetons qui maximisent la vraisemblance des données d'entraînement. Cette approche tend à produire des sous-mots plus significatifs sur le plan linguistique. WordPiece est utilisé dans BERT, ELECTRA et d'autres modèles de Google.
Modèle de langue Unigram
La tokenisation Unigram traite chaque sous-mot comme une unité indépendante et utilise un modèle probabiliste pour choisir la meilleure segmentation pour chaque mot. Elle commence avec un grand vocabulaire de sous-mots possibles, puis l'élague en fonction de la contribution de chaque jeton à la vraisemblance globale. Cette méthode permet plusieurs segmentations et est utilisée dans les implémentations de SentencePiece.
Rôle dans les modèles de langage modernes
La tokenisation en sous-mots est une étape de prétraitement critique pour presque tous les grands modèles de langage contemporains. Des modèles comme GPT-4, Claude et Gemini reposent sur des tokeniseurs qui convertissent le texte en jetons de sous-mots avant de le faire passer dans l'architecture Transformer (architecture). Le choix du tokeniseur affecte les performances du modèle, l'efficacité computationnelle et la capacité à gérer plusieurs langues.
Par exemple, un tokeniseur avec un vocabulaire plus large peut représenter plus de mots comme des jetons uniques, réduisant la longueur de séquence et le coût computationnel, mais il peut aussi augmenter l'empreinte mémoire du modèle. À l'inverse, un vocabulaire plus petit force plus de mots à être divisés, ce qui peut conduire à des séquences plus longues et à une perte potentielle de sens. Les tokeniseurs sont généralement entraînés sur de grands corpus et restent fixes pendant l'entraînement du modèle.
La tokenisation en sous-mots permet également le transfert cross-lingue. En partageant des unités de sous-mots entre les langues, les modèles peuvent mieux gérer l'alternance codique et les mots rares dans les langues à faibles ressources. Cela est particulièrement important pour les modèles multilingues comme mBERT et XLM-RoBERTa.
Défis et orientations futures
Malgré son utilisation répandue, la tokenisation en sous-mots a des limites. Un problème est qu'elle peut produire des segmentations arbitraires qui ne correspondent pas aux frontières morphologiques, rendant plus difficile pour les modèles d'apprendre la structure des mots. Un autre défi est la gestion des mots hors vocabulaire, en particulier dans des domaines spécialisés comme la médecine ou le droit, où de nouveaux termes apparaissent fréquemment. Certains chercheurs ont proposé une tokenisation au niveau du caractère ou de l'octet pour éviter ces problèmes, mais ces approches nécessitent souvent des séquences plus longues et plus de calcul.
Les développements récents incluent la tokenisation adaptative, où le tokeniseur peut être ajusté pendant l'entraînement, et des modèles de bout en bout qui apprennent à segmenter le texte sans tokeniseur fixe. Cependant, en 2025, la tokenisation en sous-mots reste la norme dans la plupart des systèmes de production, et la recherche en cours vise à améliorer son efficacité et sa qualité linguistique.