Un jeton est l'unité fondamentale de texte qu'un modèle de langage lit et écrit. Dans le contexte des grands modèles de langage, les jetons ne sont pas nécessairement des mots entiers ; ils peuvent être des sous-mots, des caractères, ou même des représentations au niveau des octets. Le processus de conversion du texte brut en jetons est appelé tokenisation, et il s'agit d'une étape de prétraitement critique qui détermine la manière dont un modèle interprète et génère le langage. Toutes les métriques opérationnelles d'un modèle de langage, y compris la tarification, la taille de la fenêtre de contexte et la vitesse de traitement, sont mesurées en jetons, ce qui en fait la monnaie des systèmes d'intelligence artificielle modernes.
La tokenisation permet aux modèles de gérer efficacement un vaste vocabulaire. Au lieu de stocker chaque mot possible, un tokeniseur divise le texte en morceaux plus petits en fonction d'un vocabulaire appris, généralement compris entre 30 000 et 100 000 jetons. Par exemple, le mot « malheur » pourrait être divisé en « mal », « heur » et « eur », tandis que des mots courants comme « le » restent des jetons uniques. Cette approche équilibre l'efficacité computationnelle avec la couverture linguistique, permettant aux modèles de traiter diverses langues et un jargon technique sans une taille de dictionnaire impraticable.
Méthodes de tokenisation
Plusieurs algorithmes de tokenisation ont été développés au fil des ans. Le codage par paires d'octets (BPE), introduit par Rico Sennrich et ses collègues en 2016, est l'une des méthodes les plus largement utilisées. Le BPE fusionne itérativement les paires de caractères ou de sous-mots les plus fréquentes dans un corpus d'entraînement jusqu'à ce qu'une taille de vocabulaire cible soit atteinte. Une autre méthode populaire est WordPiece, développée chez Google, qui utilise une approche basée sur la vraisemblance pour sélectionner les fusions. Plus récemment, SentencePiece, créé par Google, traite l'ensemble du texte comme une séquence de caractères et peut gérer des langues sans frontières de mots claires, comme le japonais ou le chinois.
La tokenisation par modèle de langue unigramme, également implémentée dans SentencePiece, adopte une approche probabiliste en sélectionnant la segmentation la plus probable d'un texte en fonction d'un modèle unigramme entraîné. Chaque méthode présente des compromis en termes de taux de compression, de gestion des mots hors vocabulaire et de performance en aval du modèle. Le choix du tokeniseur affecte considérablement la capacité d'un modèle à comprendre les mots rares, les variations morphologiques et les textes multilingues.
Rôle dans les modèles de langage
Dans les modèles basés sur les transformeurs, les jetons sont convertis en plongements numériques qui servent d'entrée au réseau neuronal. Chaque jeton se voit attribuer un identifiant entier unique issu du vocabulaire, et ces identifiants sont mappés à des vecteurs de haute dimension qui capturent des informations sémantiques et syntaxiques. Le modèle traite des séquences de ces plongements à travers plusieurs couches d'attention et de réseaux à rétroaction, apprenant des motifs et des relations entre les jetons.
Pendant la génération, le modèle produit une distribution de probabilité sur l'ensemble du vocabulaire de jetons pour le jeton suivant, étant donné le contexte précédent. Ce processus autorégressif se poursuit jusqu'à ce qu'un jeton spécial de fin de séquence soit produit ou qu'une longueur maximale soit atteinte. La granularité des jetons affecte la capacité du modèle à générer un texte cohérent ; les jetons de sous-mots permettent une composition flexible de nouveaux mots, tandis que les jetons au niveau des caractères nécessiteraient des séquences beaucoup plus longues et plus de calcul.
Fenêtre de contexte et limites
La taille de la fenêtre de contexte, mesurée en jetons, définit la quantité de texte qu'un modèle peut considérer à la fois. Les premiers modèles comme GPT-2 avaient des fenêtres de contexte de 1 024 jetons, tandis que des modèles modernes comme GPT-4 Turbo supportent jusqu'à 128 000 jetons, et certains modèles comme Claude 3 offrent des contextes de 200 000 jetons. Ces limites impactent directement les types de tâches qu'un modèle peut effectuer, comme analyser de longs documents, résumer des livres entiers ou maintenir des conversations cohérentes sur des interactions prolongées.
Lorsque l'entrée dépasse la fenêtre de contexte, les modèles tronquent généralement les jetons les plus anciens ou utilisent des techniques comme les fenêtres glissantes ou l'augmentation par récupération pour gérer des textes plus longs. La fenêtre de contexte influence également l'utilisation de la mémoire et le coût computationnel ; des contextes plus longs nécessitent plus de calculs d'attention, qui évoluent de manière quadratique avec la longueur de séquence dans les transformeurs standards. Cela a motivé la recherche sur des mécanismes d'attention efficaces, tels que l'attention sparse et l'attention linéaire, pour étendre les longueurs de contexte sans demandes de ressources prohibitives.
Tarification et coût
Les fournisseurs d'API facturent en fonction de l'utilisation de jetons, en différenciant généralement les jetons d'entrée et de sortie. Par exemple, le GPT-4 Turbo d'OpenAI coûte 0,01 $ pour 1 000 jetons d'entrée et 0,03 $ pour 1 000 jetons de sortie, tandis que le Claude 3 Opus d'Anthropic facture 0,015 $ pour l'entrée et 0,075 $ pour la sortie par 1 000 jetons. Ces prix reflètent le coût computationnel du traitement des jetons, les jetons de sortie étant plus chers en raison du processus de génération séquentielle.
Le nombre de jetons détermine également le coût du fine-tuning et de l'entraînement. Entraîner un modèle implique de traiter des milliards de jetons, et le coût total évolue linéairement avec le nombre de jetons. Par exemple, l'entraînement d'un modèle à 70 milliards de paramètres comme Llama 2 a nécessité environ 2 billions de jetons, coûtant des millions de dollars en calcul. Comprendre la tarification des jetons est essentiel pour budgétiser les applications d'IA, en particulier celles impliquant un traitement de texte à grande échelle ou des interactions en temps réel.
Vitesse et débit
La vitesse de traitement est mesurée en jetons par seconde (TPS). La vitesse d'inférence varie considérablement en fonction du matériel et de la taille du modèle. Sur des GPU haut de gamme comme le NVIDIA A100, un modèle à 7 milliards de paramètres pourrait générer 20 à 30 jetons par seconde, tandis que des modèles plus petits sur du matériel spécialisé peuvent atteindre des centaines de jetons par seconde. Des entreprises comme Groq ont développé des puces personnalisées qui atteignent un débit extrêmement élevé, leur LPU (unité de traitement de langage) délivrant plus de 500 jetons par seconde pour certains modèles.
La vitesse est critique pour les applications en temps réel telles que les chatbots, la complétion de code et la traduction en direct. La latence, le temps jusqu'au premier jeton, est également mesurée en millisecondes et dépend de la taille du modèle et de l'efficacité de la pile d'inférence. Des techniques comme la quantification, l'élagage de modèles et le décodage spéculatif sont utilisées pour améliorer le débit de jetons, permettant des déploiements plus réactifs et plus rentables.
Efficacité et optimisation des jetons
Les chercheurs et les praticiens cherchent continuellement à améliorer l'efficacité des jetons. Cela inclut le développement de tokeniseurs qui compressent le texte plus efficacement, réduisant le nombre de jetons nécessaires pour représenter la même information. Par exemple, certains modèles utilisent la tokenisation au niveau des octets pour gérer du texte arbitraire, tandis que d'autres emploient des vocabulaires spécialisés pour le code ou la notation scientifique.
L'ingénierie de prompts se concentre également sur l'efficacité des jetons, car des prompts plus courts réduisent le coût et la latence. Des techniques comme le réglage par instructions et l'apprentissage en quelques exemples visent à obtenir les résultats souhaités avec une utilisation minimale de jetons. De plus, la distillation de modèles et la quantification peuvent réduire le coût computationnel par jeton, rendant les modèles plus rapides et moins chers à exécuter sans perte de performance significative.
Directions futures
À mesure que les modèles de langage évoluent, la tokenisation reste un domaine de recherche actif. Les modèles multimodaux tokenisent désormais non seulement le texte, mais aussi les images, l'audio et la vidéo, en utilisant des tokeniseurs séparés ou unifiés. Par exemple, des modèles comme GPT-4V traitent des patchs d'images comme des jetons, tandis que les modèles audio convertissent les formes d'onde en représentations discrètes. Cette expansion des types de jetons permet des systèmes d'IA plus polyvalents capables de comprendre et de générer à travers les modalités.
Il y a également un intérêt croissant pour la tokenisation dynamique, où la segmentation s'adapte en fonction du contexte ou de la tâche. Certaines recherches explorent l'utilisation d'unités de jetons plus grandes, comme des phrases entières ou des expressions, pour améliorer l'efficacité et la cohérence. Cependant, ces approches rencontrent des défis pour maintenir la flexibilité et gérer des entrées nouvelles. Le développement continu des techniques de tokenisation continuera de façonner les capacités et l'économie des modèles de langage.