La prédiction du prochain jeton est un objectif d'entraînement fondamental utilisé dans les modèles de langage autorégressifs, en particulier les grands modèles de langage (LLM). Dans ce paradigme, un modèle est entraîné à estimer la probabilité du prochain jeton dans une séquence étant donné tous les jetons précédents, apprenant ainsi efficacement la distribution de probabilité conditionnelle P(jeton_n | jeton_1, ..., jeton_{n-1}). Cet objectif permet au modèle de générer du texte en échantillonnant ou en sélectionnant de manière itérative le prochain jeton le plus probable et en l'ajoutant à la séquence d'entrée.
Cette approche est centrale pour les grands modèles de langage modernes construits sur l'architecture Transformer (architecture), qui ont supplanté les modèles antérieurs basés sur les réseaux de neurones récurrents et les modèles purement statistiques tels que les modèles de langage à n-grammes de mots. En s'entraînant sur de vastes ensembles de données, souvent extraits de l'internet public, ces modèles apprennent à produire un texte cohérent et contextuellement pertinent dans une large gamme de tâches, notamment la génération de langage naturel, la traduction automatique et la réponse à des questions.
Développement historique
Les racines conceptuelles de la prédiction du prochain jeton remontent aux années 1950, lorsque Noam Chomsky a développé des approches formelles pour décrire le langage à l'aide de grammaires formelles. Cependant, ces premiers modèles étaient basés sur des règles et n'impliquaient pas de prédiction probabiliste. Dans les années 1970, Frederick Jelinek et ses collègues chez IBM Research ont introduit des approches statistiques de la modélisation du langage dans le cadre de travaux sur la reconnaissance vocale. Leur groupe a utilisé des modèles de langage à n-grammes probabilistes de séquences de mots et a introduit la perplexité comme mesure informationnelle de l'incertitude du modèle.
En 1980, le premier modèle de langage statistique significatif a été proposé, et au cours de cette décennie, IBM a mené des expériences de type « Shannon », où des sujets humains prédisaient ou corrigeaient du texte pour identifier des améliorations potentielles pour la modélisation du langage. Ces méthodes statistiques ont dominé jusqu'à l'essor des approches neuronales dans les années 2000.
Fondements statistiques
Les modèles purement statistiques, en particulier ceux basés sur les n-grammes de mots, estiment la probabilité d'un mot étant donné les n-1 mots précédents. Ces modèles reposent sur le comptage des occurrences dans les corpus d'entraînement et souffrent de la malédiction de la dimensionnalité, car le nombre de séquences possibles croît de manière exponentielle avec la taille du vocabulaire, entraînant une rareté des données.
Les modèles de langage exponentiels, tels que les modèles à entropie maximale, remédient à certaines limitations en encodant les relations entre les mots et les historiques de n-grammes à l'aide de fonctions de caractéristiques. La probabilité d'un mot étant donné son historique est calculée comme P(w_m | w_1, ..., w_{m-1}) = 1/Z(w_1, ..., w_{m-1}) * exp(a^T f(w_1, ..., w_m)), où Z est une fonction de partition, a est un vecteur de paramètres et f est une fonction de caractéristiques. Ces modèles nécessitent souvent une régularisation ou un a priori sur les paramètres. Le modèle log-bilinéaire est un autre exemple de modèle de langage exponentiel.
Les modèles skip-gram, introduits plus tard, se concentrent sur la prédiction des mots environnants étant donné un mot central, ce qui diffère de la prédiction stricte du prochain jeton mais partage l'idée d'apprendre des distributions de mots à partir du contexte.
Modèles de langage neuronaux
Les modèles de langage neuronaux sont devenus de plus en plus importants dans les années 2000. Yoshua Bengio et ses co-auteurs ont introduit un modèle de langage neuronal probabiliste qui apprenait des représentations distribuées de mots tout en estimant la probabilité de séquences de mots. Ces plongements dans un espace continu ont aidé à atténuer la malédiction de la dimensionnalité en représentant les mots comme des combinaisons non linéaires de poids dans un réseau de neurones, évitant ainsi le problème de rareté des données inhérent aux modèles à n-grammes.
Les réseaux de neurones récurrents (RNN) ont étendu cette approche en conservant des informations des mots précédents à mesure que la séquence était traitée. En 2010, Tomáš Mikolov et ses collègues ont démontré que les modèles de langage à réseaux de neurones récurrents pouvaient surpasser considérablement les modèles à n-grammes conventionnels. Les modèles basés sur les RNN traitent les séquences de manière séquentielle, en maintenant un état caché qui capture le contexte, et prédisent le prochain jeton en fonction de cet état et de l'entrée actuelle.
La révolution Transformer
L'introduction de l'architecture Transformer (architecture) a marqué un changement significatif dans la prédiction du prochain jeton. Les transformers, qui reposent sur des mécanismes d'auto-attention, permettent aux modèles de pondérer l'importance de tous les jetons précédents d'une séquence simultanément, plutôt que de les traiter séquentiellement. Cette parallélisation a permis l'entraînement sur des ensembles de données beaucoup plus vastes et a conduit au développement de grands modèles de langage.
En 2026, les grands modèles de langage sont principalement basés sur des transformers entraînés sur de grands ensembles de données, utilisant fréquemment des textes extraits de l'internet public. Ces modèles ont supplanté les modèles basés sur les réseaux de neurones récurrents, qui avaient eux-mêmes supplanté les modèles purement statistiques. Des entreprises telles que OpenAI, Anthropic et Google DeepMind ont développé des LLM de premier plan qui utilisent la prédiction du prochain jeton comme objectif d'entraînement central.
Processus d'entraînement et de génération
Pendant l'entraînement, un modèle est présenté avec des séquences de jetons et apprend à prédire chaque jeton étant donné les précédents. La fonction de perte, généralement l'entropie croisée, mesure la différence entre les probabilités prédites et les jetons suivants réels. Grâce à la rétropropagation et aux techniques d'optimisation, le modèle ajuste ses paramètres pour minimiser cette perte sur l'ensemble du corpus d'entraînement.
Au moment de l'inférence, la génération de texte se déroule de manière autorégressive : le modèle reçoit une invite initiale, prédit le prochain jeton, l'ajoute à l'invite et répète le processus. Cela génère du texte jeton par jeton, chaque nouveau jeton étant conditionné par tous les jetons précédemment générés. Le choix du jeton peut être déterministe (sélection du jeton le plus probable) ou stochastique (échantillonnage à partir de la distribution de probabilité), avec des techniques telles que l'échelle de température et l'échantillonnage top-k affectant la diversité de la sortie.
Applications et impact
La prédiction du prochain jeton permet une grande variété de tâches de langage naturel au-delà de la génération de texte. Cela inclut la reconnaissance vocale, la traduction automatique, la reconnaissance optique de caractères, la reconnaissance de l'écriture manuscrite, l'induction grammaticale, la recherche d'informations et la réponse aux catastrophes. La capacité de prédire des séquences en langage naturel rend les modèles de langage utiles pour l'optimisation d'itinéraires et d'autres tâches basées sur des séquences.
Les grands modèles de langage entraînés avec la prédiction du prochain jeton ont démontré des capacités dans des tâches telles que le résumé, la génération de code et l'IA conversationnelle. Cependant, il reste incertain que ces modèles soient des modèles cognitifs plausibles du traitement du langage humain. Au moins pour les réseaux de neurones récurrents, la recherche a montré qu'ils apprennent parfois des schémas que les humains n'apprennent pas, mais échouent à apprendre des schémas que les humains apprennent généralement.
Évaluation et références
L'évaluation des modèles de langage se fait principalement par comparaison avec des références d'échantillons créées par des humains, dérivées de tâches typiques orientées vers le langage. D'autres tests de qualité moins établis examinent le caractère intrinsèque d'un modèle ou comparent deux modèles. Étant donné que les modèles de langage sont destinés à être dynamiques et à apprendre à partir de données, certains modèles proposés étudient les taux d'apprentissage en inspectant les courbes d'apprentissage.
De nombreux ensembles de données ont été développés pour évaluer les systèmes de traitement du langage. Cela inclut Massive Multitask Language Understanding (MMLU), Corpus of Linguistic Acceptability, GLUE benchmark, Microsoft Research Paraphrase Corpus, Multi-Genre Natural Language Inference, Question Natural Language Inference, Quora Question Pairs, Recognizing Textual Entailment, Semantic Textual Similarity Benchmark, SQuAD question answering Test, Stanford Sentiment Treebank, Winograd NLI, BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender et CrowS-Pairs. Ces références évaluent divers aspects de la compréhension et de la génération du langage, fournissant des mesures standardisées pour comparer les performances des modèles.
Directions futures
Alors que les grands modèles de langage continuent d'évoluer, la prédiction du prochain jeton reste un objectif fondamental, mais les chercheurs explorent des variations et des extensions. Cela inclut des objectifs qui intègrent l'apprentissage par renforcement à partir de retours humains, ainsi que des architectures qui améliorent l'efficacité et la gestion du contexte. Le développement continu de matériel spécialisé, tel que les systèmes AWS Trainium et Cerebras, vise à soutenir les demandes computationnelles de l'entraînement et du déploiement de ces modèles à grande échelle.