Un modèle autorégressif est un modèle génératif qui produit une séquence un élément à la fois, chaque nouvel élément étant conditionné par tout ce qui a été généré avant lui. En traitement du langage naturel, cela signifie prédire le token suivant étant donné la séquence de tokens déjà produite, puis réinjecter ce token pour prédire celui qui suit. Le terme trouve son origine en statistiques, où les modèles autorégressifs prédisent une valeur dans une série temporelle à partir de ses propres valeurs passées ; les grands modèles de langage modernes appliquent la même factorisation de gauche à droite au texte.
La génération autorégressive est la stratégie de décodage par défaut derrière la plupart des assistants conversationnels modernes basés sur de grands modèles de langage, de la série GPT d'OpenAI à Claude d'Anthropic et Llama de Meta. Ce n'est pas la seule façon de générer des séquences, mais en 2025, elle reste le paradigme dominant pour le texte, et des variantes sont utilisées pour l'audio, le code et même certains modèles d'images.
Historique
Le modèle AR statistique remonte aux travaux des années 1920 sur les séries temporelles, bien avant l'existence de l'informatique. En modélisation du langage, les modèles n-grammes des années 1980 et 1990 étaient autorégressifs dans l'esprit, prédisant un mot à partir d'une fenêtre fixe de mots précédents en utilisant des probabilités comptées. Les modèles de langage neuronaux autorégressifs ont émergé avec les réseaux de neurones récurrents puis les réseaux LSTM, qui traitaient une séquence étape par étape et prédisaient le mot suivant à chaque étape. Le paradigme a été repris en grande partie sans changement dans l'architecture transformer : GPT-2 et ses successeurs sont des transformers décodeurs uniquement, entraînés à prédire le token suivant, un objectif parfois appelé modélisation causale du langage.
Fonctionnement
Pendant l'entraînement, un modèle autorégressif reçoit un corpus de texte et, à chaque position, doit prédire le token suivant étant donné tous les tokens précédents, une approche connue sous le nom d'apprentissage auto-supervisé car les étiquettes proviennent du texte lui-même plutôt que d'une annotation humaine. La fonction de perte du modèle est généralement l'entropie croisée entre la distribution prédite du token suivant et le token suivant réel. Au moment de l'inférence, des stratégies d'échantillonnage telles que le décodage glouton, top-k ou l'échantillonnage par noyau déterminent comment le token suivant est choisi à partir de la distribution de probabilité prédite par le modèle, et le token choisi est ajouté au contexte avant la prédiction suivante, un processus répété jusqu'à ce qu'un token de fin de séquence ou une limite de longueur soit atteint.
Autorégressif versus autres approches
Les modèles autorégressifs contrastent avec les approches non autorégressives et basées sur la diffusion. Les modèles de diffusion, utilisés pour la plupart des générations d'images et de vidéos, produisent une sortie entière d'un coup et la raffinent itérativement en supprimant le bruit, plutôt que de générer élément par élément. Certains systèmes de recherche ont exploré la génération de texte non autorégressive pour la vitesse, et au milieu des années 2020, quelques laboratoires ont expérimenté des modèles de texte basés sur la diffusion, mais aucun n'avait déplacé le décodage autorégressif comme approche dominante pour le langage d'ici 2025. Les modèles à espace d'état comme Mamba sont également autorégressifs dans le sens où ils prédisent séquentiellement, mais remplacent le mécanisme d'attention du transformer par une structure computationnelle différente.
Limites
La génération autorégressive est intrinsèquement séquentielle : chaque token dépend de celui qui le précède, ce qui limite le parallélisme à l'inférence par rapport à l'entraînement, où toutes les positions peuvent être calculées en même temps grâce au teacher forcing. Ce goulot d'étranglement séquentiel a motivé des techniques telles que le décodage spéculatif, qui utilise un petit modèle de proposition pour suggérer plusieurs tokens que le modèle plus grand vérifie en parallèle. Les modèles autorégressifs peuvent également amplifier de petites erreurs : un token improbable ou incorrect en début de génération devient partie du contexte pour chaque token suivant, une dynamique liée à l'hallucination et à une qualité de sortie dégradée dans les générations très longues.
Impact
L'objectif autorégressif de prédiction du token suivant est central dans l'histoire de l'IA moderne : il est simple, ne nécessite pas de données étiquetées et évolue de manière prévisible avec les données et le calcul, une relation étudiée sous les lois d'échelle. Sa simplicité explique en partie pourquoi un seul objectif d'entraînement a pu produire des modèles capables de traduction, de codage et de raisonnement sans architectures spécifiques à une tâche, une généralité formalisée plus tard dans l'idée du modèle de fondation.