Modélisation causale du langage

La modélisation causale du langage est un objectif d'entraînement utilisé en apprentissage automatique et en apprentissage profond où un modèle prédit le jeton suivant dans une séquence en ne s'appuyant que sur les jetons précédents. Cette approche autorégressive, également connue sous le nom de modélisation du langage de gauche à droite ou unidirectionnelle, constitue le fondement de nombreux grands modèles de langage modernes, y compris la série GPT développée par OpenAI. Contrairement à la modélisation du langage masquée utilisée dans des modèles comme BERT, la modélisation causale du langage restreint l'attention au seul contexte passé, permettant une génération efficace de texte cohérent, jeton par jeton.

L'objectif est généralement implémenté dans les architectures transformeur en appliquant un masque d'attention causal qui empêche chaque position de prêter attention aux positions futures. Pendant l'entraînement, le modèle est présenté avec des séquences de jetons et apprend à maximiser la probabilité de chaque jeton conditionnée par tous les jetons précédents. Cette formulation simple mais puissante permet au modèle d'apprendre les régularités statistiques du langage, y compris la syntaxe, la sémantique et les connaissances du monde, à partir de vastes quantités de données textuelles.

Développement historique

Les racines de la modélisation causale du langage remontent aux approches statistiques développées dans les années 1970. Frederick Jelinek et ses collègues d'IBM Research ont introduit les modèles probabilistes de n-grammes pour la reconnaissance vocale, qui prédisaient le mot suivant sur la base d'une fenêtre fixe de mots précédents. Ces modèles utilisaient la perplexité comme mesure informationnelle de l'incertitude du modèle, une métrique encore utilisée aujourd'hui.

Dans les années 2000, Yoshua Bengio et ses co-auteurs ont introduit des modèles de langage neuronaux probabilistes qui apprenaient des représentations distribuées de mots, dépassant les comptages de n-grammes épars. Cela a été suivi par des modèles de langage à réseaux de neurones récurrents (RNN), notamment avancés par Tomáš Mikolov en 2010, qui pouvaient théoriquement capturer des dépendances arbitrairement longues en maintenant un état caché. Cependant, les RNN souffraient de gradients disparaissants et d'une parallélisation limitée, contraignant leur évolutivité.

L'architecture du transformeur, introduite dans l'article de 2017 « Attention Is All You Need » par des chercheurs de Google et de l'Université de Toronto, a constitué une percée. Les transformeurs traitent des séquences entières en parallèle en utilisant l'auto-attention et, lorsqu'ils sont combinés à un masque causal, ils permettent un entraînement efficace de modèles autorégressifs profonds. Cette architecture est devenue la colonne vertébrale des modèles de langage causaux modernes.

Fondements techniques

La modélisation causale du langage opère sur du texte tokenisé, où les mots ou sous-mots sont mappés à des indices entiers. Le modèle calcule une distribution de probabilité sur le vocabulaire pour chaque position, étant donné les jetons précédents. La perte d'entraînement est typiquement l'entropie croisée entre la distribution prédite et le jeton suivant réel, moyennée sur toutes les positions du corpus d'entraînement.

Le masque d'attention causal est un composant clé. Dans un décodeur de transformeur, chaque position peut prêter attention à toutes les positions jusqu'à et y compris elle-même, mais pas aux positions futures. Cela est implémenté en fixant les scores d'attention pour les positions futures à l'infini négatif avant d'appliquer softmax. Ce masquage garantit que le modèle respecte la causalité temporelle, le rendant adapté aux tâches de génération où les jetons futurs sont inconnus.

Les plongements jouent un rôle crucial, car ils mappent les jetons discrets à des vecteurs continus. Ces représentations apprises capturent les similarités sémantiques et syntaxiques, permettant au modèle de généraliser à des combinaisons de mots inédites. Des encodages positionnels sont ajoutés aux plongements pour fournir des informations sur l'ordre des jetons, car l'auto-attention est invariante par permutation.

Entraînement et mise à l'échelle

Les modèles de langage causaux sont entraînés sur des corpus textuels massifs, souvent extraits de l'Internet public. Le processus d'entraînement implique la minimisation de la log-vraisemblance négative des données d'entraînement, généralement en utilisant la descente de gradient stochastique avec des optimiseurs adaptatifs comme Adam. L'entraînement est intensif en calcul, nécessitant du matériel spécialisé tel que des GPU NVIDIA ou des accélérateurs personnalisés comme AWS Trainium.

Les lois de mise à l'échelle, étudiées par des chercheurs dont Jared Kaplan et Dario Amodei, ont montré que la performance du modèle s'améliore de manière prévisible avec l'augmentation de la taille du modèle, de la taille du jeu de données et du calcul. Cela a conduit au développement de modèles de plus en plus grands, de GPT-2 avec 1,5 milliard de paramètres à GPT-3 avec 175 milliards de paramètres, et plus tard à des modèles dépassant mille milliards de paramètres. L'entraînement de tels modèles nécessite un calcul distribué sur des milliers d'accélérateurs, utilisant souvent des clusters fournis par Microsoft Azure, Google Cloud ou Oracle Cloud.

La qualité et la curation des données sont critiques. Les modèles sont généralement entraînés sur du texte web filtré, des livres et des articles académiques. Certains modèles intègrent un apprentissage curriculaire, où les données d'entraînement sont présentées dans un ordre de difficulté croissante. Le corpus d'entraînement final inclut souvent la déduplication et le filtrage de qualité pour éliminer le contenu de faible qualité ou nuisible.

Applications et cas d'usage

Les modèles de langage causaux alimentent une large gamme d'applications de traitement du langage naturel. La plus éminente est la génération de texte, où les modèles produisent des paragraphes cohérents, des articles, du code ou de l'écriture créative. Cette capacité sous-tend les chatbots et assistants virtuels, tels que ceux développés par Anthropic et Inflection AI.

Au-delà de la génération, les modèles de langage causaux sont utilisés pour :

• La traduction automatique, où le modèle génère du texte dans la langue cible conditionné par le texte source
• Le résumé, où de longs documents sont condensés en résumés plus courts
• La réponse à des questions, où le modèle génère des réponses étant donné un contexte et une requête
• La génération de code, comme démontré par des modèles tels que GitHub Copilot
• La reconnaissance vocale, où les caractéristiques acoustiques sont converties en séquences de texte

Ces modèles servent également de fondation pour l'ajustement fin sur des tâches spécifiques. En initialisant avec un modèle de langage causal pré-entraîné et en s'entraînant sur des données spécifiques à la tâche, les développeurs peuvent atteindre des performances élevées avec relativement peu d'exemples, un processus connu sous le nom d'apprentissage par transfert.

Comparaison avec d'autres architectures

La modélisation causale du langage diffère fondamentalement de la modélisation du langage masquée utilisée dans des modèles comme BERT. Les modèles masqués prédisent des jetons masqués aléatoirement étant donné un contexte bidirectionnel, ce qui est mieux adapté aux tâches de compréhension comme la classification et la reconnaissance d'entités nommées. Les modèles causaux, en revanche, sont optimisés pour la génération et ne peuvent être utilisés pour des tâches de compréhension qu'avec un ajustement fin supplémentaire.

Les modèles encodeur-décodeur, tels que T5, combinent l'encodage bidirectionnel avec le décodage autorégressif. Ces modèles sont souvent préférés pour les tâches de séquence à séquence comme la traduction et le résumé, où l'entrée entière est disponible avant le début de la génération. Cependant, les modèles causaux purs ont montré des performances compétitives sur de nombreuses tâches et offrent des architectures plus simples.

Les réseaux de neurones récurrents, bien qu'historiquement importants, ont été largement supplantés par les transformeurs pour la modélisation causale du langage. Les transformeurs offrent une meilleure parallélisation pendant l'entraînement et peuvent capturer des dépendances à plus longue portée grâce aux mécanismes d'attention. Cependant, les RNN restent pertinents pour certaines applications avec des contraintes strictes de mémoire ou des exigences de streaming.

Évaluation et références

Les modèles de langage causaux sont évalués à l'aide d'une variété de références qui testent différentes capacités. La perplexité reste une métrique intrinsèque fondamentale, mesurant la capacité du modèle à prédire du texte retenu. Une perplexité plus faible indique une meilleure performance prédictive, bien qu'elle ne corrèle pas toujours avec le succès de la tâche.

L'évaluation extrinsèque utilise des références spécifiques aux tâches, notamment :

• Massive Multitask Language Understanding (MMLU), qui teste les connaissances dans 57 matières
• HellaSwag, qui évalue le raisonnement de sens commun
• GSM8K, qui mesure le raisonnement mathématique
• BIG-bench, une référence collaborative couvrant diverses tâches
• Winograd Schema Challenge, qui teste la résolution de pronoms

Ces références sont généralement administrées dans un cadre few-shot ou zero-shot, où le modèle reçoit des exemples ou des instructions et doit produire des réponses. L'évaluation humaine est également utilisée, en particulier pour les tâches de génération ouverte, où des métriques comme l'utilité et l'innocuité sont évaluées.

Limites et défis

Malgré leurs capacités impressionnantes, les modèles de langage causaux présentent des limitations significatives. Ils peuvent produire des informations factuellement incorrectes, un phénomène connu sous le nom d'hallucination. Ils peuvent également présenter des biais présents dans leurs données d'entraînement, y compris des stéréotypes de genre, raciaux et culturels. Ces problèmes ont suscité des préoccupations quant à leur déploiement dans des applications à enjeux élevés.

Les coûts de calcul sont substantiels. L'entraînement d'un grand modèle de langage causal nécessite des millions de dollars en calcul et en énergie, soulevant des préoccupations environnementales. L'inférence nécessite également des ressources significatives, bien que des techniques comme la quantification et la distillation aident à réduire les coûts.

Les modèles causaux sont fondamentalement des correspondants de motifs statistiques, pas des modèles cognitifs de la compréhension humaine du langage. La recherche a montré qu'ils apprennent parfois des motifs que les humains n'apprennent pas et échouent à apprendre des motifs que les humains apprennent typiquement. Cela limite leur capacité à raisonner sur des situations nouvelles ou à comprendre les relations causales dans le monde.

Directions futures

La recherche en modélisation causale du langage continue d'évoluer. Les mécanismes d'attention épars, tels que ceux utilisés dans des modèles comme GPT-3, réduisent la complexité computationnelle. Les architectures de mélange d'experts, employées dans des modèles comme Switch Transformer, augmentent la capacité du modèle sans augmentations proportionnelles du calcul.

Les méthodes d'entraînement efficaces, y compris l'ajustement fin efficace en paramètres et l'adaptation de bas rang, facilitent l'adaptation de grands modèles à des tâches spécifiques. La génération augmentée par récupération combine des modèles de langage causaux avec des bases de connaissances externes pour améliorer la précision factuelle. Les extensions multimodales, telles que GPT-4, intègrent la compréhension d'images et d'audio en plus du texte.

Les innovations matérielles d'entreprises comme Cerebras, Groq et SambaNova repoussent les limites de la vitesse d'entraînement et d'inférence. Alors que les modèles continuent de croître, les chercheurs explorent des moyens d'améliorer l'efficacité d'échantillonnage, de réduire l'hallucination et d'aligner les modèles sur les valeurs humaines. Le domaine reste actif, avec de nouvelles architectures et techniques d'entraînement émergeant régulièrement.