LAMBADA (LAnguage Modeling Broadened to Account for Discourse Aspects) est un ensemble de données de référence conçu pour évaluer la capacité des modèles de langage à prédire un mot cible en fonction de son contexte narratif environnant. Contrairement aux tâches plus simples de prédiction de mots qui reposent sur des indices locaux au niveau de la phrase, LAMBADA exige que les modèles intègrent des informations sur plusieurs phrases, en s'appuyant souvent sur des connaissances du monde et la cohérence du discours. L'ensemble de données a été introduit en 2016 par des chercheurs de l'Université de Trente et de l'Université d'Édimbourg, et il est depuis devenu un outil d'évaluation standard dans le domaine du traitement du langage naturel.
Le benchmark se compose de 10 422 passages extraits de romans, chacun se terminant par un mot cible hautement prévisible à partir du contexte plus large, mais pas à partir de la phrase précédente immédiate seule. Les annotateurs humains ont atteint une précision d'environ 86 % sur la tâche, tandis que les premiers modèles de réseaux neuronaux ont obtenu des résultats nettement inférieurs, soulignant le défi des dépendances à longue distance. LAMBADA est largement utilisé pour mesurer les progrès en apprentissage profond et en grands modèles de langage, en particulier pour évaluer si les modèles peuvent maintenir des représentations cohérentes sur des textes étendus.
Construction de l'ensemble de données
L'ensemble de données LAMBADA a été construit à partir du BookCorpus, une collection de plus de 11 000 livres non publiés. Les créateurs ont sélectionné des passages où le mot final d'une phrase n'était pas prévisible à partir du contexte local seul, comme déterminé par des juges humains. Plus précisément, ils ont exigé que le mot cible soit impossible à deviner lorsqu'on ne présente que la phrase précédente, mais hautement devinable lorsque le passage complet est fourni. Ce processus de filtrage a garanti que la tâche teste réellement la compréhension au niveau du discours plutôt qu'une simple cooccurrence lexicale.
Chaque passage de l'ensemble de données comprend généralement de 4 à 6 phrases, le mot cible étant un nom, un verbe ou un adjectif sémantiquement central au récit. L'ensemble de données est divisé en ensembles d'entraînement, de développement et de test, l'ensemble de test contenant 5 153 passages. La méthodologie de construction a été influente, inspirant des benchmarks similaires tels que NarrativeQA et SQuAD pour la compréhension de lecture.
Protocole d'évaluation
Dans l'évaluation standard de LAMBADA, un modèle reçoit un passage et doit prédire la distribution de probabilité sur le vocabulaire pour le mot final. La précision du modèle est mesurée par le fait que le mot cible figure parmi les prédictions top-1. Certaines variantes rapportent également la précision top-5. Pour les modèles basés sur transformers, le passage est généralement alimenté comme une séquence de jetons, et la sortie du modèle à la dernière position est utilisée pour la prédiction.
Les évaluations précoces ont montré que les réseaux neuronaux récurrents (RNN) et les modèles LSTM avaient du mal, atteignant des précisions inférieures à 50 %. L'introduction des mécanismes d'attention et plus tard des transformers a conduit à des améliorations significatives. Par exemple, le modèle GPT-2 de OpenAI a atteint une précision de 63,24 % sur l'ensemble de test en 2019, tandis que GPT-3 a atteint 71,3 % en 2020. En 2023, les modèles de pointe tels que Chinchilla de Google DeepMind et Claude de Anthropic ont rapporté des précisions supérieures à 80 %, se rapprochant de la performance humaine.
Relation avec la modélisation du langage
LAMBADA est fondamentalement une tâche de modélisation du langage, car elle exige de prédire le mot suivant étant donné un contexte. Cependant, elle diffère de l'évaluation standard basée sur la perplexité en se concentrant sur un sous-ensemble spécifique et difficile de prédictions. Le benchmark a été particulièrement utile pour diagnostiquer les échecs dans la modélisation des dépendances à longue distance. Par exemple, les modèles qui s'appuient fortement sur les statistiques locales de n-grammes tendent à obtenir de mauvais résultats sur LAMBADA, tandis que ceux qui peuvent construire des représentations hiérarchiques du discours obtiennent de meilleurs résultats.
Le benchmark a également été utilisé pour étudier les effets du encodage positionnel et de l'attention multi-têtes dans les transformers. La recherche a montré que les modèles entraînés avec apprentissage par curriculum ou augmentation de données s'améliorent parfois sur LAMBADA, bien que les gains ne soient pas toujours cohérents. La tâche reste un composant clé de nombreuses suites d'évaluation de modèles, y compris le benchmark HELM du Stanford AI Lab.
Limites et critiques
Malgré sa popularité, LAMBADA présente plusieurs limites. L'ensemble de données est dérivé de romans, qui peuvent ne pas représenter des genres ou des domaines divers, ce qui pourrait biaiser les résultats vers un langage littéraire. De plus, les mots cibles sont souvent rares ou inhabituels, ce qui rend la tâche davantage liée à la connaissance du vocabulaire qu'au raisonnement général. Certains chercheurs ont soutenu qu'une haute précision sur LAMBADA n'implique pas nécessairement une compréhension robuste du discours, car les modèles pourraient exploiter des régularités statistiques dans les données d'entraînement.
Une autre critique est que les passages sont relativement courts, avec une moyenne d'environ 100 jetons, ce qui limite l'évaluation des dépendances à très longue distance. En réponse, des variantes telles que LAMBADA-long ont été proposées, étendant les passages à plusieurs centaines de jetons. Néanmoins, LAMBADA reste un benchmark largement cité dans la communauté du apprentissage automatique, et ses résultats sont fréquemment rapportés aux côtés d'autres tâches comme GLUE et SuperGLUE.
Impact et héritage
L'introduction de LAMBADA en 2016 a coïncidé avec la montée de l'apprentissage profond pour le TALN, et il est rapidement devenu un banc d'essai standard pour les nouvelles architectures. Il a été l'un des premiers benchmarks à cibler explicitement les phénomènes au niveau du discours, influençant les travaux ultérieurs sur la compréhension narrative et la génération d'histoires. L'ensemble de données a été utilisé dans des centaines d'articles de recherche et a été intégré dans des cadres d'évaluation majeurs, y compris la bibliothèque de jeux de données de Hugging Face.
LAMBADA a également stimulé le développement de benchmarks plus difficiles, tels que HellaSwag et Winogrande, qui testent le raisonnement de bon sens et la résolution de pronoms. Alors que les grands modèles de langage continuent de s'améliorer, la difficulté de LAMBADA a diminué, mais il reste un outil précieux pour suivre les progrès et pour sonder le comportement des modèles dans des environnements contrôlés. Son héritage réside dans la mise en évidence de l'importance du contexte dans la compréhension du langage, un principe qui sous-tend les systèmes modernes de IA générative.