MultiNLI, abréviation de Multi-Genre Natural Language Inference, est un jeu de données à grande échelle conçu pour la tâche d'inférence en langage naturel (NLI). Il a été introduit en 2017 par des chercheurs de l'Université de Stanford, s'appuyant sur le corpus antérieur SNLI (Stanford Natural Language Inference). Le jeu de données contient 433 000 paires de phrases, chacune étiquetée selon l'une des trois relations : implication, contradiction ou neutralité. Sa caractéristique déterminante est l'inclusion de dix genres de textes distincts, allant de la fiction et des guides de voyage à la parole téléphonique et aux rapports d'urgence 911, ce qui en fait un benchmark plus difficile et plus réaliste que son prédécesseur.
L'objectif principal de MultiNLI est d'entraîner et d'évaluer des modèles d'apprentissage automatique sur la tâche de reconnaissance de l'implication textuelle. Dans cette tâche, un modèle reçoit une phrase prémisse et une phrase hypothèse, et doit déterminer si l'hypothèse découle logiquement de la prémisse (implication), entre directement en conflit avec elle (contradiction), ou n'est pas liée (neutralité). MultiNLI est largement utilisé dans le domaine du traitement du langage naturel et est devenu un benchmark standard pour évaluer les capacités de raisonnement des modèles de réseaux neuronaux, y compris ceux basés sur les transformeurs.
Structure du jeu de données et genres
Le jeu de données est divisé en deux ensembles principaux : les ensembles de test appariés et non appariés. L'ensemble apparié contient des exemples issus des mêmes genres que les données d'entraînement, tandis que l'ensemble non apparié inclut des genres non vus lors de l'entraînement. Cette conception teste la capacité d'un modèle à généraliser à travers différents types de textes. Les dix genres incluent le dialogue en face à face, la fiction, les documents gouvernementaux, les lettres, les rapports du 11 septembre, la parole téléphonique, les guides de voyage, et plus encore. Chaque genre contribue à un nombre approximativement égal d'exemples, garantissant une représentation équilibrée. L'ensemble d'entraînement comprend environ 392 000 paires, le reste étant alloué aux ensembles de validation et de test.
Création et annotation
Le jeu de données a été créé à l'aide d'une plateforme de crowdsourcing, similaire à SNLI. Des annotateurs humains ont vu une phrase prémisse issue d'un texte source et ont été invités à rédiger une hypothèse qui serait impliquée, contredite ou neutre par rapport à la prémisse. Chaque paire a ensuite été validée par plusieurs annotateurs pour garantir la qualité. Les étiquettes finales ont été déterminées par un vote majoritaire parmi les annotateurs. Ce processus a abouti à un jeu de données de haute qualité avec un niveau élevé d'accord inter-annotateurs, ce qui en fait une ressource fiable pour l'entraînement et l'évaluation.
Rôle dans le développement des modèles
MultiNLI a joué un rôle significatif dans le développement des grands modèles de langage modernes. Il a été l'un des benchmarks clés utilisés dans la suite de benchmarks GLUE (General Language Understanding Evaluation), introduite en 2018. Des modèles tels que BERT, RoBERTa, et bien d'autres ont été évalués sur MultiNLI pour mesurer leur capacité à effectuer des tâches de raisonnement complexes. Le jeu de données a également été utilisé pour entraîner des modèles pour d'autres tâches en aval, telles que la réponse aux questions et le résumé de texte, car il encourage les modèles à apprendre des représentations sémantiques robustes.
Limites et critiques
Malgré sa popularité, MultiNLI a été critiqué pour certaines limites. Un problème est que les hypothèses issues du crowdsourcing peuvent parfois être artificielles ou contenir des artefacts que les modèles peuvent exploiter, conduisant à une surestimation des performances. Par exemple, certaines hypothèses contiennent des mots de négation qui sont de forts indicateurs de contradiction, permettant aux modèles de faire des prédictions sans comprendre pleinement le texte. De plus, l'accent du jeu de données sur l'inférence au niveau de la phrase ne capture pas des formes plus complexes de raisonnement qui nécessitent un contexte multi-phrases ou des connaissances du monde. Les chercheurs ont proposé des jeux de données alternatifs, tels que ANLI (Adversarial NLI), pour remédier à certaines de ces lacunes.
Impact et héritage
MultiNLI a eu un impact durable sur le domaine de l'intelligence artificielle et de l'apprentissage automatique. Il a été cité dans des milliers d'articles de recherche et reste un benchmark standard pour évaluer la compréhension du langage naturel. Son introduction de données multi-genres a influencé la conception de jeux de données ultérieurs, encourageant une évolution vers des contextes d'évaluation plus diversifiés et réalistes. Au début des années 2020, MultiNLI continue d'être utilisé dans la recherche académique et les applications industrielles, en particulier dans le développement de systèmes d'IA générative qui nécessitent de fortes capacités de raisonnement.