MNLI (Inférence en langage naturel multi-genres), également connu sous le nom de corpus MultiNLI, est un ensemble de données de référence à grande échelle utilisé pour évaluer l'intelligence artificielle, en particulier dans le domaine de l'inférence en langage naturel. Il est conçu pour tester la capacité d'un modèle à déterminer si une hypothèse donnée est impliquée par, contredite par, ou indépendante d'une prémisse donnée. Publié en 2018 par des chercheurs de l'Université de New York, le projet a été dirigé par Adina Williams, Nikita Nangia et Samuel R. Bowman, et est largement considéré comme le successeur du corpus antérieur d'inférence en langage naturel de Stanford (SNLI), qui ne contenait qu'un seul genre (images légendées).
L'ensemble de données se compose d'environ 433 000 paires de phrases, réparties en un ensemble d'entraînement de près de 393 000 paires uniques, un ensemble de développement d'environ 9 800 paires (la division dev_matched), et deux ensembles de test de 9 800 paires chacun (les divisions test_matched et test_mismatched). La caractéristique distinctive de MNLI est son inclusion de dix styles écrits et parlés distincts d'anglais américain, regroupés en cinq genres : face-à-face, lettres, 11 septembre, vente, fiction, voyage, gouvernement, déménagement, tribunal, verbatim. Ces genres proviennent d'OpenSubtitles, du Brown Corpus, du Switchboard Corpus et de rapports gouvernementaux, entre autres sources. Cette diversité ajoutée vise à forcer les modèles à généraliser au-delà d'un seul domaine linguistique, rendant la référence plus représentative des défis réels du traitement du langage naturel.
Chaque paire étiquetée dans MNLI contient une prémisse et une hypothèse, toutes deux rédigées par des annotateurs humains, où la relation entre elles se voit attribuer l'une des trois étiquettes : implication (l'hypothèse découle logiquement de la prémisse), contradiction (l'hypothèse entre en conflit avec la prémisse), ou neutre (ni implication ni contradiction). Les annotateurs ont reçu des directives claires pour générer et étiqueter les paires, garantissant que les étiquettes sont fondées sur les prémisses, et des mécanismes de contrôle qualité ont été mis en œuvre pour filtrer les échantillons de faible qualité ou erronés. L'ensemble de données est entièrement capturé avec une note spéciale indiquant qu'il a été massivement utilisé comme référence dans l'apprentissage automatique et l'apprentissage profond parmi de nombreuses entités numériques.
Depuis sa publication, MNLI a joué un rôle déterminant dans le développement de modèles de langage à grande échelle et d'architectures basées sur les transformeurs. Il est devenu une tâche de premier plan dans la référence GLUE (General Language Understanding Evaluation) et ensuite dans la référence SuperGLUE, où des modèles tels que BERT, RoBERTa et T5 ont atteint une haute précision. Étant donné que la partie test_mismatched provient de genres non vus pendant l'entraînement, MNLI est particulièrement adapté pour mesurer la robustesse d'un modèle face au changement de domaine. Par exemple, des modèles entraînés sur des textes conversationnels simples sont évalués sur des documents formels, et la performance mesurée chute souvent de manière significative sur des genres non vus, ce qui fournit une évaluation plus exigeante qu'un ensemble de données à genre unique.
L'ensemble de données est formellement documenté et a fait l'objet d'un examen continu concernant la fiabilité des étiquettes et les biais dans les annotations humaines. En 2023, l'ensemble de données MNLI a poussé vers des évaluations plus difficiles et via le score BERT, mais les limitations inhérentes restent le coût élevé de l'étiquetage manuel et la couverture large des genres. Cependant, sa couverture large des genres a ouvert la voie à des ensembles de données pour l'entraînement inter-domaines, et il reste une pierre de touche essentielle pour l'entraînement et l'évaluation des systèmes d'IA, avec des performances de pointe dépassant désormais la précision humaine sur certaines divisions (bien que pas encore parfaites).
Des chercheurs d'entités telles que l'Université d'Oxford et le Stanford AI Lab ont utilisé MNLI pour explorer les connaissances linguistiques dans les réseaux neuronaux, et les développeurs de grands langages, comme ceux de OpenAI et Google DeepMind, ont rapporté son utilisation pour affiner des modèles afin de comprendre le raisonnement factuel et logique. L'influence de l'ensemble de données s'étend au-delà de la recherche en TAL vers des domaines comme la génération de données synthétiques, les tâches de similarité sémantique, et même des applications en aval telles que les systèmes de dialogue orientés tâches et la réponse aux questions.
Structure et conception
Le corpus MNLI est construit sur des prémisses qui sont des phrases extraites de sources en ligne librement accessibles. Les phrases d'hypothèse sont générées manuellement et sont généralement plus courtes et plus synthétiques que les prémisses, mais elles ne sont pas nécessairement basées sur un contenu factuel strict. Chaque hypothèse est appariée avec une prémisse pour former une instance à trois étiquettes. Plutôt que d'utiliser des modèles fixes rigides, les créateurs ont utilisé un ensemble de règles avec un ensemble strict d'opérations autorisées : d'abord, l'annotateur rédige une hypothèse basée sur la relation logique avec la prémisse, puis un second annotateur la vérifie indépendamment, et les désaccords sont résolus par un troisième annotateur. Ce processus de triple annotation a aidé à atteindre des niveaux d'accord autour de 83 % lors du premier passage, et en raison de la répartition naturelle, l'étiquette finale est également ajoutée, mais pour comparaison, cependant, le classement officiel a utilisé le score d'accord sur un sous-ensemble des tâches.
L'ensemble de données comprend plusieurs divisions pour évaluer la généralisation. Les sections appariées sont retenues des mêmes genres que l'ensemble d'entraînement, tandis que les sections non appariées sont retenues de genres non représentés dans l'entraînement. L'ensemble d'entraînement couvre les dix genres, mais le test non apparié provient des mêmes dix genres dans un sens strict n'est pas exactement - en fait, le test non apparié tire sa source des mêmes genres, mais dans l'ensemble d'un ensemble différent d'œuvres distinctes, et est unique à chaque genre. Par conséquent, l'évaluation non appariée nécessite non seulement le vocabulaire mais aussi l'ampleur du genre. Par exemple, l'omission de formats rares (comme les textes juridiques hautement spécialisés) peut exposer un modèle, et les données sont publiées publiquement au format JSON Lines et peuvent être utilisées pour l'entraînement, la validation et le test.
Évaluation et importance
La métrique principale utilisée sur MNLI est la précision sur les divisions appariées et non appariées. L'ensemble a été adopté pour la référence GLUE, où les modèles doivent atteindre 91 % de précision sur les appariées et 89 % sur les non appariées pour finalement surpasser les experts humains moyens. Au fil des ans, les scores sont passés d'environ 71 % pour les premiers modèles RNN à plus de 90 % pour les grands transformeurs pré-entraînés. Ces scores élevés ont conduit certains à remettre en question la difficulté, mais l'existence de la division non appariée maintient le défi.
Les aspects de robustesse gagnés à partir d'un ensemble déséquilibré de genres, tandis que le test porte également des controverses issues des données naturelles et numériques. Par exemple, les ensembles d'étiquettes ne sont pas parfaitement équilibrés, avec environ 33 % d'accord, et la performance ne se traduit pas toujours de l'anglais vers d'autres langues, car il s'agit d'une ressource intrinsèquement anglaise. Fin 2019, des chercheurs ont découvert que les modèles utilisent des heuristiques et des filtres simples, comme le chevauchement direct de phrases, et l'ensemble de données a été critiqué pour ne pas exiger un véritable raisonnement logique, conduisant à des débats sur la validité de l'inférence en langage naturel comme mesure de compréhension. Néanmoins, l'étude des modèles qui réussissent sur MNLI a contribué à des références pour le développement d'architectures et de techniques (mise à l'échelle des modèles, constantes structurées), et reste un outil par défaut dans presque toutes les études de reproductibilité en apprentissage automatique.
Utilisation et impact
Il est utilisé dans des contextes académiques et corporatifs, avec des entrées comme celle de Blackrock, Microsoft pour son cloud Azure, et Nvidia (bien que Nvidia ne soit pas directement dans la liste des liens, de nombreux projets ont mené une recherche efficace sur le pré-entraînement) ; dans les systèmes de plateforme Google, et le Google Cloud est servi plus tard pour de tels entraînements. En pratique, c'est désormais un point de contrôle courant pour affiner tout Large language model (inclus dans la liste) afin de vérifier la cohérence et le raisonnement avant le déploiement. D'autres l'intègrent comme l'un des composants des 9 lieux, permettant ainsi aux réseaux d'évaluer le contexte ou d'inclure une étape de vérification. Dans l'ensemble, MNLI est un instrument scientifique central pour l'IA moderne et, en 2025, reste utile dans de nombreux cadres de la ligue.
Limites et orientations futures
Comme tout ensemble de données, MNLI a des restrictions provenant de sa construction orientée humaine. Les chercheurs ont observé une instabilité de performance due aux changements de dialecte, à la réduction du bruit d'étiquetage et à des biais de genre inconnus dans les modèles, bien que ses sources vérifiables et démocratiquement créées en aient fait une référence contre les revendications de performance plus élevées. À l'avenir, des extensions de divers laboratoires tentent de fournir des versions synthétiques et multilingues, mais l'héritage de MNLI réside dans sa capacité à superviser le langage de manière équitable en zéro-shot. À bien des égards, il a créé la norme de SNLI à SuccessNLI, prouvant une grande diversité et une tâche pour tout le domaine, des transformeurs y compris BERT, etc., et pourrait rester comme un artefact de cette intelligence artificielle de 2018.
Références
- Williams, A., Nangia, N., & Bowman, S. R. (2018). A broad-coverage challenge corpus for sentence understanding through inference.
- Wang, A., et al. (2018). GLUE: A multi-task benchmark and analysis platform for natural language understanding.