XNLI (Inférence de langage naturel multilingue) est un ensemble de données de référence conçu pour évaluer la capacité des modèles de traitement du langage naturel à effectuer une inférence de langage naturel dans plusieurs langues. Introduit par des chercheurs de Facebook AI Research en 2018, cet ensemble est devenu un outil d'évaluation standard pour la compréhension multilingue, en particulier pour tester si les modèles entraînés sur une langue peuvent généraliser à d'autres sans données d'entraînement supplémentaires spécifiques à une tâche. L'ensemble couvre 15 langues, dont l'anglais, le français, l'espagnol, l'allemand, le grec, le bulgare, le russe, le turc, l'arabe, le vietnamien, le thaï, le chinois, l'hindi, le swahili et l'ourdou.
L'inférence de langage naturel, également connue sous le nom d'implication textuelle, est la tâche consistant à déterminer si une hypothèse donnée est impliquée par une prémisse, contredite par celle-ci, ou neutre par rapport à elle. XNLI fournit des paires prémisse-hypothèse dans chacune de ses 15 langues, chaque paire étant étiquetée selon l'une des trois catégories : implication, contradiction ou neutralité. L'ensemble est construit à partir du corpus MultiNLI, qui contient des paires de phrases en anglais, et l'étend en traduisant les ensembles de développement et de test dans les 14 autres langues à l'aide de traducteurs humains professionnels. Cette conception permet aux chercheurs d'évaluer le transfert multilingue, où un modèle est entraîné sur des données anglaises puis testé sur des langues non anglaises, ainsi que les scénarios d'apprentissage zero-shot et few-shot.
Construction et composition
L'ensemble XNLI a été construit en sélectionnant 5 000 paires prémisse-hypothèse de développement et 5 000 paires de test à partir du corpus MultiNLI. Chaque paire a été traduite de l'anglais vers les 14 autres langues par des traducteurs professionnels, garantissant une haute qualité linguistique et une pertinence culturelle. Les données d'entraînement, cependant, restent en anglais, tirées de l'ensemble d'entraînement original de MultiNLI, qui contient plus de 390 000 paires. Cette configuration force les modèles à apprendre le raisonnement d'inférence en anglais puis à l'appliquer à d'autres langues, faisant de XNLI un test rigoureux de généralisation multilingue.
Les 15 langues ont été choisies pour représenter un ensemble diversifié de familles linguistiques et d'écritures, notamment les langues indo-européennes (anglais, français, espagnol, allemand, grec, bulgare, russe, turc, hindi, ourdou), afro-asiatiques (arabe), sino-tibétaines (chinois), austroasiatiques (vietnamien), kra-dai (thaï) et nigéro-congolaises (swahili). Cette diversité met les modèles au défi de gérer les variations morphologiques, syntaxiques et scripturales. Chaque sous-ensemble linguistique contient les mêmes 10 000 paires (5 000 de développement et 5 000 de test), permettant une comparaison directe entre les langues.
Métriques d'évaluation et cas d'utilisation
XNLI est généralement évalué à l'aide de la précision, qui mesure le pourcentage de paires prémisse-hypothèse correctement classifiées. L'ensemble prend en charge deux protocoles d'évaluation principaux : translate-train, où les données d'entraînement sont traduites automatiquement dans la langue cible, et translate-test, où l'ensemble de test est traduit en anglais. L'approche translate-train est plus courante et reflète des scénarios pratiques où les données étiquetées sont rares dans les langues à faibles ressources. Les chercheurs utilisent également XNLI pour évaluer le transfert multilingue zero-shot, où un modèle entraîné uniquement sur l'anglais est évalué directement sur d'autres langues sans aucune donnée d'entraînement dans la langue cible.
L'ensemble a joué un rôle déterminant dans l'avancement des modèles multilingues. Par exemple, des modèles comme BERT multilingue et XLM ont rapporté des améliorations significatives sur XNLI par rapport aux approches antérieures, avec des scores de précision passant d'environ 60 % à plus de 70 % en moyenne à travers les langues. En 2023, les grands modèles de langage de pointe tels que GPT-4 et PaLM ont atteint une précision supérieure à 85 % sur XNLI, bien que les performances varient encore selon la langue, les langues à faibles ressources comme le swahili et l'ourdou affichant généralement des scores inférieurs à ceux des langues à hautes ressources comme le français et l'allemand.
Relation avec d'autres références
XNLI fait partie d'une famille plus large de références de compréhension multilingue, notamment XGLUE et XTREME, qui regroupent plusieurs tâches telles que la réponse à des questions et la reconnaissance d'entités nommées. XNLI est souvent utilisé comme composant central dans ces références plus vastes en raison de sa conception propre et de sa métrique d'évaluation claire. Il complète d'autres ensembles d'inférence de langage naturel comme SNLI et MultiNLI en ajoutant une dimension multilingue, permettant la recherche sur l'apprentissage de représentations multilingues et le transfert d'apprentissage.
L'ensemble a également influencé le développement d'objectifs de pré-entraînement multilingues. Des techniques telles que le pré-entraînement de modèles de langage multilingues, où les modèles sont entraînés sur un masquage de langage à travers plusieurs langues, ont été directement évaluées sur XNLI. La référence a été citée dans des milliers d'articles de recherche, ce qui en fait une ressource fondamentale dans le domaine du traitement du langage naturel multilingue.
Limites et critiques
Malgré son utilisation répandue, XNLI présente des limites. L'ensemble est dérivé de textes sources en anglais, ce qui signifie que les versions non anglaises sont des traductions plutôt que des textes originaux, pouvant introduire des artefacts de traduction qui ne reflètent pas l'usage naturel dans ces langues. De plus, les paires prémisse-hypothèse sont relativement courtes et peuvent ne pas capturer le raisonnement complexe requis dans des applications réelles. Certains chercheurs ont noté qu'une haute précision sur XNLI ne se traduit pas nécessairement par une compréhension multilingue robuste dans d'autres tâches, comme la génération ou le dialogue. L'ensemble fixe de 15 langues exclut également de nombreuses langues à faibles ressources, limitant son applicabilité à des scénarios véritablement à faibles ressources.
Impact et héritage
XNLI a joué un rôle central dans la popularisation de l'évaluation multilingue dans la communauté de l'apprentissage automatique. Il a été un moteur clé pour le développement de modèles transformeurs multilingues, notamment XLM-R et mT5, qui ont établi de nouvelles normes sur la référence. L'ensemble est disponible publiquement à des fins de recherche et est intégré dans des bibliothèques populaires comme les ensembles de données de Hugging Face et PyTorch, facilitant un accès facile et la reproductibilité. Sa conception a inspiré des efforts similaires, tels que la création de versions multilingues d'autres tâches, et il reste un point de référence standard pour mesurer les progrès dans la compréhension du langage naturel multilingue.
Voir aussi
- apprentissage automatique
- apprentissage profond
- transformeur
- grand modèle de langage
- inférence de langage naturel