WNLI, abréviation de Winograd Natural Language Inference, est une tâche de référence en traitement du langage naturel qui évalue la capacité d'un système d'IA à effectuer une inférence en langage naturel sur des schémas de Winograd. Un schéma de Winograd est une paire de phrases qui ne diffèrent que par un seul mot ou une seule phrase, mais qui nécessitent des résolutions différentes d'un pronom ou d'une autre référence ambiguë. La tâche demande si une hypothèse donnée est impliquée par, contredit, ou est neutre par rapport à une prémisse, où la réponse correcte dépend de la compréhension du contexte réel plutôt que de simples motifs lexicaux.
La référence a été introduite dans le cadre de la suite GLUE (General Language Understanding Evaluation), une collection de neuf tâches de compréhension du langage naturel conçues pour mesurer les capacités générales des modèles d'apprentissage automatique. WNLI a été spécifiquement inclus pour sonder le raisonnement de sens commun et la résolution de coréférence, des domaines où les premiers modèles neuronaux échouaient souvent malgré de bonnes performances sur d'autres tâches. L'ensemble de données est dérivé du défi original des schémas de Winograd, proposé par Hector Levesque en 2011 comme alternative au test de Turing, se concentrant sur des problèmes faciles pour les humains mais difficiles pour les machines.
Structure et exemples
Chaque instance WNLI consiste en une phrase de prémisse, une phrase d'hypothèse et une étiquette indiquant si l'hypothèse découle de la prémisse (implication), la contredit (contradiction) ou n'est pas liée (neutralité). La prémisse contient généralement un pronom ambigu, et l'hypothèse résout ce pronom de deux manières possibles. Par exemple, la prémisse "Le trophée ne rentre pas dans la valise brune parce qu'il est trop petit" pourrait être associée à l'hypothèse "Le trophée est trop petit" (implication) ou "La valise est trop petite" (contradiction). L'étiquette correcte nécessite de comprendre les relations de taille physique et les propriétés typiques des objets.
Le défi original des schémas de Winograd contient 273 exemples de ce type, mais la version GLUE de WNLI inclut un sous-ensemble de ceux-ci, reformaté au format d'inférence en langage naturel. La tâche est délibérément construite pour que les indices statistiques, tels que la fréquence des mots ou la co-occurrence, soient insuffisants pour la résoudre de manière fiable. Cela fait de WNLI un test solide de la capacité d'un modèle à effectuer un raisonnement authentique sur des situations quotidiennes.
Performance historique et défis
Lorsque GLUE a été publié en 2018, WNLI s'est avéré être l'une des tâches les plus difficiles pour les modèles contemporains. De nombreux premiers systèmes, y compris ceux basés sur des réseaux neuronaux récurrents et les premières architectures de transformeurs, atteignaient une précision à peine supérieure au hasard. Un problème notable était que l'ensemble d'entraînement pour WNLI était très petit, ne contenant que 634 exemples d'entraînement, et l'ensemble de validation était encore plus petit. Ces données limitées rendaient difficile pour les modèles d'apprendre des motifs généralisables.
Une complication significative est survenue du fait que les exemples du défi original des schémas de Winograd n'étaient pas conçus pour le format d'inférence en langage naturel. Plusieurs chercheurs ont observé que le processus de conversion introduisait des incohérences, et certains exemples avaient des étiquettes ambiguës ou contestables. En 2019, un article d'une équipe de l'Université de Washington a montré que de nombreux exemples WNLI pouvaient être résolus par des heuristiques simples, comme toujours prédire "implication" pour certaines structures de phrases, ce qui sapait la difficulté prévue de la référence. Cela a conduit à des critiques selon lesquelles WNLI n'était pas une mesure fiable du raisonnement de sens commun.
Relation avec les systèmes d'IA modernes
Avec l'avènement des grands modèles de langage tels que ceux développés par OpenAI, Anthropic et Google DeepMind, la performance sur WNLI s'est considérablement améliorée. Les modèles modernes basés sur des transformeurs, y compris ceux avec des milliards de paramètres, peuvent atteindre une précision quasi parfaite sur la référence. Cependant, cette amélioration est en partie attribuée à l'exposition des modèles à de vastes quantités de texte pendant le pré-entraînement, qui peut inclure des paraphrases des schémas de Winograd eux-mêmes. En conséquence, certains chercheurs soutiennent que des scores élevés sur WNLI ne démontrent plus une capacité de raisonnement authentique, mais plutôt une mémorisation ou une correspondance de motifs à partir des données d'entraînement.
La référence a également été intégrée dans des suites d'évaluation plus larges, telles que SuperGLUE, qui a remplacé WNLI par une version plus robuste appelée Winogrande. Winogrande étend l'ensemble de données à plus de 44 000 exemples et utilise un format de choix binaire plutôt que l'inférence en langage naturel, abordant certaines des faiblesses de la tâche originale. Malgré ces changements, WNLI reste un point de référence historiquement important dans le développement des références de compréhension du langage naturel.
Critiques et héritage
WNLI a fait l'objet de critiques méthodologiques approfondies. La petite taille de l'ensemble de données, l'étiquetage incohérent et la facilité avec laquelle les modèles peuvent exploiter des motifs de surface ont tous été documentés. En 2021, une analyse de chercheurs de l'Allen Institute for Artificial Intelligence a révélé qu'un système simple basé sur des règles pouvait atteindre plus de 70 % de précision sur WNLI, dépassant de loin la performance de nombreux modèles neuronaux à l'époque. Cette découverte a souligné l'importance d'une conception minutieuse des références et la nécessité de méthodes d'évaluation adverses.
Malgré ces problèmes, WNLI a joué un rôle crucial dans l'avancement de la recherche sur la résolution de coréférence et le raisonnement de sens commun. Il a motivé le développement de nouvelles architectures et techniques d'entraînement, telles que la prédiction basée sur des segments et les modèles enrichis par des connaissances. Les leçons tirées de WNLI ont influencé la conception de références ultérieures, y compris Winogrande et les suites plus larges GLUE et SuperGLUE, qui restent largement utilisées dans l'évaluation des grands modèles de langage.
Statut actuel
Au début des années 2020, WNLI est rarement utilisé comme mesure d'évaluation autonome, ayant été supplanté par des ensembles de données plus robustes. Cependant, il continue d'apparaître dans les analyses historiques et comme référence dans les articles de recherche. L'héritage de la tâche persiste dans l'effort continu de créer des références qui testent véritablement le raisonnement plutôt que la mémorisation, un défi qui reste central dans le domaine de l'intelligence artificielle. Le défi original des schémas de Winograd, dont WNLI est dérivé, est toujours référencé dans les discussions sur les limites de l'apprentissage statistique et la nécessité de capacités de raisonnement symbolique.