WNLI, abreviação de Winograd Natural Language Inference, é uma tarefa de benchmark em processamento de linguagem natural que avalia a capacidade de um sistema de IA para realizar inferência de linguagem natural em esquemas de Winograd. Um esquema de Winograd é um par de frases que diferem apenas por uma única palavra ou frase, mas que exigem resoluções diferentes de um pronome ou outra referência ambigua. A tarefa questiona se uma hipótesis dada é implicada por, contradice ou é neutra em relação a uma premissa, onde a resposta correta depende da compreensão do contexto do mundo real, em lugar de padrões léxicos simples.
O benchmark foi introducido como parte da suíte GLUE (General Language Understanding Evaluation), uma coleção de nove tarefas de compreensão de linguagem natural projetadas para medir as capacidades gerais de modelos de aprendizado automático. WNLI foi especificamente incluido para sondar o raciocinio de senso comum e a resolução de coreferência, áreas onde os primeiros modelos neurais frequentemente falhavam, a pesar de um desempeño forte em outras tarefas. O conjunto de dados deriva do Desafío de Esquemas de Winograd original, que foi proposto por Hector Levesque em 2011 como uma alternativa ao test de Turing, focando em problemas que são fáceis para humanos, mas difíceis para máquinas.
Estrutura e Exemplos
Cada instância de WNLI consiste em uma frase premissa, uma frase hipótesis e um rótulo que indica se a hipótesis segue da premissa (implicação), a contradice (contradicción) ou não está relacionada (neutra). A premissa tipicamente contém um pronome ambíguo, e a hipótesis resolve esse pronome de uma de duas formas possíveis. Por exemplo, a premissa "O trofeo não cabe na maleta marrón porque é demasiado pequeno" poderia ser emparejada com a hipótesis "O trofeo é demasiado pequeno" (implicação) ou "A maleta é demasiado pequena" (contradicción). O rótulo correto requer comprender relações de tamaño físico e propriedades típicas de objetos.
O Desafío de Esquemas de Winograd original contém 273 exemplos desse tipo, mas a versão GLUE de WNLI incluye um subconjunto destes, reformatado no formato de inferência de linguagem natural. A tarefa é deliberadamente construída para que pistas estatísticas, como frequência de palavras ou co-ocorrencia, sejam insuficientes para resolvé-la de forma confiable. Isto faz de WNLI um test forte de si um modelo pode realizar raciocinio genuíno sobre situações cotidianas.
Desempeño Histórico e Desafíos
Quando GLUE foi lançado em 2018, WNLI resultou ser uma das tarefas mais difíceis para os modelos contemporáneos. Muitos sistemas primitivos, incluindo aqueles baseados em redes neurais recorrentes e primeiras arquitecturas de transformadores, alcanzaron una precisión apenas superior ao azar. Um problema notável era que o conjunto de treinamento para WNLI era muito pequeno, contendo apenas 634 exemplos de treinamento, e o conjunto de validación era ainda menor. Esta limitación de datos dificultaba que os modelos aprendessem padrões generalizables.
Surgió uma complicación significativa do fato de que os exemplos do Desafío de Esquemas de Winograd original não foram desenhados para o formato de inferência de linguagem natural. Vários pesquisadores observaron que o processo de conversión introdujo inconsistencias, e alguns exemplos tinham rótulos ambíguos ou debatibles. Em 2019, um artigo de uma equipe da Universidade de Washington mostrou que muitos exemplos de WNLI podían ser resolvidos com heurísticas simples, como sempre predizer "implicación" para certas estruturas de frases, o que socavaba a dificultad pretendida do benchmark. Isto levou a críticas de que WNLI não era uma medida confiable do raciocinio de senso comum.
Relación com Sistemas Modernos de IA
Com o advento de grandes modelos de linguagem como os desenvolvidos por OpenAI, Anthropic e Google DeepMind, o desempeño em WNLI melhorou dramaticamente. Modelos modernos baseados em transformadores, incluindo aqueles com bilhões de parámetros, podem alcanzar uma precisión quase perfeita no benchmark. No entanto, esta melhora é parcialmente atribuida à exposição dos modelos a vastas quantidades de texto durante o pré-treinamento, que pode incluir paráfrasis dos esquemas de Winograd em si. Como resultado, alguns pesquisadores argumentam que altas puntuaciones em WNLI já não demonstram capacidade de raciocinio genuíno, mas más bien memorización ou emparejamiento de padrões a partir dos dados de treinamento.
O benchmark também foi incorporado em suites de evaluación más amplias, como SuperGLUE, que substituiu WNLI por uma versión más robusta chamada Winogrande. Winogrande expande o conjunto de dados a mais de 44.000 exemplos e usa um formato de elección binaria em lugar de inferência de linguagem natural, abordando algumas das debilidades da tarefa original. A pesar destas mudanças, WNLI permanece como um ponto de referência historicamente importante no desenvolvimento de benchmarks de compreensão de linguagem natural.
Críticas e Legado
WNLI tem sido objeto de uma extensa crítica metodológica. O tamanho pequeno do conjunto de dados, a rotulación inconsistente e a facilidade com que os modelos podem explorar padrões superficiais têm sido todos documentados. Em 2021, uma análise de pesquisadores do Instituto Allen para Inteligência Artificial encontrou que um sistema simples baseado em regras podía alcanzar mais de 70% de precisión em WNLI, superando amplamente o desempeño de muitos modelos neurais da época. Este achado destacou a importância de um desenho cuidadoso de benchmarks e a necessidade de métodos de evaluación adversarial.
A pesar destes problemas, WNLI desempeñó um papel crucial no avanço da pesquisa sobre resolução de coreferência e raciocinio de senso comum. Motivou o desenvolvimento de novas arquitecturas e técnicas de treinamento, como a predicción baseada em spans e modelos enriquecidos com conhecimento. As lecciones aprendidas de WNLI influenciaron o desenho de benchmarks subsequentes, incluindo Winogrande e as suites más amplias GLUE e SuperGLUE, que permanecen amplamente utilizadas na evaluación de grandes modelos de linguagem.
Estado Actual
A partir do início dos anos 2020, WNLI raramente é usado como métrica de evaluación independente, tendo sido superado por conjuntos de dados más robustos. No entanto, continua aparecendo em análises históricas e como linha de base em artículos de pesquisa. O legado da tarefa persiste no esforço contínuo para criar benchmarks que genuinamente testem o raciocinio em lugar da memorización, um desafío que permanece central no campo da Artificial intelligence. O Desafío de Esquemas de Winograd original, do qual WNLI deriva, ainda é referenciado em discussões sobre os limites do aprendizado estatístico e a necessidade de capacidades de raciocinio simbólico.