WNLI，全称为Winograd自然语言推理，是自然语言处理中的一项基准任务，用于评估AI系统在Winograd模式上进行自然语言推理的能力。Winograd模式是一对句子，它们仅在一个单词或短语上有所不同，却需要对代词或其他歧义指代进行不同的解析。该任务要求判断给定假设是否由前提蕴含、与之矛盾或与之无关，其中正确答案依赖于理解现实世界背景，而非简单的词汇模式。
该基准作为GLUE（通用语言理解评估）套件的一部分引入，该套件包含九项自然语言理解任务，旨在衡量机器学习模型的通用能力。WNLI被特别纳入以测试常识推理和指代消解，这些领域早期神经模型尽管在其他任务上表现优异，却常常失败。数据集源自原始的Winograd模式挑战，该挑战由Hector Levesque于2011年提出，作为图灵测试的替代方案，专注于对人类容易但对机器困难的问题。
结构与示例
每个WNLI实例包含一个前提句子、一个假设句子和一个标签，指示假设是否由前提蕴含（蕴含）、与之矛盾（矛盾）或无关（中性）。前提通常包含一个歧义代词，而假设以两种可能方式之一解析该代词。例如，前提“奖杯放不进棕色手提箱，因为它太小了”可能与假设“奖杯太小”（蕴含）或“手提箱太小”（矛盾）配对。正确标签需要理解物理尺寸关系和典型物体属性。
原始的Winograd模式挑战包含273个此类示例，但GLUE版本的WNLI包含其中一部分，并重新格式化为自然语言推理格式。该任务被刻意设计为使统计线索（如词频或共现）不足以可靠解决。这使得WNLI成为测试模型是否能对日常情境进行真正推理的强有力工具。
历史表现与挑战
当GLUE于2018年发布时，WNLI被证明是当代模型最困难的任务之一。许多早期系统，包括基于循环神经网络和早期Transformer架构的系统，准确率仅勉强高于随机猜测。一个显著问题是WNLI的训练集非常小，仅包含634个训练示例，验证集甚至更小。这种有限数据使模型难以学习可泛化的模式。
一个重大复杂因素源于原始Winograd模式挑战示例并非为自然语言推理格式设计。多位研究人员观察到转换过程引入了不一致性，一些示例具有模糊或有争议的标签。2019年，华盛顿大学团队的一篇论文表明，许多WNLI示例可通过简单启发式方法解决，例如对某些句子结构总是预测“蕴含”，这削弱了基准的预期难度。这导致批评认为WNLI不是常识推理的可靠衡量标准。
与现代AI系统的关系
随着大型语言模型的出现，如由OpenAI、Anthropic和Google DeepMind开发的模型，WNLI上的表现已显著提升。现代基于Transformer的模型，包括具有数十亿参数的模型，可在该基准上达到近乎完美的准确率。然而，这种提升部分归因于模型在预训练期间接触大量文本，其中可能包含Winograd模式本身的改写。因此，一些研究人员认为，WNLI上的高分不再证明真正的推理能力，而是训练数据中的记忆或模式匹配。
该基准也被纳入更广泛的评估套件，如SuperGLUE，后者用更稳健的版本Winogrande取代了WNLI。Winogrande将数据集扩展到超过44,000个示例，并使用二元选择格式而非自然语言推理，解决了原始任务的一些弱点。尽管有这些变化，WNLI仍是自然语言理解基准发展中的历史重要参考点。
批评与遗产
WNLI一直是广泛方法论批评的对象。数据集规模小、标签不一致以及模型易于利用表面模式的问题均被记录。2021年，艾伦人工智能研究所研究人员的一项分析发现，一个简单的基于规则的系统可在WNLI上达到超过70%的准确率，远超当时许多神经模型的性能。这一发现强调了谨慎基准设计的重要性以及对抗性评估方法的必要性。
尽管存在这些问题，WNLI在推进指代消解和常识推理研究方面发挥了关键作用。它推动了新架构和训练技术的发展，如基于跨度的预测和知识增强模型。从WNLI中吸取的经验影响了后续基准的设计，包括Winogrande以及更广泛的GLUE和SuperGLUE套件，这些套件在大型语言模型的评估中仍被广泛使用。
当前状态
截至2020年代初，WNLI很少作为独立评估指标使用，已被更稳健的数据集取代。然而，它继续出现在历史分析和研究论文的基线中。该任务的遗产在持续努力创建真正测试推理而非记忆的基准中延续，这一挑战仍是Artificial intelligence领域的核心。WNLI所源自的原始Winograd模式挑战，在关于统计学习局限性和符号推理能力需求的讨论中仍被引用。