Winogrande是一个基准数据集，旨在评估人工智能系统的常识推理能力，特别是在代词消解领域。它由艾伦人工智能研究所（AI2）的研究人员于2019年提出，作为原始威诺格拉德模式挑战（Winograd Schema Challenge）的扩展版和更具挑战性的后续版本。其名称是“Winograd”和“grande”的混合词，反映了其更大的规模。该基准由仅有一个词（通常是代词）不同的句子对组成，要求系统利用世界知识而非仅凭统计关联来解决歧义指代。
Winogrande的主要任务是一个二选一问题。每个示例呈现一个带空格的句子，系统必须从两个候选名词短语中选出代词的正确答案。例如，一个句子可能是“The trophy doesn't fit in the brown suitcase because it is too large”，其中系统必须判断“it”指的是奖杯还是手提箱。正确答案依赖于理解物理属性和典型的尺寸关系，这对人类来说微不足道，但对机器来说却十分困难。该数据集包含44,000个示例，分为训练集、验证集和测试集，其中测试集保密以防止过拟合。
设计与构建
Winogrande的构建涉及两个阶段，以确保质量和难度。首先，众包工作者基于一组1,600个核心Winograd模式生成句对，这些模式本身源自原始的273模式Winograd模式挑战。每个模式被视为基础，并扩展为多个改写变体，以增加多样性，并降低系统利用表面词汇线索的机会。第二阶段采用了对抗性过滤技术，即使用一组预训练语言模型来识别并移除那些能被那些模型正确解决的示例，从而仅保留最具挑战性的实例用于评估。
这种对抗性过滤过程对于区分Winogrande与早期基准至关重要。通过迭代丢弃对当代模型来说过于容易的示例，创建者确保了剩余数据集将推动现有机器学习和深度学习方法的边界。最终数据集包含平衡的示例分布，其中一半要求第一个名词短语作为答案，另一半要求第二个，从而消除了任何位置偏差。
评估与影响
Winogrande已成为评估大型语言模型和其他神经网络架构中常识推理的标准工具。与许多关注事实回忆或句法解析的基准不同，Winogrande专门针对其隐式应用现实世界知识的能力。在Winogrande上的性能通常以准确率报告，其中随机猜测的准确性为50%。早期基于Transformer的模型如BERT达到了约60-65%的准确率，而截至2024年，更近期的模型已经超过90%，这反映了该领域的重大进展。
该基准还影响了相关任务和数据集的发展。它的成功激励了WinoGrande-X的创建，这是一个多语言扩展，以及WinoBias，它改编了模式以测试代词消解中的性别偏见。研究人员使用Winogrande来探测模型缺陷，揭示许多系统依赖于偶然而言中虚假关联或已记忆的模式，而非真正的推理，这一发现推动了关于AI系统评估的更稳健的方法论研究。
与Winograd模式挑战赛的关系
原始Winograd模式挑战赛由Hector Levesque于2011年提出，旨在作为图灵测试的替代方案，重点关注一种狭窄但深入的语言理解形式。每个模式由两个句子组成，这些句子除了一个单词外相同，而代词消解结果在这两个句子之间翻转。Winogrande保留了这种核心结构，但将其从273个示例扩展到数万个，从而在统计上更可靠，便于基准测试。规模的扩大还允许对模型在不同类型的常识知识（如物理、社会和空间推理）上的行为进行细致分析。
一个显著区别是，Winogrande中的示例由众包工作者生成，而非由专家手工制作，这引入了更多的语言多样性，但也带来了潜在的噪声。对抗性过滤步骤通过确保只有能迷惑强大模型的示例被保留来缓解这一问题，从而保持高难度。这种众包加自动过滤的组合方法已被人工智能社区的其他基准创建者所采用。
局限性与批评
尽管Winogrande广受欢迎，但它也面临批评。一些研究人员认为，该基准可以通过利用数据集中的统计规律（如词频或共现模式）来作弊，而无需真正理解。研究表明，在训练集上微调的模型可以通过学习浅层启发式方法达到高准确率。此外，二选一格式简化了问题，因为真实的代词消解往往涉及多于两个候选或需要生成解释。
另一个局限性是众包示例中可能存在文化和语言偏见，这些示例主要是英语，并反映了以西方为中心的常识假设。这可能会对用多样化数据训练的模型或在多语言环境中进行评估时产生不利影响，且相关策略如WinoGrande-X虽然尝试解决，但覆盖面仍不均匀。
未来方向
Winogrande继续作为评估常识推理进展的基准，但其角色在不断演变。随着模型获得接近满分的成绩，研究人员的关注点正向需要进行多步骤推理的复杂任务转移，或与外部知识整合。Winogrande背后的原则，特别是对抗性过滤和对隐式知识的强调，已影响了新基准的设计，如HellaSwag和ARC，这些均测试生成式AI能力的更广泛方面。该数据集仍在公开供研究使用，其方法论也常被引用。