Winogrande 是一个旨在评估人工智能系统常识推理能力的基准数据集，尤其在代词消解领域。它由艾伦人工智能研究所（AI2）的研究人员于 2019 年推出，是原始 Winograd Schema Challenge 的扩展版和更具挑战性的后继版本。其名称是“Winograd”和“grande”的合成词，体现了其规模更大的特点。该基准由成对的句子组成，这些句子仅在一个词（通常是代词）上有所不同，要求系统利用世界知识而非单纯的统计关联来解决歧义指代。
Winogrande 的主要任务是二选一问题。每个示例提供一个带有空白的句子，系统必须从两个候选名词短语中为代词选择正确的先行词。例如，一个句子可能是：“奖杯放不进棕色手提箱，因为它太大了。”系统需要判断“它”指的是奖杯还是手提箱。正确答案依赖于对物体物理属性和典型尺寸关系的理解，这对人类来说轻而易举，但对机器却颇具难度。该数据集包含 44,000 个示例，分为训练集、验证集和测试集，其中测试集保持不公开以防止过拟合。
设计与构建
Winogrande 的构建过程分为两个阶段，以确保质量和难度。首先，众包工作者基于 1,600 个核心 Winograd 模式生成句子对，这些模式本身源自原始的 273 个模式的 Winograd Schema Challenge。每个模式被扩展为多个改写变体，以增加多样性并降低系统利用表层词汇线索的可能性。第二阶段采用了对抗性过滤技术，使用一组预训练语言模型来识别并移除那些能被这些模型正确解决的示例，从而仅保留最具挑战性的实例用于评估。
这种对抗性过滤过程对于 Winogrande 区别于早期基准至关重要。通过反复剔除对当代模型来说过于简单的示例，创建者确保了剩余数据集能够推动现有机器学习和深度学习方法的边界。最终数据集中的示例分布均衡，一半要求选择第一个名词短语作为答案，另一半则要求选择第二个，从而消除了位置偏差。
评估与影响
Winogrande 已成为衡量大语言模型及其他神经网络架构常识推理能力的标准评估工具。与许多侧重于事实回忆或句法分析的基准不同，Winogrande 专门针对应用隐式世界知识的能力。在 Winogrande 上的性能通常以准确率报告，随机猜测的基线为 50%。早期的Transformer模型（如 BERT）准确率约为 60-65%，而截至 2024 年，更新的模型已超过 90%，反映了该领域的显著进步。
该基准也影响了相关任务和数据集的发展。其成功催生了 WinoGrande-X（一个多语言扩展版本）和 WinoBias（一个改编自该模式以测试代词消解中性别偏见的数据集）。研究人员利用 Winogrande 来探究模型的局限性，揭示了许多系统依赖虚假相关性或记忆模式而非真正的推理能力，这一发现推动了更稳健评估方法的研究。
与 Winograd Schema Challenge 的关系
原始的 Winograd Schema Challenge 由 Hector Levesque 于 2011 年提出，旨在作为图灵测试的替代方案，聚焦于一种狭窄但深入的语言理解形式。每个模式由两个句子组成，除一个词外完全相同，且代词指代在两个句子中发生翻转。Winogrande 保留了这一核心结构，但将示例数量从 273 个扩展到数万个，使其在统计上更适合基准测试。规模的扩大也使得能够对模型在不同类型常识知识（如物理、社会和空间推理）上的行为进行细粒度分析。
一个显著的区别在于，Winogrande 的示例由众包工作者生成，而非专家手工制作，这增加了语言多样性，但也引入了潜在噪声。对抗性过滤步骤通过确保仅保留那些能难倒强模型的示例来缓解这一问题，从而维持了高难度。这种众包加自动化过滤的混合方法也已被人工智能领域的其他基准创建者所采纳。
局限性与批评
尽管广受欢迎，Winogrande 也面临批评。一些研究人员认为，该基准可以通过利用数据集中的统计规律（如词频或共现模式）来“作弊”，而无需真正的理解。研究表明，在训练集上微调的模型可以通过学习浅层启发式规则获得高准确率。此外，二选一的格式简化了问题，因为现实中的代词消解往往涉及两个以上的候选对象，或需要生成解释。
另一个局限性在于众包示例可能存在的文化和语言偏见，这些示例主要以英语为主，反映了西方中心的世界常识假设。这可能对在多样化数据上训练或需在多语言环境中评估的模型不利。为创建更具包容性的版本（如 WinoGrande-X）所做的努力试图解决这一问题，但覆盖范围在不同语言间仍不均衡。
未来方向
Winogrande 继续作为评估常识推理进展的基准，但其角色正在演变。随着模型在该数据集上接近满分，研究人员正将焦点转向更复杂的推理任务，这些任务需要多步推理或与外部知识的整合。Winogrande 背后的原则，尤其是对抗性过滤和对隐式知识的强调，已为新基准（如 HellaSwag 和 ARC）的设计提供了参考，这些基准旨在测试生成式人工智能能力的更广泛方面。该数据集仍对研究界公开可用，其方法论在模型评估和稳健性研究中被频繁引用。