HellaSwag论文发表于2019年，引入了一个用于评估自然语言处理系统常识推理能力的基准数据集。该名称是对短语“hella swag”的幽默演绎，反映了该数据集旨在比以往基准更具挑战性的目标。论文作者来自艾伦人工智能研究所和华盛顿大学，此后该数据集已成为大型语言模型的标准评估工具。
HellaSwag是一个多项选择数据集，模型会获得对日常情境的部分描述，并须从四个选项中选出最合理的延续。示例由烹饪、运动和家务等活动视频字幕生成，随后经过筛选和对抗性优化，确保正确答案不易被猜测。该基准专门针对常识性物理推理，例如，理解一个人在制作三明治时，应在折叠面包之前将食材放在面包上。这一侧重点使其区别于其他测试事实知识或语言能力的基准。
动机与设计
该论文的动机源于观察到现有常识推理基准已趋于饱和；模型可通过利用文本中的统计规律而非真正推理世界来获得高分。作者旨在创建一个能抵御此类捷径的数据集。其设计过程包括两个关键步骤。首先，他们收集了大量由人类撰写的描述日常活动的句子对，来源为视频数据集中的字幕。其次，他们采用了一种对抗性过滤技术：初始候选错误答案由神经网络生成，随后人类标注者选择并改写最具挑战性的干扰项，确保错误选项看似合理但明显不正确。
由此产生的数据集包含约10,000个验证示例和10,000个测试示例，每个示例包含四个选项。一个显著特点是，在论文发表时，简单语言模型的准确率仅略高于随机水平（25%），而人类表现超过95%。这一巨大差距使该基准成为模型的重要压力测试。
评估与影响
在论文中，作者评估了多种当代模型，包括循环神经网络和早期基于Transformer的架构。他们发现性能与模型规模相关，但仍远低于人类水平。该数据集迅速在Machine learning社区中获得采用，几年内，诸如GPT-3和后来的Large language model等最先进模型开始接近人类准确率，尽管在对抗性示例上仍表现出系统性失败。截至2025年，该基准仍然活跃，许多研究团队在模型发布和学术论文中报告HellaSwag得分。
HellaSwag论文还推动了该领域评估常识推理方式的更广泛转变。它启发了后续基准，如WinoGrande和Social IQa，这些基准遵循类似的对抗性设计原则。其对物理直觉的强调在具身AI和机器人研究中尤其具有影响力，因为这些领域的模型必须推理现实世界的约束。
局限性与批评
尽管取得了成功，该基准仍存在局限性。批评者指出，它主要测试一种狭义的物理常识，并未涵盖社会或情感推理。此外，对抗性过滤过程虽然有效，但依赖人类标注者，其判断可能有所差异，且生成的错误答案有时包含微妙偏差。一些研究者还认为，在HellaSwag上取得高分并不能保证稳健的现实世界推理，因为模型可能学会利用处理流程中的模式。论文作者承认了这些担忧，并鼓励社区将该基准与其他评估结合使用。
在AI研究中的遗产
HellaSwag论文在Artificial intelligence文献中被广泛引用，被视为数据集创建领域的里程碑。它体现了构建更难、更精心设计的评估集的趋势，这些评估集能够区分有意义的进展与表面改进。该基准被纳入多个主要模型评估框架，包括广泛使用的Open LLM Leaderboard和HELM（语言模型整体评估）项目。其影响超越学术研究，延伸至工业实践，开发Generative AI系统的公司在部署前将HellaSwag作为多项标准测试之一。
参见
- Natural language processing
- evaluation-benchmark
- common-sense-reasoning