HellaSwag 是一个基准数据集，旨在评估人工智能系统（尤其是大型语言模型）的常识推理能力。它由罗恩·泽勒斯（Rowan Zellers）及其同事于 2019 年在华盛顿大学和艾伦人工智能研究所提出。该名称是“hell”（地狱）和“swag”（即“Situations With Adversarial Generations”，对抗性生成情境）的合成词。该基准要求模型从一组选项中为给定叙述选择最合理的续写，以测试其对日常物理和社会情境的理解能力。
该数据集包含超过 7 万个多项选择题，每个问题均源自视频字幕和故事描述。这些问题的设计具有对抗性，即错误选项由语言模型生成，表面上看似合理，但语义上却存在错误。这种设计迫使模型依赖真正的常识理解，而非表面的语言模式或统计捷径。
构建与设计
HellaSwag 的构建采用了两阶段流程。首先，研究人员从 ActivityNet 和 WikiHow 等视频字幕数据集中收集了大量叙述性描述，这些描述为每个问题提供了上下文。其次，他们使用生成式语言模型为每个上下文生成候选结尾。这些由模型生成的结尾虽然在语法上通常正确，但在逻辑上与情境不符，因此被用作干扰项。而正确的结尾则是来自原始语料库的延续内容。
这种对抗性生成过程是 HellaSwag 的一个关键特征。它确保了该基准无法通过依赖词汇重叠或简单启发式方法的模型轻易破解。研究人员证明，许多在其它基准上表现优异的模型在 HellaSwag 上表现不佳，其准确率仅略高于随机猜测。
评估与影响
HellaSwag 已成为自然语言处理领域的标准评估工具。它被纳入主要的评估套件，如 Open LLM Leaderboard 和 EleutherAI 语言模型评估工具。研究人员使用它来比较不同模型的推理能力，包括基于 Transformer (architecture) 架构和 大型语言模型 的模型。
在最初的论文中，当时表现最好的模型准确率约为 48%，而人类的表现约为 94%。这一鲜明对比凸显了早期 深度学习 系统在理解细微现实情境方面的局限性。
随着模型架构和训练数据的后续改进，性能取得了显著提升。现代大型语言模型（如 OpenAI、Anthropic 和 Google DeepMind 开发的模型）在 HellaSwag 上的准确率已超过 90%。这一进步反映了 人工智能 和 机器学习 领域的整体发展，尤其是在模型捕捉和应用常识知识方面的能力提升。
局限性与批评
尽管 HellaSwag 被广泛使用，但也面临一些批评。一些研究人员认为，该基准可能高估了模型的推理能力，因为它采用多项选择格式，模型可以通过模式匹配或记忆训练数据中的类似示例来解答。此外，随着模型在包含类似问题格式的更大、更多样化的语料库上进行训练，对抗性干扰项的有效性可能会降低。
另外，该基准主要测试英语环境下的物理和社会常识，这限制了其对其它语言和文化背景的适用性。为弥补这一不足，已有创建多语言版本的努力，如 X-CSQA 和 XCOPA 数据集，但 HellaSwag 本身仍是一个仅限英语的资源。
相关基准
HellaSwag 是一个常识推理基准家族的一部分，该家族包括 SWAG（其前身）、COPA 和 Winograd Schema Challenge。这些基准共同旨在从不同角度衡量常识理解，涵盖物理直觉到社会动态等方面。它们经常被结合使用，以对模型的推理能力进行全面评估。
HellaSwag 的开发也影响了其它对抗性基准的创建，如 ANLI（对抗性自然语言推理）和 TruthfulQA，这些基准应用类似的生成技术来测试模型的稳健性和事实性。这些基准已成为 AI 系统迭代改进的重要组成部分，指导着 神经网络 和 生成式 AI 等领域的研究方向。
参见
参考文献
- Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., & Choi, Y. (2019). HellaSwag: Can a Machine Really Finish Your Sentence? Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.