HellaSwag是一个基准数据集，旨在评估人工智能系统，特别是大型语言模型的常识推理能力。它于2019年由华盛顿大学和艾伦人工智能研究所的Rowan Zellers及其同事提出。该名称是“hell”和“swag”的混合词，其中“swag”代表“Situations With Adversarial Generations”（对抗性生成情境）。该基准挑战模型从一组选项中为给定叙事选择最合理的延续，从而测试其理解日常物理和社会情境的能力。
该数据集包含超过70,000道多项选择题，每道题均源自视频字幕和故事描述。这些问题被设计为对抗性的，意味着错误答案选项由语言模型生成，表面上看似合理但语义上错误。这种设计迫使模型依赖真正的常识理解，而非表面语言模式或统计捷径。
构建与设计
HellaSwag的构建涉及两阶段过程。首先，作者从ActivityNet和WikiHow等视频字幕数据集中收集了大量叙事描述语料库。这些描述为每个问题提供上下文。其次，他们使用生成式语言模型为每个上下文生成候选结尾。模型生成的结尾通常语法正确但与场景逻辑不一致，作为干扰选项。正确结尾是源语料库中的原始延续。
这种对抗性生成过程是HellaSwag的关键特征。它确保基准不易被依赖词汇重叠或简单启发式方法的模型所利用。作者证明，许多现有模型，包括在其他基准上表现强劲的模型，在HellaSwag上表现不佳，准确率仅略高于随机猜测。
评估与影响
HellaSwag已成为自然语言处理领域的标准评估工具。它被纳入主要评估套件，如Open LLM Leaderboard和EleutherAI语言模型评估框架。研究人员使用它来比较不同模型的推理能力，包括基于Transformer (architecture)架构和大型语言模型的模型。
HellaSwag的初步结果凸显了机器常识推理中的显著差距。例如，在原始论文中，当时表现最佳的模型准确率约为48%，而人类表现约为94%。这一鲜明对比强调了早期深度学习系统在理解细微现实世界场景方面的局限性。
随后在模型架构和训练数据方面的改进带来了显著提升。现代大型语言模型，如OpenAI、Anthropic和Google DeepMind开发的模型，现在在HellaSwag上的准确率超过90%。这一进展反映了Artificial intelligence和Machine learning领域的更广泛进步，特别是模型捕获和应用常识知识的能力。
局限性与批评
尽管被广泛使用，HellaSwag仍面临批评。一些研究人员认为，该基准可能高估模型的推理能力，因为它依赖多项选择格式，可通过模式匹配或记忆训练数据中的类似示例来解决。对抗性干扰项虽然最初有效，但随着模型在包含类似问题格式的更大、更多样化语料库上训练，可能变得不那么具有挑战性。
此外，该基准主要测试英语中的物理和社会常识，这限制了其在其他语言和文化背景中的适用性。创建多语言版本的努力，如X-CSQA和XCOPA数据集，已尝试解决这一差距，但HellaSwag本身仍是仅限英语的资源。
相关基准
HellaSwag是常识推理基准家族的一部分，包括SWAG（其前身）、COPA和Winograd Schema Challenge。这些基准共同旨在衡量常识理解的不同方面，从物理直觉到社会动态。它们通常在模型评估中一起使用，以提供推理能力的全面评估。
HellaSwag的开发也影响了其他对抗性基准的创建，如ANLI（对抗性NLI）和TruthfulQA，这些基准应用类似的生成技术来测试鲁棒性和事实性。这些基准已成为AI系统迭代改进的组成部分，指导神经网络和生成式AI等领域的研究。
参见
参考文献
- Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., & Choi, Y. (2019). HellaSwag: Can a Machine Really Finish Your Sentence? Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.