HellaSwag 2023是一个基准数据集，旨在评估人工智能系统，特别是大型语言模型的常识推理能力。它是原始HellaSwag数据集的更新版本，原始数据集于2019年由华盛顿大学和艾伦人工智能研究所的研究人员推出。2023年的修订版专注于使问题更具挑战性，以减少统计偏差的影响，并更好地衡量真正的推理能力，而非模式匹配。
该基准由多项选择题组成，模型会获得一个描述日常情境的上下文，并必须从四个选项中选择最合理的延续。原始HellaSwag包含70,000个问题，其中10,000个用于验证和测试。2023年的更新保持了类似的结构，但引入了新示例，这些示例专门设计为对依赖表面线索（如词频或句子长度）的模型更具难度。
目的与设计
HellaSwag 2023的主要目标是测试AI模型是否能够充分理解物理和社会世界，以预测给定场景中接下来会发生什么。例如，一个问题可能描述一个人将水倒入玻璃杯，然后询问接下来会发生什么，选项从玻璃杯溢出到人喝水不等。正确答案要求模型推理重力、体积和典型人类行为。
该数据集是通过人工编写和机器生成的示例组合创建的。原始版本使用了一种称为对抗过滤的技术，即语言模型生成候选延续，然后人工标注者选择那些最合理但也最可能误导其他模型的选项。2023年的更新完善了这一过程，以创建更具挑战性的问题，通常涉及更长的上下文和更细致的情境。
评估与评分
模型根据选择正确答案的准确性进行评估。基准以百分比报告准确率，分数越高表示常识推理能力越好。在原始HellaSwag中，最先进的模型达到了约85-90%的准确率，但2023版本难度显著提高，许多模型得分低于80%。截至2024年初，表现最佳的大型语言模型（如来自OpenAI和Google DeepMind的模型）达到了约90%的准确率，而较小的模型通常低于70%。
该基准在人工智能研究社区中被广泛用作常识推理的标准测试。它经常被纳入比较不同模型性能的排行榜，与SuperGLUE和MMLU等其他基准并列。研究人员使用HellaSwag 2023来识别模型的弱点，并指导新训练技术的发展。
与其他基准的关系
HellaSwag 2023是评估AI能力不同方面的更广泛基准家族的一部分。虽然它专注于常识推理，但GLUE和SuperGLUE等其他基准测试语言理解，MMLU则测试跨多个领域的知识。2023年的更新尤其值得注意，因为它旨在对仅仅记忆训练数据或利用统计规律性的模型更具鲁棒性。
该基准还与人工智能安全的概念相关，因为常识推理被认为是构建可靠和可信AI系统的关键组成部分。在常识推理上失败的模型可能在现实应用中犯下危险错误，例如自动驾驶或医疗诊断。因此，HellaSwag 2023经常用于AI对齐和鲁棒性的研究。
局限性与批评
尽管被广泛使用，HellaSwag 2023仍存在一些局限性。批评者认为，该基准可能仍然容易受到某些偏差的影响，例如模型倾向于选择更长或更复杂的答案。此外，所有问题均为英文，并聚焦于西方文化背景，这可能限制了其对其他语言和文化的适用性。
另一个批评是，该基准衡量了一种狭窄的常识推理形式，侧重于物理和社会场景，但不涵盖其他类型的推理，如逻辑或数学推理。一些研究人员提出了补充基准来解决这些差距，但HellaSwag 2023仍然是标准的参考点。
未来方向
HellaSwag 2023的开发反映了机器学习领域创建更具挑战性和更现实的评估数据集的更广泛趋势。随着模型的不断改进，基准必须随之发展以保持同步。未来版本的HellaSwag可能会纳入更多样化的场景、多语言问题，或要求模型在更长的时间范围内推理的交互元素。
研究人员还在探索使基准更具动态性的方法，即根据模型的弱点即时生成问题。这种方法被称为自适应测试，可以提供对模型能力的更精确衡量。2023年的更新是朝这个方向迈出的一步，但仍有创新空间。
总之，HellaSwag 2023是评估AI系统常识推理能力的关键工具。其更新的设计使其更具挑战性，也更符合当前的最新技术水平，并继续影响着深度学习和大型语言模型领域的研究。