SWAG（情境对抗生成）是一个大规模基准数据集，旨在评估人工智能系统对日常情境进行常识推理的能力。该数据集由华盛顿大学和艾伦人工智能研究所的研究团队于2018年推出，由罗恩·泽勒斯和崔艺珍领导。该数据集构建为多项选择自然语言推理任务：给定一个描述情境的前提，模型必须从四个选项中选出最合理的续接。SWAG的显著特点在于采用“对抗性”生成技术，这些技术能创造出语法流畅、语义看似合理但实际错误的干扰项，从而考验模型更深层的推理能力，而非仅依赖表面的语言模式。
该基准已成为自然语言处理和机器学习领域评估常识推理进展的标准工具，尤其用于衡量大型语言模型的性能。它被广泛用于评估大型语言模型及其他神经网络架构，并影响了后续基准的开发，例如HellaSwag，后者通过更复杂多样的示例扩展了该方法。SWAG的设计强调了对抗性评估在人工智能中的重要性，推动模型超越简单的模式匹配，实现更稳健的理解能力。
数据集构建
SWAG数据集通过从视频字幕语料库（具体为大型电影描述挑战（LSMDC）数据集，包含电影场景描述）中收集句子对而创建。研究人员提取了73,000个训练示例、20,000个验证示例和20,000个测试示例。对于每个前提，他们生成了四个可能的续接：一个正确续接（实际字幕）和三个错误续接。错误续接通过结合人工编写的模板和自动化生成方法（包括训练用于生成看似合理但不正确续接的语言模型）产生。这种对抗性生成过程确保了干扰项不易通过语法性或主题一致性等简单启发式方法被区分。
SWAG中的每个示例都被构建为自然语言推理问题，其中前提是对情境的简短描述，任务是识别最可能发生的续接。该数据集涵盖了广泛的日常活动，从烹饪、驾驶到社交互动，要求模型运用一般世界知识和因果推理能力。
评估与意义
SWAG被用作人工智能和机器学习领域的基准，特别用于评估大型语言模型和其他深度学习系统。任务是实现高准确率地选择正确续接，随机猜测的准确率为25%。早期模型，包括基于循环神经网络和早期Transformer架构的模型，难以超过60%的准确率，这凸显了常识推理的难度。基于Transformer的模型（如BERT）的引入带来了显著改进，到2019年，一些模型准确率已超过80%。
该基准在推动常识推理研究方面发挥了重要作用，并被众多论文引用。它常与GLUE和SuperGLUE等其他基准一起使用，以全面评估模型的语言理解能力。SWAG的对抗性本质使其特别具有挑战性，因为模型必须避免被表面合理但错误的选项所误导。
与其他基准的关系
SWAG启发了多个后续基准，最著名的是HellaSwag，由同一研究团队于2019年推出。HellaSwag采用了类似的对抗性生成方法，但使用了更大、更多样化的数据集，现已成为评估大型语言模型的流行基准。其他相关基准包括Winograd Schema Challenge（测试指代消解能力）和PIQA（物理交互问答，聚焦物理常识）。SWAG常与这些基准一起被归入更广泛的努力，旨在评估人工智能系统超越简单文本分类的世界理解能力。
该基准也用于生成式人工智能的语境中，评估模型生成连贯且上下文恰当文本的能力。虽然SWAG是一项判别式任务（在选项中选择），但它为模型的生成能力提供了洞察，因为能够生成合理续接的模型很可能在选择题中表现良好。
局限性与批评
尽管SWAG被广泛使用，但也面临一些批评。一个局限性是数据集来源于电影字幕，可能无法完全代表日常情境的多样性，从而可能引入偏差。此外，对抗性生成过程虽然有效，但有时可能产生过于简单或过于困难的干扰项，具体取决于模型。一些研究人员指出，在SWAG上的高性能并不一定转化为现实世界应用中稳健的常识推理，因为该任务仍相对狭窄。尽管如此，SWAG仍然是自然语言理解基准测试的宝贵工具，并为更强大人工智能系统的发展做出了重要贡献。
对人工智能研究的影响
SWAG对人工智能领域产生了持久影响，特别是在自然语言处理和常识推理方面。它被用于评估从早期神经网络到最先进的大型语言模型等各种模型，并帮助识别不同架构的优势和劣势。该基准还推动了对抗性评估技术的发展，这些技术现在广泛用于人工智能研究中以测试模型的稳健性。截至2025年，SWAG仍在学术文献中被引用，并被纳入许多模型评估套件，作为理解和改进人工智能世界推理能力的基础工具。