斯坦福问答数据集（SQuAD）是一个广泛使用的基准，用于评估人工智能系统理解文本和回答问题的能力。该数据集由斯坦福人工智能实验室的研究人员开发，包含大量由众包工作者基于一组维基百科文章提出的问题。每个问题都有一个对应的答案，该答案是直接从相关文章中提取的文本片段，这种格式被称为抽取式问答。该数据集作为机器学习和深度学习模型在自然语言处理领域的标准测试平台，而自然语言处理是人工智能研究的核心领域。
SQuAD于2016年首次发布，引入了一套严格的评估程序，同时衡量预测答案字符串与标准答案的精确匹配（EM）以及考虑部分匹配的token级F1分数。这一双重指标已成为问答研究的实际标准。初始版本通常称为SQuAD1.1，包含超过100,000个问答对，源自500多篇文章。后续版本SQuAD2.0于2018年发布，新增了超过50,000个不可回答的问题，旨在测试模型识别不存在答案的能力，使任务更具挑战性和现实性。
结构与内容
该数据集基于维基百科上的文章构建，主要涵盖知名人物、事件和主题。众包工作者阅读每篇文章并生成可通过文章中的文本片段回答的问题。例如，一个问题可能是“哪家公司开发了图灵机？”，答案则是文中提到的具体公司名称。每个问答对都与文章中的一个上下文段落配对，答案标注了其在该段落中的起始和结束位置。这种设计确保了任务纯粹是抽取式的，侧重于阅读理解而非生成式回答。
SQuAD数据集将文章划分为训练集、开发集和测试集。测试集不公开；相反，参与者将模型预测提交到服务器进行评分，这有助于防止对测试数据的过拟合。这种设置鼓励了不同方法之间的公平比较，从早期的神经网络模型到现代的基于Transformer架构。
对模型开发的影响
SQuAD在问答模型的快速发展中发挥了重要作用。在早期，性能最佳的系统依赖于序列到序列模型和注意力机制，取得了适中的分数。2018年预训练语言模型（如BERT）的引入带来了显著改进，模型在数月内便在SQuAD1.1上超越了人类表现。这一进展凸显了在大规模语料上进行预训练的力量，这是现代大型语言模型发展的基石。
后续架构，包括基于编码器-解码器设计和多头注意力的架构，持续推动了技术前沿。SQuAD2.0及其不可回答的问题更具挑战性，模型必须加入弃权机制，例如为预测答案分配较低的置信度分数。这一挑战推动了对不确定性估计和稳健推理的研究，这些主题至今仍是活跃的研究领域。
该基准也影响了商业AI产品的开发。像OpenAI和Google DeepMind这样的公司使用SQuAD风格的任务来评估和优化其模型，该数据集在学术论文和行业报告中仍然是一个常见的参考点。
评估指标与排行榜
SQuAD的主要指标是精确匹配（EM）和F1分数。EM是一个严格的指标，要求预测答案与标准答案完全匹配，包括标点和大小写（除‘a’、‘an’、‘the’等冠词外）。F1将答案视为token的集合，计算精确率和召回率的调和平均值，对重叠词给予部分分数。人类在SQuAD1.1上的表现约为82.3 EM和91.2 F1，而顶级模型已取得超过90 EM和95 F1的分数。在SQuAD2.0上，人类表现约为86.8 EM和89.5 F1，而最佳模型已达到接近人类的水平。
由斯坦福主办的官方排行榜跟踪这些指标随时间的变化，目前尚无官方排行榜，但研究论文维护着自己的表格。该数据集继续用于衡量阅读理解的进展，其结果经常在会议投稿中被引用。
局限性与批评
尽管取得了成功，SQuAD仍存在显著局限性。抽取式格式将答案限制为文本中存在的片段，这并未反映真实用户提出的开放式问题的全部范围。该数据集也存在偏差，例如问题倾向于关注实体和日期，且众包问题可能并不总是自然的。批评者指出，获得高分的模型可能依赖表面线索（例如，将问题中的词与上下文匹配）而非深层理解。
SQuAD2.0通过添加不可回答的问题解决了部分问题，但它仍然在封闭域设置中运行，每个问题对应单一文档。这与开放域问答有显著不同，后者系统必须从大型语料库中检索相关信息。因此，研究人员开发了替代基准，如Natural Questions和HotpotQA，以探索多跳和开放域挑战。尽管如此，SQuAD仍是该领域的经典参考。
遗产与持续使用
SQuAD的遗产延伸为一项基础资源。它作为教授深度学习概念的教学工具，答案本质上是抽取式的。该数据集可免费获取，并已集成到流行的机器学习库和教育平台中。其设计原则，，大规模、众包问题和清晰的评估指标，，启发了众多后续数据集。
截至2025年，SQuAD仍在持续研究中被使用，特别是在与基于Transformer架构等新模型结合以及模型可解释性研究中。尽管随着生成式大型语言模型的兴起，其主导地位有所减弱，但它仍然是阅读理解能力的重要验证工具。该基准在AI历史中的地位稳固，催化了十年的进步，并为研究人员提供了比较工作的共同语言。