斯坦福问答数据集（Stanford Question Answering Dataset），通常简称为SQuAD，是一个用于评估机器学习模型在阅读理解与问答任务上表现的基准数据集。该数据集由众包工作者基于一组维基百科文章提出问题，每个问题的答案均为对应文章中的一段连续文本（即一个跨度）。SQuAD被广泛应用于自然语言处理研究中，用以衡量模型理解给定段落并定位精确答案的能力，是现代问答系统发展过程中的一个关键里程碑。
SQuAD由斯坦福大学的研究人员提出，并于2016年首次发布。其初始版本后来被命名为SQuAD1.1，包含超过10万个问答对，这些问答对源自536篇维基百科文章。后续版本SQuAD2.0于2018年发布，新增了超过5万个不可回答的问题，旨在测试模型在段落中不包含答案信息时是否能够拒绝作答。该数据集的流行得益于其简洁的格式、基于跨度的答案客观性，以及为比较模型性能提供的直观度量标准。
数据集结构与构建
SQuAD的构建过程涉及众包工作者，他们通过亚马逊土耳其机器人（Amazon Mechanical Turk）平台招募，任务包括阅读一篇维基百科文章，然后生成问题，且每个问题的答案必须是文章中的一段连续文本。所选文章来自一份涵盖历史、科学和地理等多个主题的高质量条目清单。每个问题都配有一个准确的答案跨度，同时收集了额外的答案以涵盖其他合理的表述方式。原始SQuAD1.1数据集被划分为训练集和开发集，分别包含约8.7万个和1万个问题，另有一个隐藏测试集用于官方评估。
SQuAD2.0通过将原有问题与新的不可回答问题相结合，引入了重大挑战。这些对抗性样本由众包工作者基于与原始数据集中相似的段落撰写，但对段落内容进行了修改以改变具体事实（例如替换日期或名称）。其目标是要求模型在存在答案跨度时能够正确回答，同时在不存在答案时能够拒绝作答。这一发展产生了重大影响，因为许多早期系统无法满足这种弃权要求，导致在新基准上的性能显著下降。
评估指标
SQuAD的主要评估指标是精确匹配（Exact Match，简称EM）分数，它衡量预测结果在归一化处理（如去除标点符号和冠词）后与某个标准答案完全一致的比例。次要指标是F1分数，它计算预测结果与标准答案在词元层面的重叠程度，提供了一种更为宽容的度量方式，能够对部分匹配给予肯定。这些指标均在开发集上计算，官方排行榜历来用于对提交结果进行排名。该排行榜由斯坦福自然语言处理小组维护，托管在专门网站上，直至其最终更新前一直是竞争性研究的焦点。
对自然语言处理研究的影响
SQuAD在自然语言处理的发展演变中发挥了关键作用，与深度学习和基于Transformer架构的兴起同步。2016年的早期顶尖系统主要依赖循环神经网络和注意力机制，而2017年Transformer模型及后续预训练语言模型的引入从根本上改变了研究格局。值得注意的是，OpenAI等实验室发布了诸如BERT（源自谷歌的一个变体）等模型，在SQuAD1.1上取得了超越人类的表现，后续模型则在SQuAD2.0上不断改进。SQuAD成为新架构的标准测试平台，包括大型语言模型如GPT，以及Anthropic的Claude，这些模型在开发过程中经常以此基准进行评估。
该数据集的影响力超越了排行榜本身。SQuAD推动了衍生数据集和任务的创建，例如其他语言的抽取式问答以及多文档问答。它还影响了后续基准的设计，如Natural Questions和TriviaQA，这些基准侧重于开放域设置，而非单段落抽取。麻省理工学院计算机科学与人工智能实验室、伯克利人工智能研究等机构的研究人员利用SQuAD来研究模型的鲁棒性、校准能力以及抽取式推理的局限性。
局限性与批评
尽管取得了成功，SQuAD也存在明显的局限性。其答案格式仅限于连续的文本跨度，因此无法涵盖是非题、计数类问题或需要跨句子综合推理的答案。由于段落相对简短且自包含，该基准无法测试模型在多跳推理或处理嘈杂真实世界文本方面的能力。此外，众包生成的问题往往倾向于词汇匹配，这意味着模型可以通过识别与问题词语相似的跨度来获得高分，而并非真正理解内容。这些批评促使了更具挑战性的基准的开发，但SQuAD仍然是衡量机器阅读与问答进展的基础性参考点。
遗产与当前应用
SQuAD至今仍在学术论文中被频繁引用，并作为人工智能更广泛领域的基线评估工具。许多现代机器学习框架在其库中集成了SQuAD作为标准数据集，同时它也是大学自然语言处理课程中的常见练习素材。尽管较新的模型在SQuAD1.1上的EM分数通常超过90%，该基准的历史意义在于它展示了训练系统在结构化阅读任务上的能力。进入2020年代后，SQuAD依然是比较通用语言模型的重要参考点，尽管GLUE和SuperGLUE等评估套件已变得更加主流。