SQuAD v1.1（斯坦福问答数据集）是一个广泛用于抽取式阅读理解与问答任务的基准数据集。它包含由众包工作者基于536篇维基百科文章生成的超过10万个问答对。该任务要求模型从给定段落中识别出正确的答案作为连续的文本片段，使其成为自然语言理解系统的基础性评估工具。
该数据集由斯坦福人工智能实验室的研究人员于2016年提出，初始版本于2016年6月发布，v1.1更新版于2016年12月发布。其设计旨在促进模型在阅读和理解文本方面达到更接近人类水平的能力。问题设计为仅凭所提供的段落即可回答，无需外部知识，且每个问题只有一个正确答案片段。
结构与创建
SQuAD v1.1通过从英文维基百科中选取536篇涵盖科学、历史和传记等多样主题的文章构建而成。亚马逊土耳其机器人上的众包工作者被要求阅读每个段落并生成问题及相应答案。每个答案必须是段落中的逐字片段，确保数据集可用于抽取式问答任务。最终数据集包含107,785个问答对，分为训练集87,599对、开发集10,570对，以及用于官方评估的隐藏测试集。
该数据集包含多种问题类型，如谁、什么、何时、何地、为什么和如何等问题。这种多样性挑战模型执行不同类型的推理，包括实体识别、时间推理和因果推断。答案片段范围从单个标记到多句段落，但大多数为短短语。
评估指标
模型通过两个主要指标进行评估：精确匹配（EM）和F1分数。EM衡量预测与真实答案完全匹配的百分比，忽略标点和冠词。F1分数计算预测与真实标记之间的精确率和召回率的调和平均值，提供更宽松的度量，奖励部分匹配。这些指标已成为阅读理解领域的标准，并用于许多后续数据集。
人类在SQuAD v1.1上的表现估计为EM 82.3和F1 91.2，为模型比较提供了参考点。早期模型难以超过F1 50%，但深度学习和神经网络架构的快速进展在几年内带来了显著改进。
影响与遗产
SQuAD v1.1在推动机器学习和人工智能研究方面发挥了关键作用。它提供了一个标准化的大规模基准，使研究人员能够客观比较模型性能。该数据集促进了众多有影响力的架构的发展，包括后来成为现代大型语言模型基础的Transformer架构。
值得注意的是，SQuAD v1.1的发布恰逢自然语言处理中注意力机制和多头注意力的兴起。BiDAF（双向注意力流）和后来的BERT等模型在该基准上取得了最先进的结果，展示了预训练和微调范式的强大能力。这些模型在SQuAD v1.1上的成功帮助验证了编码器-解码器和序列到序列框架的有效性。
该数据集还影响了后续基准的创建，包括SQuAD v2.0，后者增加了不可回答的问题以测试模型的鲁棒性。许多其他阅读理解数据集，如RACE和TriviaQA，也基于类似原则设计，但SQuAD v1.1仍是该领域引用最广泛、使用最多的基准之一。
局限性与批评
尽管取得了成功，SQuAD v1.1仍存在若干局限性。任务的抽取性意味着模型只需识别文本片段，而非生成新颖答案。这可能导致模型擅长定位信息，但在综合或推理信息方面能力不足。该数据集还依赖维基百科文章，可能引入主题覆盖和写作风格方面的偏差。
此外，众包问题有时包含歧义或需要段落中未明确陈述的常识推理。随着模型改进，人类与机器性能之间的差距缩小，引发了对该数据集区分顶级系统能力的担忧。这些问题促使了更具挑战性基准的创建，以及超越抽取式回答的生成式人工智能方法的探索。