SQuAD 1.1（斯坦福问答数据集）是自然语言处理中广泛用于评估阅读理解与问答系统的基准数据集。该数据集包含超过10万个由众包工作者基于一组维基百科文章生成的问题-答案对。每个问题都可以通过从对应文章中提取连续的文本片段来回答，这使得SQuAD 1.1成为一个跨度提取任务。它由斯坦福人工智能实验室的研究人员于2016年提出，此后成为衡量机器阅读进展的标准参考点。
SQuAD 1.1的主要目的是测试模型能否理解给定段落并在其中定位问题的确切答案。与生成式问答任务不同，SQuAD 1.1要求模型输出所提供上下文的子字符串。这种设计简化了评估，并允许基于精确匹配和F1分数进行自动评分。数据集涵盖了来自维基百科的多种主题，包括历史、科学和传记，确保了对事实性知识的广泛覆盖。
数据集构建
SQuAD 1.1的构建涉及两个主要阶段：文章选择和问答生成。创建者从维基百科中选取了536篇文章，涵盖地理、体育和娱乐等多种类别。随后，众包工作者被要求阅读每篇文章并生成可通过文本中的特定句子或短语回答的问题。他们还提供了确切的答案跨度，这些答案后来由其他工作者验证。这一过程产生了107,785个问题-答案对，每篇文章平均约有200个问题。
SQuAD 1.1中的每个问题都与一个答案跨度相关联，尽管如果文章包含同义短语，某些问题可能有多个有效答案。数据集被划分为包含87,599个问题的训练集和包含10,570个问题的开发集，其余问题用于隐藏测试评估。开发集通常用于模型调优，而测试集则保留用于官方排行榜提交。
评估指标
SQuAD 1.1使用两个主要指标进行评估：精确匹配（EM）和F1分数。EM衡量预测与真实答案完全匹配的百分比，忽略标点和冠词。F1分数计算预测与真实答案标记之间的精确率和召回率的调和平均值，提供了一种更宽容的度量，能够考虑部分匹配。这两个指标在数据集中的所有问题上取平均值。
例如，如果真实答案是“Barack Obama”，而模型预测为“Obama”，则该问题的EM分数为0，但F1分数为0.5（因为四个标记中有两个匹配）。这些指标已成为该领域的标准，许多后续基准采用了类似的评估协议。使用神经网络的初始基线模型实现了约70%的F1分数，而人类表现估计为91.2%的F1和82.3%的EM。
研究影响
SQuAD 1.1在推进自然语言处理研究方面发挥了关键作用，特别是在开发用于阅读理解的深度学习模型方面。在其发布之前，大多数问答系统依赖于手工特征和传统的机器学习技术。该数据集提供了一个大规模、标准化的测试平台，鼓励了更复杂的神经网络架构的开发，包括注意力机制和基于transformer的模型。
许多有影响力的模型在SQuAD 1.1上进行了基准测试，例如BiDAF（双向注意力流）模型以及后来的BERT风格预训练语言模型。这些模型在SQuAD 1.1上的成功证明了迁移学习和大型语言模型在理解上下文方面的有效性。该数据集还推动了数据增强和模型剪枝技术的研究，以提高性能和效率。
局限性与遗产
尽管SQuAD 1.1广受欢迎，但它存在已知的局限性。跨度提取格式将答案限制为连续文本，这并不能反映所有现实世界的问答场景，在这些场景中，答案可能需要跨多个句子的综合或推理。此外，该数据集包含一些偏差，例如问题倾向于关注命名实体和日期，这可能导致模型依赖表面模式而非深层理解。
为了解决这些问题，后续版本如SQuAD 2.0引入了不可回答的问题，其他基准如Natural Questions和TriviaQA也扩大了范围。尽管如此，SQuAD 1.1仍然是该领域的基础资源。它经常被用作大型语言模型的预训练或微调任务，并继续作为评估新架构的基线。其影响超越了学术界，许多行业团队，包括Google DeepMind和OpenAI的团队，都使用它来验证其系统。
结论
SQuAD 1.1是一个里程碑式的数据集，塑造了现代阅读理解系统的发展。通过提供大规模、高质量的语料库和清晰的评估指标，它推动了人工智能的快速进步，并仍然是研究人员和从业者的关键参考。尽管出现了更新的基准，但SQuAD 1.1的简单性和稳健性确保了其在领域中的持续相关性。