SQuAD 2.0（斯坦福问答数据集，2.0版）是一个广泛使用的基准，用于评估自然语言处理系统的阅读理解能力。该数据集由斯坦福大学的研究人员于2018年发布，在原始SQuAD 1.1数据集的基础上引入了一个关键挑战：不可回答的问题。在SQuAD 2.0中，每个段落都配有问题，其中一些问题在文本中没有答案，这迫使模型不仅要提取正确的片段，还要识别问题何时不可回答。这种设计直接测试了系统推理信息存在与否的能力，超越了简单的模式匹配。
该数据集包含超过10万个问答对，这些问答对来自500多篇维基百科文章。具体来说，它包含大约5万个可回答的问题（保留自SQuAD 1.1）以及另外5万个由众包工作者对抗性编写的不可回答的问题。这些不可回答的问题被设计得看似合理，且风格与可回答的问题相似，通常使用相关但不正确的实体或事实，这使得任务难度显著增加。SQuAD 2.0的评估指标是精确匹配（EM）分数，要求模型的预测答案与真实答案完全匹配，以及F1分数，用于衡量预测答案与真实答案之间标记的重叠程度。对于不可回答的问题，模型只有在预测“无答案”（空片段）时才能获得分数。
背景与动机
原始SQuAD 1.1于2016年发布，成为抽取式问答的事实标准，其中模型被给定一个段落和一个问题，必须选择文本中的连续片段作为答案。然而，这种设置有一个显著的限制：每个问题都保证在提供的上下文中有一个答案。这使得模型可以利用数据集的结构，通常依赖表面的词汇线索而非真正的理解。为了解决这个问题，SQuAD 2.0的创建者，由Pranav Rajpurkar和Percy Liang领导，引入了不可回答的问题。目标是创建一个更现实的评估，反映现实世界中的场景，即用户可能提出在可用文档中没有答案的问题，而一个健壮的系统应该能够说“我不知道”，而不是虚构一个回答。
数据集构建
SQuAD 2.0的构建涉及一个两阶段的过程。首先，可回答的问题直接取自SQuAD 1.1，这些问题是众包工作者在看到一个段落后被要求写出可以由文本中的片段回答的问题。其次，对于每个段落，额外的众包工作者被要求编写不可回答的问题。他们被指示创建语法正确、与段落主题相关且看似合理的问题，但段落中没有片段能提供正确答案。为了确保质量，工作者被提供了好和坏的不可回答问题的示例。最终数据集经过筛选和验证，每个段落中可回答和不可回答的问题保持平衡。段落本身来自涵盖各种主题的维基百科文章，包括历史、科学和文化。
对模型开发的影响
SQuAD 2.0对机器学习和自然语言处理领域产生了深远的影响。它迅速成为评估阅读理解模型的标准基准，其引入推动了处理不可回答问题的重大研究。早期模型，如基于循环神经网络和注意力机制的模型，在面对新挑战时表现不佳，常常在不存在答案时也预测一个答案。该基准推动了更复杂架构的发展，包括那些结合“无答案”分类器或对答案片段置信度分数使用阈值的架构。Transformer基础模型的发布，特别是2018年底的BERT（来自Transformers的双向编码器表示），带来了SQuAD 2.0上的快速改进。BERT在大规模语料库上的预训练使其在可回答问题上达到接近人类的性能，并在不可回答问题上显著提升，树立了新的最先进水平。
评估与意义
SQuAD 2.0被认为比其前身更具挑战性和现实性。包含不可回答的问题测试了模型进行逻辑推理以及区分相关和无关信息的能力。一个对每个问题都猜测答案的模型得分会很低，因为它会在所有不可回答的实例上失败。该基准已被用于比较各种模型，从传统的基于特征的系统到现代的大型语言模型。截至2024年，SQuAD 2.0上表现最佳的模型EM分数超过90%，超过了人类表现，后者估计约为86.8%的EM。然而，即使有这些高分，研究人员指出模型仍然可能脆弱，并可能在对抗性示例或分布外数据上失败。SQuAD 2.0仍然是评估阅读理解的基础资源，并继续在研究论文中被引用，并在人工智能学术课程中使用。
局限性与未来方向
尽管使用广泛，SQuAD 2.0存在局限性。该数据集是抽取式的，意味着答案必须是文本中的连续片段，这不能反映许多现代问答系统的生成性质。它还依赖维基百科文章，这些文章具有特定的风格和结构，可能限制对其他领域的泛化。此外，虽然精心设计，但不可回答的问题可能无法完全捕捉现实世界查询的复杂性，这些查询可能模糊或需要综合多个来源的信息。作为回应，诸如Natural Questions和RACE等更新的基准已被引入，但SQuAD 2.0仍然是一个关键的参考点。未来的研究方向包括开发能够处理开放式问题、为其答案提供解释，并稳健地检测何时缺乏足够信息的模型，这些都是在SQuAD 2.0奠定的基础上进行的。