HotpotQA是一个大规模数据集，旨在训练和评估人工智能系统在多跳问答中的表现。它由卡内基梅隆大学和华盛顿大学的研究团队于2018年提出。该数据集包含超过113,000个问答对，每个问题都要求模型跨越多篇维基百科支持文档进行推理，以得出正确答案。与依赖单一篇章的简单问答基准不同，HotpotQA明确测试系统执行多跳推理的能力，即通过逻辑链条连接多个来源的信息。
HotpotQA的主要目标是推动机器阅读理解与推理的研究。它解决了早期数据集的一个显著局限，即这些问题通常可从单个段落中回答。通过要求综合两篇或更多文档的信息，HotpotQA促使模型向更复杂的理解和推断方向发展。该数据集被广泛用作机器学习和人工智能领域的基准，尤其用于评估大型语言模型及其他神经架构的推理能力。
数据集构建
HotpotQA数据集采用两阶段众包流程创建。首先，工作人员被要求编写需要从多篇维基百科文章中获取信息的问题，并限制答案不能在任何单一文章中找到。其次，这些问题经过验证，并由标注者识别支持事实。每个问题都附带一份支持事实列表，即源文档中提供回答所需证据的特定句子。这种设计既支持答案预测，也支持证据提取，从而能够更透明地评估模型推理过程。
该数据集包含两种主要问题类型：桥接型和比较型。桥接型问题要求将一个文档中的实体链接到另一个文档，例如通过连接一部电影及其导演来识别某人的出生地。比较型问题要求对比两个实体的属性，例如判断两条河流中哪条更长。这种多样性确保模型必须处理不同的推理模式，而不仅仅是简单的事实检索。
评估指标
HotpotQA通常使用多种指标进行评估。对于答案预测，主要指标是精确匹配（EM），它衡量预测结果与真实答案完全匹配的百分比。此外，F1分数用于考虑部分匹配，计算预测答案与真实答案之间词元的重叠情况。对于支持事实预测任务，计算联合F1和EM分数，要求模型识别正确的证据句子。这些指标综合评估了最终答案的准确性和推理过程。
在2018年的原始版本中，数据集被划分为训练集、开发集和测试集，其中测试集用于公开排行榜。该排行榜允许研究人员将自己的模型与最先进的方法进行比较，促进了该领域的快速进展。随着时间的推移，HotpotQA已成为自然语言处理社区的标准基准，尽管它未在提供的链接slug中明确列出。
对人工智能研究的影响
HotpotQA对推理模型的发展产生了重大影响。它推动了融合注意力机制、记忆网络和图基推理的架构创新。例如，早期模型使用基于Transformer的编码器来联合编码问题和多篇文档，而后续方法则采用图神经网络来建模跨文档实体之间的关系。该数据集还强调了可解释性的重要性，因为支持事实标注使研究人员能够分析模型为何做出特定预测。
该数据集已被用于评估现代大型语言模型的推理能力，例如由OpenAI、Anthropic和Google DeepMind开发的模型。这些模型通常经过微调或使用少样本示例进行提示，已在HotpotQA上取得高分，展示了其多步推断的能力。然而，该数据集仍具挑战性，因为模型在处理需要复杂时间或因果推理的问题时仍存在困难。截至近年，最先进的系统在开发集上实现了超过90%的精确匹配，但测试集排行榜显示仍有改进空间。
局限性与批评
尽管广受欢迎，HotpotQA也面临批评。一个局限性是问题由众包工作者生成，这可能引入偏见或不自然的措辞。此外，该数据集将维基百科作为唯一知识来源，限制了主题的多样性，可能无法反映信息分散在各个领域的现实世界问答场景。一些研究人员指出，模型可能利用捷径，例如依赖实体共现模式，而非进行真正的推理。这促使开发了更难的基准，旨在缓解此类问题。
另一个关注点是数据集的静态性质。由于维基百科不断更新，HotpotQA中使用的文档可能过时，从而影响评估随时间推移的有效性。然而，该数据集仍是有价值的受控实验资源，因为它提供了固定的文档和标注集合。
相关基准
HotpotQA是更广泛的多跳问答数据集家族的一部分。它常与其他基准（如QAngaroo、ComplexWebQuestions和MuSiQue）进行比较。这些数据集在规模、问题复杂性和所需跳数方面各不相同。HotpotQA对支持事实标注的强调使其区别于许多其他数据集，特别适用于研究基于证据的推理。在深度学习和神经网络的背景下，HotpotQA作为开发新型架构和训练范式的严格测试平台。