WikiHop是一个机器阅读理解数据集，旨在评估和提升人工智能系统中的多跳推理能力。该数据集由伦敦大学学院和DeepMind的研究人员于2016年提出，旨在解决早期阅读理解基准中的一个根本性局限：回答单个问题需要跨多个文档进行推理。与答案包含在单个段落中的更简单数据集不同，WikiHop要求模型从多个不同来源收集并综合信息，模拟人类在研究某个主题时所进行的复杂证据收集推理过程。
该数据集基于维基百科文章构建，每个实例包含一个问题、一组支持文档和一组候选答案。问题的设计使得没有任何单个文档包含完整答案；相反，模型必须跨多个文档识别相关信息，并通过串联线索推断出正确答案。例如，一个问题可能询问某篇文章中提到的人物的国籍，而答案需要从另一篇关于该人物出生地的文章中获取信息。这种结构迫使模型执行多跳推理，其中每一跳对应一个推理步骤，将一条证据与另一条证据联系起来。
构建与设计
WikiHop的创建涉及一个半自动化流程。研究人员首先从维基百科中选取涵盖传记、事件和实体等广泛主题的文章。然后，他们使用一组模板生成问题和候选答案。对于每个问题，他们确定一个“支持”文档集合，这些文档共同包含必要的信息。该数据集的一个关键特征是侧重于“抑制”琐碎答案：候选答案包括文档中存在的合理干扰项，但这些干扰项并非正确答案，从而迫使模型仔细推理，而不是依赖简单的词汇匹配。
该数据集发布了两个版本：WikiHop（原始版）和WikiHop（掩码版）。掩码版移除了候选答案选项，要求模型直接生成答案，这是一个更困难的任务。原始版包含43,738个训练问题、5,129个验证问题和2,451个测试问题，每个问题平均约有4.5个支持文档。问题涵盖广泛领域，从历史和地理到科学和流行文化。
意义与影响
WikiHop成为评估机器学习和深度学习模型中多跳推理能力的标准基准。它凸显了早期神经阅读理解系统能力中的一个关键缺口，这些系统通常在单文档任务中表现出色，但在需要跨多个来源整合信息时却面临困难。该数据集推动了新架构和训练技术的发展，包括记忆增强网络和基于图的推理模型，这些模型被设计用于显式跟踪和组合跨文档的证据。
该基准还影响了后续数据集的设计，如HotpotQA和MultiHop，这些数据集进一步完善了多跳推理挑战。WikiHop对多文档推理的强调与大型语言模型的发展尤为相关，因为这些模型越来越多地被用于需要综合来自不同来源信息的任务，如开放域问答和事实核查。
局限性与批评
尽管具有影响力，WikiHop仍面临批评。一些研究人员指出，该数据集的问题有时可以通过表面线索（如实体共现）来回答，而无需真正的多跳推理。候选答案通常出现在支持文档中，使模型能够使用简单的模式匹配。此外，问题的合成性质（由模板生成）意味着它们并未完全捕捉真实世界查询的复杂性和模糊性。这些局限性导致人们日益认识到需要更具挑战性和更现实的基准，从而促使创建具有更自然语言和更复杂推理要求的数据集。
另一个局限性是，与现代基准相比，该数据集的规模相对较小，这可能导致过拟合。因此，WikiHop通常与其他数据集结合使用，以提供对模型推理能力的更全面评估。
遗产与持续相关性
尽管年代久远，WikiHop仍然是探测神经网络模型推理能力的有用工具。它经常用于人工智能可解释性研究以及分析Transformer模型失败模式的研究中。该数据集的设计原则，特别是其对多文档证据和干扰项答案的关注，已为更复杂评估框架的开发提供了参考。截至2020年代中期，WikiHop仍在文献中被引用，其方法已被改编用于其他领域，如医疗和法律推理，这些领域中多跳推理至关重要。
该数据集还作为自然语言处理基准演变中的历史标志，展示了从简单事实型问答向更复杂、推理密集型任务的转变。其创建是来自多伦多大学和其他机构的研究人员合作的成果，反映了该领域的跨学科性质。