QAngaroo是一个基准数据集，旨在评估人工智能系统执行多跳推理的能力。与需要检索单一事实的标准问答任务不同，QAngaroo提出的问题需要结合来自多个不同文档或段落的信息。该名称是“question answering”和“kangaroo”的合成词，反映了该任务侧重于在证据片段之间跳跃。它于2018年由伦敦大学学院和Facebook AI Research的研究人员引入，包括Johannes Welbl、Pontus Stenetorp和Sebastian Riedel。
该基准包含两个主要子集：WikiHop和MedHop。WikiHop基于维基百科文章构建，其中每个问题源自一组共同包含答案的支持文档。MedHop基于医学摘要构建，专注于药物相互作用预测，需要对生物医学文献进行推理。两个子集的设计都确保答案无法在任何单个文档中找到，从而迫使模型跨多个来源聚合证据。
任务设计与评估
QAngaroo中的每个实例由一个查询、一组候选答案选项和一组支持文档组成。模型必须通过对提供的上下文进行推理来选择正确答案。评估指标是准确率，衡量正确回答问题的百分比。该基准故意具有挑战性，因为支持文档通常包含噪声和无关信息，要求模型识别并仅组合相关部分。
该数据集使用半自动流水线创建。对于WikiHop，创建者使用维基百科的内部超链接生成多跳问题。他们识别通过中间实体连接的一对实体，然后构建一个需要推断两个端点之间关系的问题。对于MedHop，他们在医学摘要上使用类似方法，专注于药物之间的相互作用。
对研究的影响
QAngaroo已成为评估机器学习和深度学习模型中多跳推理能力的标准基准。它已被广泛用于神经网络架构的研究，特别是那些采用注意力机制和记忆增强网络的架构。该基准凸显了早期大型语言模型的局限性，这些模型通常难以处理需要显式多步推理的任务。它推动了专门模型的发展，例如在文档结构上操作的图神经网络，以及通过多轮迭代优化证据选择的迭代阅读方法。
该基准还促进了对AI推理的更广泛理解。它表明，简单的序列到序列模型通常在多跳任务上失败，而具有显式推理组件（如图神经网络或使用强化学习进行证据选择）的模型表现显著更好。截至2023年，WikiHop上的最新技术结果已达到超过70%的准确率，但该基准仍未解决，人类表现估计约为90%。
局限性与批评
尽管具有影响力，QAngaroo仍面临批评。一些研究人员指出，该基准的构建可能允许模型利用捷径，例如通过候选选项的答案泄露或支持文档中的表面模式。例如，答案通常是跨文档出现频率最高的实体，这可以被基于频率的启发式方法利用。这引发了担忧，即QAngaroo上的高分可能不一定反映真正的推理能力。
此外，该基准对维基百科和医学摘要的聚焦限制了其领域覆盖范围。问题相对较短，推理步骤通常限于两到三步，这可能无法捕捉现实世界多跳推理任务的复杂性。因此，一些研究人员呼吁开发更多样化和更具挑战性的基准，导致了后续数据集（如HotpotQA和2WikiMultiHopQA）的开发。
遗产与持续使用
尽管存在这些局限性，QAngaroo仍然是评估和比较AI模型的广泛使用工具。它被包含在多个公开排行榜中，并经常用作问答和推理研究论文中的基线。该基准的设计原则，特别是使用多个支持文档和证据聚合的要求，影响了许多后续数据集的创建。它也是研究模型可解释性的宝贵资源，因为多跳结构允许研究人员追踪模型采取的推理路径。
在更广泛领域的背景下，QAngaroo是推动人工智能边界的推理基准谱系的一部分。它已被用于评估来自各机构的模型，包括Google DeepMind、OpenAI以及学术实验室，如斯坦福AI实验室和伯克利AI研究。尽管出现了更新的基准，QAngaroo在强调多跳推理重要性及其对模型设计的影响方面的作用，确保了其在AI研究中的持续相关性。