ComplexWebQuestions是一个基准数据集，旨在评估人工智能系统执行多跳问答的能力。与仅需检索单一事实的简单问答任务不同，多跳问题要求模型从多个、往往分散的信息源中收集并整合信息，以得出正确答案。该数据集于2018年由一个研究团队提出，旨在解决现有基准的局限性，这些基准主要集中于单跳推理，或依赖结构化知识库，而缺乏真实网络文本的复杂性。
该数据集包含超过34,000个问答对，每个问答对都源自WebQuestionsSP数据集，但通过添加额外约束和组合结构进行了增强。问题设计为需要两个或更多推理步骤，通常涉及跨越知识图不同部分的实体和关系，或需要将知识库中的信息与文本段落相结合。例如，一个问题可能会问：“埃菲尔铁塔所在国家的首都是哪里？”这需要先识别国家（法国），再找出其首都（巴黎）。
构建与标注
ComplexWebQuestions的创建涉及一个半自动化过程。研究人员以WebQuestionsSP数据集为基础，该数据集包含问题及其在Freebase知识图上对应的SPARQL查询。然后，他们应用一系列模板和变换来引入额外约束，如最高级、比较以及时间或空间过滤。这一过程生成了原始数据集中不存在的新、更复杂的问题。每个生成的问题都与一个SPARQL查询配对，该查询可在Freebase上执行以获取正确答案，从而确保有真值标签。该数据集还包括一组“组合型”问题，需要组合多个关系，以及一部分“不可回答”问题，其中给定上下文信息不完整，增加了现实性。
评估与指标
ComplexWebQuestions通常用于评估模型在结构化与非结构化数据组合上的多跳推理能力。主要评估指标是精确匹配准确率，其中模型预测的答案必须与黄金答案字符串完全匹配。一些研究还报告了F1分数，该分数考虑部分匹配。该基准已用于测试各种方法，包括基于神经网络、大型语言模型的方法，以及结合机器学习与符号推理的混合系统。早期结果显示，在时间点上，即使是当时最先进的模型也在此数据集上性能不佳，准确率低于50%，这凸显了多跳推理的难度。
意义与影响
ComplexWebQuestions已成为自然语言处理及人工智能领域的标准基准。它推动了更复杂推理机制的研究，如图神经网络、基于注意力的模型和检索增强生成。该数据集强调将知识库与文本结合，这影响了能够利用结构化与结构化信息的混合架构的开发。它也作为一个测试平台，用于评估Transformer (architecture)等架构的推理能力，包括那些用于现代生成式AI系统的架构。该基准已被数百篇论文引用，并仍然是衡量多跳问答进展的参考点。
局限性与批评
尽管使用广泛，ComplexWebQuestions仍面临一些批评。该数据集仅基于一个知识库（Freebase），这可能无法完全代表网络内容的多样性。此外，问题生成过程虽自动化，但可能会产生略带人工感或包含一些不具代表性的自然用户查询语言模式。一些研究人员指出，该数据集依赖SPARQL查询可能使模型能够走捷径，如学习匹配查询模式而非真正进行推理。因此，已引入了更新的基准来改进这些局限，但ComplexWebQuestions仍是新手研究者理解多跳推理挑战的宝贵资源。
相关工作与未来方向
ComplexWebQuestions的开发也推动了系列相关基准的有了新的热度，包括HotpotQA，聚焦于维基百科文章上的多跳推理，以及QAngaroo，涉及科学文本上的多跳推理查询。这些基准共同推动了AI系统在复杂推理能力上的发展。未来方向包括整合更多样化的数据源、处理开放式问题，以及提高模型推理过程的可解释性。与Deep learning和large-language呢等模式一样，问题处理和生成模型等技术的不断进步，ComplexWebQuestions这类基准将继续在评估模型是否真正理解世界、进行推理或仅原文学习方面发挥关键作用。
信息框
- 类型：基准数据集
- 引入年份：2018年
- 引入者：Alon Falmor和Jonathan Berant（特拉维夫大学）
- 相关：HotpotQA、WebQuestionsSP
类别
- 问答
- 基准
- 多跳推理
- -自然语言处理