WebQuestions是人工智能和机器学习领域的一个基准数据集，用于评估基于结构化知识图谱Freebase的问答系统。该数据集包含5,810个问答对，其中每个问题都是自然语言查询，答案则是来自Freebase的一组实体或值。它于2013年由谷歌的研究人员引入，旨在解决语义解析和知识库问答缺乏大规模、真实基准的问题。
WebQuestions的构建利用了Google Suggest API来查找人们实际输入的问题，然后由标注者将每个问题与Freebase中的实体和答案进行匹配。这种设计使得问题比早期的合成基准更能代表真实世界的用户查询。数据集分为3,778个问题的训练集和2,032个问题的测试集。此外，还创建了一个常用的200个问题的开发集，但它并非官方分布的一部分。该基准迅速成为将自然语言映射为逻辑形式或直接映射为知识库答案的系统的标准测试平台。
构建与标注
这些问题选自谷歌的搜索建议日志，特别针对以“什么”、“谁”、“何时”和“何地”等短语开头的问题。每个问题都使用预定义的词典手动标注了相应的SPARQL式查询，最终答案是在Freebase数据库上执行该查询的结果。标注通过众包（Amazon Mechanical Turk）完成，并由第二轮工作人员进行验证。该数据集的一个显著特点是有些问题存在歧义，，一个问题可能因解释不同而有多个有效答案，标注者被指示选择最常预期的答案。
该基准的官方论文《Semantic Parsing on Freebase from Question-Answer Pairs》（EMNLP 2013）介绍了数据集和基线结果。作者Michael J. Cafarella、Jonathan Berant、Andrew Chou和Percy Liang（主要作者）当时在加州大学伯克利分校。WebQuestions数据集成为后续多个系统的核心评估资源，包括该论文自身的基于lambda-DCS的语义解析器。
对问答研究的相关性
WebQuestions旨在对抗2000年代占主导地位的句法解析数据集，如GeoQuery或ATIS的语义解析，这些数据集使用合成问题和有限领域。相比之下，WebQuestions是开放领域的，词汇量更大，覆盖的Freebase实体也更广。它推动了将词汇化语义解析与基于嵌入的相似性相结合的系统的发展。在发布后的几年里，研究人员构建了许多扩展，包括WebQSP（WebQuestions，，更细粒度的蕴含划分）以及使用神经模型改进答案提取的方法。
WebQuestions的一个显著局限是答案直接与Freebase绑定，而Freebase是谷歌于2015年停用的知识图谱（尽管数据仍可通过快照访问）。这影响了许多模型向当前知识库的迁移能力。尽管如此，该基准仍是评估问答中组合泛化能力的重要工具。
该数据集还揭示了一个关键挑战：自由形式的自然语言与知识库的模式术语之间存在词汇鸿沟。许多问题需要识别同义词、缩写或间接关系。这激发了一系列研究，以半监督方式学习或扩展到潜在提及检测和实体链接，这些后来融入了现代大语言模型时代的方法。
方法与指标
主要评估指标是平均F1分数，其中对于每个问题，系统预测的Freebase实体/值集合与黄金答案集进行比较。精确率是预测答案在黄金集合中的比例，召回率是系统找到的黄金答案的比例，F1分数是两者的调和平均值。官方评估代码已在webQuestions GitHub仓库中共享。早期基线系统的F1分数约为0.30，而到2020年左右，原始测试集上的当代系统（主要使用神经端到端方法，如GrailQA或基于Transformer的阅读器）达到了接近0.78至0.79的水平。2023年，据报道有接近0.84的最优性能，但其中一些涉及扩展的实体链接策略。
遗产与影响
WebQuestions影响了其他基准的创建，如“ComplexQuestions”和“QALD”（Linked Data上的问答）。它也被用作基于知识图谱嵌入的模型对抗性测试的基础。许多流行的开源QA框架（如KELT-DELER或freebase）使用WebQuestions进行健全性检查。它仍然是语义解析鲁棒性的常用基准，尤其是在将预训练语言模型与外部知识库结合时。
WebQuestions数据集由其创建者维护，但截至2023年，它已存档在GitHub（“webquestions”）上，可自由访问。数据集包含一个带有问题ID的文件，这些ID链接到单独的QR实体对，便于与KG索引一起使用，但用户需要确保其Freebase转储版本与标注匹配。
参见
，，这些是一些基于联合表示空间思想的例子。