TriviaQA是一个大规模问答（QA）与阅读理解基准数据集，由华盛顿大学的研究人员于2017年提出。它的创建旨在弥补早期问答数据集的不足，提供自然产生的问题、复杂的多句答案以及大量支持性证据。该数据集已成为Machine learning模型（尤其是基于Deep learning和Transformer (architecture)架构的模型）的标准评估工具。
该数据集包含超过65万个问题-答案-证据三元组，来源于从三个 trivia 网站（QuizLeague、维基百科以及一个 trivia 网页爬取）收集的9.5万个问题-答案对。每个问题都配有多个证据文档（通常来自Wikipedia文章），其中包含答案。这种设计迫使模型在长段落中进行检索和推理，使其比早期数据集（如 SQuAD，其侧重于单段落提取）更具挑战性。
构建与统计
TriviaQA的构建首先从网络抓取 trivia 问题及其答案。这些问题以自然语言表述，通常涉及多跳推理、时间推理或通用世界知识。对于每个问题，作者结合了 Bing 搜索和维基百科链接匹配来收集相关证据文档，平均每个问题对应六个证据文档。
数据集分为训练集、开发集和测试集。训练集包含78,785个问题-答案对，开发集包含8,837个，测试集包含11,313个。一个显著特点是包含“仅网络”子集（证据仅限于网页文档）和“仅维基百科”子集（证据仅来自维基百科）。这使得研究人员能够隔离特定领域检索的影响。
评估与指标
TriviaQA的标准评估使用精确匹配（EM）和F1分数，与其他问答基准类似。EM衡量预测与可接受答案之一完全匹配的百分比，而F1计算词元级别的重叠。模型通常在两种设置下评估：闭卷（无外部检索，依赖参数化知识）和开卷（从提供的证据中进行检索）。
自发布以来，TriviaQA一直是Large language model研究进展的关键推动力。早期的Neural network模型（如 BiDAF 和 DrQA）取得了中等分数，但基于Transformer (architecture)的模型（如 BERT 和 T5）的出现带来了显著改进。到2021年，像OpenAI的GPT-3和谷歌的T5等模型在开发集上的EM分数可超过70%，而到2023年，Generative AI系统（如GPT-4和Claude）展示了接近人类的表现，某些子集的EM分数据报道超过90%。
对人工智能研究的影响
TriviaQA影响了Artificial intelligence研究的多个领域。它推广了使用大规模自然发生的问题来训练和评估阅读理解系统。该数据集还促进了开放域问答的研究，其中系统必须在没有预选证据的情况下从大型语料库中进行检索和推理。这一研究方向推动了密集段落检索（DPR）和其他检索增强生成技术的发展，这些技术如今已成为许多生产级问答系统的组成部分。
此外，TriviaQA已被用于研究模型的鲁棒性和校准。研究人员分析了模型如何处理模糊问题、多跳推理和答案格式。该数据集多样的问题类型使其成为探测Large language model知识和推理能力的常用基准，与Natural Questions和HotpotQA等其他数据集并列。
局限性与批评
尽管广受欢迎，TriviaQA存在已知的局限性。问题主要以事实为基础且偏向 trivia，可能无法反映现实世界的问答需求，如对话式或任务导向的查询。证据文档有时含有噪声，或答案以多种形式出现，可能导致评估不一致。此外，该数据集因潜在的答案泄漏而受到批评：由于问题是从网络抓取的，某些答案可能出现在大型语言模型的训练语料中，从而在闭卷设置中虚增了性能。
为解决这些问题，研究人员提出了过滤版本或将TriviaQA与其他数据集结合以创建更稳健的基准。尽管如此，TriviaQA仍然是广泛使用的模型性能比较参考点，尤其是在开放域问答和知识密集型任务的背景下。
遗产与持续使用
TriviaQA继续是主要AI研究机构评估套件中的常客，包括Google DeepMind、Anthropic以及学术实验室如Stanford AI Lab和BAIR (Berkeley AI Research)。它经常被纳入模型卡和技术报告中，作为通用知识和推理能力的衡量标准。该数据集的设计也启发了后续基准，如Natural Questions和WebQuestions，这些基准采用了类似的多证据结构。
截至2020年代中期，TriviaQA仍然具有相关性，尽管最先进的模型通常达到接近或超过人类基线的分数，导致一些人认为该基准正趋于饱和。尽管如此，它作为问答系统演变中的历史里程碑，并继续在学术和工业环境中用于微调和评估。