NarrativeQA是一个为阅读理解研究设计的基准数据集，重点关注人工智能系统理解长篇叙事文本并回答相关问题的能力。该数据集于2018年由Tomáš Kočiský及其同事等研究人员提出，填补了早期阅读理解任务通常依赖短段落或合成文档的空白。NarrativeQA要求模型处理整本书籍和电影剧本，使其成为对机器学习和深度学习系统的一项严苛测试。
该数据集包含1,567篇文档，包括360本书籍和1,207个电影剧本，来源为Project Gutenberg和互联网电影剧本数据库（IMSDb）。对于每篇文档，人工标注者生成了10到20个问题及答案，总计产生46,765个问答对。这些问题为开放式，通常需要跨多个章节或场景进行推理，而非简单的信息检索。答案以两种形式提供：自由文本和多项选择版本，从而支持生成式与判别式评估。
构建与标注
NarrativeQA的创建涉及两阶段过程。首先，标注者阅读每篇完整叙事，并撰写测试情节理解、角色动机和因果事件的问题。其次，他们基于文本提供简洁答案，通常为一到五个词。标注协议强调不能通过查看单个句子来回答的问题，鼓励模型建立对故事的全局理解。该数据集被划分为训练集、验证集和测试集，其中测试集包含10,611个问题。这一设计与此前的基准（如SQuAD）形成对比，后者侧重于维基百科文章和局部上下文。
评估与指标
NarrativeQA使用标准自然语言处理指标进行评估：BLEU-1、BLEU-4、ROUGE-L和METEOR。这些指标将生成答案与参考答案进行比较，衡量n-gram重叠和最长公共子序列。由于答案较短，BLEU-1和ROUGE-L通常是性能的主要指标。多项选择版本通过准确率评分，模型必须从一组选项中选出正确答案。早期基线模型，包括序列到序列模型和记忆增强网络，得分较低，凸显了该任务的难度。截至2025年，基于大型语言模型架构的最佳系统仍未达到人类水平，人类在多项选择任务上的准确率约为95%。
挑战与研究影响
NarrativeQA推动了人工智能多个领域的研究。主要挑战在于输入文档的长度，可能超过100,000个词元，远超早期Transformer模型的上下文窗口。这促进了分层注意力机制、检索增强生成和高效记忆架构的研究。该数据集还测试了处理叙事结构的能力，如时间顺序和角色共指，这些在基于事实的问答数据集中不太突出。研究人员使用NarrativeQA评估神经网络模型的长距离依赖建模能力，它已成为自然语言处理社区的标准基准，与RACE和HotpotQA等数据集并列。
与现代语言模型的关系
随着大型语言模型的出现，如OpenAI、Anthropic和Google DeepMind开发的模型，NarrativeQA被用于探测对扩展文本的理解能力。现代模型在分块或使用检索方式处理完整叙事时，得分显著高于早期基线，但仍难以应对需要全局推理或细微情节细节的问题。该数据集也被纳入生成式人工智能系统的评估套件，作为长上下文处理的压力测试。一些模型现在支持128,000个词元或更多的上下文窗口，能够直接处理整本书籍，但NarrativeQA上的性能仍低于人类水平，表明原始上下文长度不足以实现深层叙事理解。
局限性与批评
批评者指出，NarrativeQA的自由文本答案较短且通常为抽取式，可能低估了叙事推理的复杂性。多项选择版本可能被模型利用答案选项中的统计规律所攻破。此外，该数据集侧重于西方文学和电影剧本，限制了其文化多样性。尽管存在这些问题，NarrativeQA仍是研究大规模理解能力的宝贵资源，并启发了后续数据集，如NarrativeQA-2和长文档问答基准。截至2025年，它继续在机器学习和深度学习研究中被引用，因其长度与叙事复杂性的独特结合。