儿童书籍测试（CBT）是一个基准数据集，旨在评估人工智能系统的阅读理解能力。该数据集于2015年推出，由Google DeepMind的研究人员创建，为机器学习模型提供了一个具有挑战性但易于访问的测试。该测试基于从大量儿童书籍中提取的句子构建，这些书籍可通过Project Gutenberg免费在线获取。任务涉及根据故事的上文语境预测句子中缺失的单词，这要求模型理解叙事结构、角色关系和常识性知识，而不仅仅是匹配局部文本中的模式。
CBT的开发旨在填补现有语言理解评估方法的空白。此前的基准通常侧重于词性标注或句法分析等任务，这些任务并不直接衡量意义的理解。CBT的设计利用自然发生的叙事文本，使其成为更真实地检验模型跟随故事能力的测试。该数据集已成为该领域的标准参考点，用于比较各种神经网络架构和训练技术的表现。
数据集结构与任务
CBT数据集分为四个不同的子集，每个子集针对不同类型的单词：名词、动词、形容词和介词。每个子集包含一系列“问题”，其中一个问题是一本书中的21个连续句子段落。前20个句子作为上下文，第21个句子中有一个单词被移除。模型被提供上文和不完整句子，以及10个候选单词的列表。其中只有一个候选单词是原始文本中的正确词语；其他九个是随机选择的相同类型单词（例如，如果缺失的单词是名词，则为其他名词）。评标是最准确的。
这种多项选择格式简化了评估，因为不需要模型生成自由形式的文本。随机选择干扰项确保模型无法仅通过学习词频或常见搭配来成功，它必须利用更广泛的叙事语境。例如，如果故事提到一个名为“汤姆”的角色和一只“狗”，并且在一个句子中缺失的单词是名词，如“汤姆玩___”，模型必须根据前文的故事事件推断出“狗”比“球”更有可能。
创建与语料库
CBT的语料来自从Project Gutenberg下载的98本儿童书籍。选择这些书籍是，原因是它们属于公共领域，并且包含相对简单的语言，适合测试理解能力。由Felix Hill、Antoine Bordes、Sumit Chopra和Jason Weston领导的研究者处理了这些书籍，提取句子并创建测试实例。最终数据集包含超过687,000个指令，涵盖所有四个单词类型子集。其中，名词子集最大，约有25万个指令，而介词子集最小，约有75,000个。
数据集的一个关键特征是将其分为训练集、验证集和测试集，每个集使用的书籍互不重叠。这确保了模型在训练期间从未见过的故事上进行测试，迫使其泛化到新的叙事。使用儿童书籍是刻意之举：它们包含清晰的叙事、反复出现的角色和日常生活用品，提供了丰富的推理基石。
在人工智能研究中的意义
CBT在推动深度学习用于自然语言理解的研究中发挥了重要作用。当它发布时，许多现有模型表现不佳，尤其是名词和动词子集，这些需要更深层的故事推理。这促进了新架构的开发，如记忆增强网络和基于注意力的模型。该基准帮助普及了“完形填空任务”这一评估方法，即删除一个单词并预测该单词，以评估。
后来，CBT被用于评估早期transformer模型，这些模型相比循环网络有显著改进。Transformer在CBT和类似基准上的成功，推动了大型语言模型的兴起。虽然现代模型（如来自OpenAI和Anthropic的模型）现在在CBT上>获得接近完美的分数，但该数据集仍是有用的诊断工具，用于理解模型行为，尤其是在研究人员可以探测特定推理能力的受控环境中。
局限性
尽管具有影响力，CBT仍存在若干局限性。批评者指出，多项选择格式可能被利用统计规律而非真正理解的模型所利用。例如，模型可能学会偏好在上文出现的词语，即使它们在语义上并不合适。此外，任务仅需要选择一个单词，这是阅读理解的一个相对窄的方面，不检验开放式问题、总结故事或对未陈述信息进行推理的能力。
另一个批评是，随机选择干扰词有时会产生简单的问题，使得正确单词在语法上唯一可行。这会夸大性能分数。研究者提出了CBT的未见变体，例如使用更具挑战性的干扰词或要求自由形式生成，以应对这些问题。然而，CBT的简单性和可重复性使其成为一个经久不衰的基准，至今仍在论文中被引用作为比较基线。
遗产与影响
CBT影响了后续基准的设计，如LAMBADA和斯坦福问答数据集（SQuAD），这些也使用叙事或上下文文本来测试理解。它还为评估指标提供了发展，这些指标侧重于长段落推理。该数据集可供下载，并仍是学术和产业实验中研究机器学习和人工智能的常用工具。其创建强调了使用自然、人工撰写的文本进行训练和评估的重要性，这一原则将继续该领域。