RACE（阅读理解考试）是一个用于评估人工智能系统阅读理解与推理能力的基准数据集。它由卡内基梅隆大学和微软研究院的研究人员于2017年提出，包含超过10万道多项选择题，这些题目来源于针对中国中学生和高中生举办的英语考试。该数据集以长篇幅文章、复杂题型以及对超越简单文本匹配的深层推理要求而著称。
与早期通常依赖短篇文章或基于事实查询的阅读理解数据集不同，RACE提出的问题需要一系列认知技能，包括推断隐含信息、理解叙事结构以及应用常识推理。该数据集分为两个主要子集：RACE-M（初中）和RACE-H（高中），其中高中部分因文章更长、问题更抽象而通常被认为更具挑战性。
结构与组成
RACE总共包含27,933篇文章和97,687道问题，分为训练集、开发集和测试集。文章来源于真实考试，每篇附带若干道具有四个选项的多项选择题。平均文章长度约为320个单词，这明显长于许多当代阅读理解基准。这种长度要求模型在扩展文本上保持上下文，并识别分布在多个段落中的相关信息。
RACE中的问题分为多种类型，包括测试事实回忆、推断以及关于作者意图或角色动机的推理。一个显著特点是存在“为什么”和“如何”类问题，这类问题通常需要综合文章中不同部分的信息。
对人工智能研究的影响
RACE迅速成为评估阅读理解模型的标准基准。在发布时，最先进的模型准确率远低于人类表现，后者估计约为95%。早期神经模型，包括基于神经网络和变换器的模型，在测试集上的准确率难以超过60%。这一差距推动了关于新架构和训练技术的广泛研究。
该数据集在大型语言模型和生成式人工智能系统的发展中发挥了作用。随着模型规模扩大并在大规模语料库上进行预训练，它们在RACE上的表现显著提升。到2021年，诸如OpenAI的GPT-3及后续迭代等模型实现了超过90%的准确率，接近人类水平。这一进展凸显了规模与预训练在应对复杂推理任务中的重要性。
与其他基准的比较
RACE经常与SQuAD（斯坦福问答数据集）和CNN/Daily Mail等其他阅读理解数据集进行比较。与侧重于抽取式问答（答案是一段文本）的SQuAD不同，RACE要求从预定义选项中选择，并且通常涉及无法通过简单文本查找来回答的问题。这使得RACE成为对真正理解和推理的更严格测试。
该数据集的设计也影响了后续基准，例如更具挑战性的RACE-C以及其他旨在揭示模型推理弱点的对抗性数据集。研究人员利用RACE来研究模型过度自信以及依赖表面线索而非深层理解等现象。
局限性与批评
尽管使用广泛，RACE仍存在局限性。一些研究人员指出，该数据集的问题虽然源自真实考试，但可能包含偏见或歧义，使其不太适合评估一般推理能力。例如，某些问题依赖于中国教育背景特有的文化知识，这可能使主要基于英语文本训练的模型处于不利地位。此外，多项选择格式可能允许模型利用答案选项中的统计规律，如位置偏差或长度启发式。
为解决这些问题，人们创建了该数据集的修改版本，例如RACE-C，它增加了更具挑战性的问题并减少了表面线索的影响。这些变体继续用于稳健阅读理解的研究。
遗产与持续使用
RACE仍然是人工智能和机器学习领域中被广泛引用的基准。它被纳入许多模型评估套件，如GLUE和SuperGLUE基准，并被包括谷歌深度思维和Anthropic在内的主要研究机构用于评估其模型的推理能力。该数据集的持久性证明了其设计的前瞻性，它预见了后来成为人工智能研究核心的许多挑战，如长上下文理解和多步推理。
截至2025年，RACE继续用于学术研究和行业评估，尽管MMLU和BIG-bench等较新的基准在评估一般知识方面已部分取代了它。尽管如此，RACE对考试风格问题的关注使其成为衡量教育人工智能应用和自动辅导系统进展的宝贵工具。