ARC Challenge Set 是 AI2 推理挑战（ARC）基准的一个精选子集，由艾伦人工智能研究所于2018年推出。它包含针对3至9年级标准化考试水平的多项选择科学问题。该挑战集专门设计用于为难Artificial intelligence系统，因为它排除了可通过简单检索或模式匹配回答的问题，而是侧重于需要多步推理和对科学概念更深入理解的问题。
与包含更直接且通常可通过信息检索解决的 ARC Easy Set 不同，Challenge Set 中的问题所有答案选项都看似合理，使其成为对Machine learning模型的严格测试。该基准旨在评估 AI 系统的推理能力，特别是在自然语言理解和科学知识应用领域。
基准组成
ARC Challenge Set 包含2,590个问题，每个问题有四个答案选项和一个正确答案。这些问题涵盖多种科学主题，包括物理、化学、生物学和地球科学。数据集分为训练集、开发集和测试集，其中测试集包含1,172个问题。这些问题设计为需要常识推理和科学原理的应用，而非事实记忆。
评估与性能
该基准发布时，当时最先进的模型，包括基于Transformer (architecture)架构的模型，在 Challenge Set 上的准确率低于60%。这显著低于估计超过90%的人类表现。Challenge Set 的难度使其成为衡量Large language model研究进展的标准基准。后续模型，如由OpenAI、Anthropic和Google DeepMind开发的模型，提高了性能，但 Challenge Set 仍然是高级推理任务的挑战性基准。
在 AI 研究中的重要性
ARC Challenge Set 已成为Deep learning和Neural network研究领域广泛使用的评估工具。它经常在学术论文中被引用，并用作比较不同模型推理能力的基准。该基准还启发了更复杂推理任务的发展，并促进了Curriculum Learning和Data Augmentation等技术的进步。研究人员使用 Challenge Set 来识别当前 AI 系统的局限性，特别是在Multi-Head Attention和Cross-Attention机制等领域，这些机制对于处理复杂问答任务至关重要。
局限性与批评
一些研究人员指出，ARC Challenge Set 虽然困难，但可能无法完全涵盖人类推理的广度。问题仅限于小学和初中科学，格式也局限于多项选择。此外，该基准因可能被训练于类似问题类型的模型过度拟合而受到批评。尽管存在这些局限性，Challenge Set 仍然是评估 AI 推理能力的宝贵资源，并经常与其他基准结合使用，以提供对模型性能的全面评估。
未来方向
随着 AI 研究的不断发展，ARC Challenge Set 很可能仍是测试推理能力的相关基准。基于Generative AI和Reinforcement Learning from AI Feedback (RLAIF)技术的新模型正在针对该基准进行评估，以推动 AI 系统所能达到的边界。从 Challenge Set 中获得的见解也在推动更强大和可解释的 AI 系统的发展，这些系统在教育、科学研究及其他需要复杂推理的领域具有潜在应用。