MATH是一个基准数据集，旨在评估人工智能系统的数学推理能力，特别是大型语言模型。该数据集由OpenAI的研究人员于2021年引入，包含12,500道竞赛级别的数学问题，来源包括AMC 10、AMC 12、AIME以及其他奥林匹克风格竞赛。每个问题都附有逐步解答，并按七个学科领域进行分类：代数、计数与概率、几何、中级代数、数论、初等代数和微积分预备。该基准广泛用于评估AI模型在简单模式匹配或记忆之外的推理能力。
该数据集的创建是为了弥补现有评估方法的不足，这些方法通常侧重于语言理解或生成等任务，而不要求多步逻辑演绎。MATH的设计目标是对人类专家也构成挑战，其问题需要细致的解题技巧和数学洞察力。该基准已成为该领域的标准参考点，许多模型开发者将他们在MATH上的表现作为推理能力的关键指标进行报告。
问题格式与难度
MATH中的每个问题均以自由文本格式呈现，没有多项选择选项，要求模型生成最终答案。问题通过将模型输出与提供的答案（通常是数值或简化表达式）进行比对来自动评分。难度各不相同，问题范围从相对简单的练习到高度复杂的竞赛题。数据集中包含每个问题的难度评级，使研究人员能够分析不同挑战级别下的表现。
数据集中提供的解答非常详细，通常包含多种方法，这些解答已被用于训练模型进行链式思维推理。这使得MATH成为研究生成式AI和机器学习技术（旨在改进逻辑演绎和逐步问题解决）的宝贵资源。
对模型开发的影响
MATH对AI系统的发展产生了重大影响。发布时，最先进的模型仅能答对很小比例的问题，凸显了任务的难度。随后在模型架构、训练数据和推理技术方面的进步带来了显著改进。例如，整合显式推理步骤或使用外部工具的模型在MATH上表现出明显更高的分数。该基准在推动深度学习和神经网络领域的研究方面发挥了重要作用，尤其是在Transformer架构的背景下。
MATH上的表现通常与GSM8K等其他基准一起报告，后者侧重于小学数学应用题。这些基准共同提供了对模型数学能力的全面视角。截至2024年，来自Google DeepMind和Anthropic等组织的领先模型在MATH上已取得超过80%的分数，与最初结果相比有了显著提升。
局限性与批评
尽管使用广泛，MATH仍面临批评。一些研究人员认为，模型可以通过记忆类似问题或利用格式怪癖来操纵该基准。依赖精确字符串匹配的自动评分系统可能会对以不同方式表达的正确答案进行扣分。此外，数据集是静态的，这意味着随着模型改进，基准的区分度可能随时间下降。有人呼吁建立能适应模型能力的动态基准。
另一个局限性是，MATH主要测试程序性和算法性问题解决能力，而非概念理解或创造力。批评者指出，在MATH上取得高分并不一定表明模型具有真正的数学直觉。这促使开发了探索更深层推理能力的替代评估方法。
相关基准与扩展
MATH启发了多个扩展和相关数据集。例如，MATH-SHEPHERD数据集添加了过程监督标签，以帮助训练模型验证解答的每一步。其他基准，如AMPS数据集和GSM8K基准，通过覆盖不同难度级别和问题类型来补充MATH。研究人员还创建了MATH的多语言版本，以跨语言评估模型。这些资源共同构成了一个丰富的生态系统，用于评估和改进AI中的数学推理。
该基准的影响超越了学术界，因为工业实验室经常使用它来比较模型性能。它已成为模型评估套件的标准组成部分，与编码、语言理解和通用知识等任务并列。随着AI的持续发展，MATH仍然是衡量智能最基本方面之一（通过逻辑演绎解决复杂问题的能力）进展的关键工具。