MATH-500是一个基准数据集，包含从更大的MATH数据集中选取的500道数学问题。它被引入旨在提供一个更集中且计算高效的评估集，用于评估大型语言模型的数学推理能力。这些问题涵盖多个数学学科，旨在测试多步骤问题解决技能，而非简单的算术或模式识别。
MATH数据集是MATH-500的来源，由OpenAI的研究人员于2021年发布。它包含来自高中数学竞赛的12,500道问题，每道都附有逐步解答。MATH-500作为其代表性子集被创建，常用于因时间或成本限制而不便运行完整数据集的研究和模型评估中。它已成为人工智能领域中比较不同模型推理性能的标准基准。
组成与选择
MATH-500中的500道问题取自原始MATH数据集，该数据集涵盖七个学科领域：代数、计数与概率、几何、中级代数、数论、初等代数和微积分预备。该子集经过策划，以保持与完整数据集相似的学科和难度分布。尽管确切的选取方法未被详细公开记录，但该子集在研究论文和模型评估中被广泛使用，经常出现在主要AI实验室的技术报告中。
在模型评估中的作用
MATH-500常用于基准测试大型语言模型的数学推理能力。它特别适合测试模型执行多步骤逻辑推理、应用数学概念以及避免计算错误的能力。该基准已在OpenAI的GPT-4、Anthropic的Claude和Google DeepMind的Gemini等模型的评估中被引用。在这些评估中，模型通常被提示解决每道问题，其答案与真实结果进行比较。MATH-500上的性能通常以正确解决问题的百分比来报告。
与其他基准的比较
MATH-500常与其他推理基准如GSM8K（小学算术题）和完整MATH数据集一起使用。虽然GSM8K侧重于较简单的算术应用题，但MATH-500提出更具挑战性的竞赛级问题，需要更深入的推理。与完整MATH数据集相比，MATH-500提供更快且资源消耗更少的评估，使其成为迭代模型开发的实用选择。然而，其较小的规模意味着结果可能对随机变化更敏感，因此研究人员经常报告多次运行的结果或将其与其他基准结合使用。
局限性与考虑
MATH-500的一个局限性在于它可能无法完全捕捉模型的普遍数学能力，因为这些问题来自特定竞赛风格。此外，该基准因潜在的数据污染而受到批评，即基于互联网数据训练的模型可能在训练期间见过确切问题。研究人员已通过创建新问题集或使用保留版本解决这一问题。尽管存在这些担忧，MATH-500仍然是AI社区中广泛接受且频繁引用的基准。