GSM8K（Grade School Math 8K）是一个包含8,500道高质量、语言多样的小学数学文字题的数据集，由OpenAI的研究人员创建并于2021年发布。它旨在评估大型语言模型（LLM）的多步数学推理能力。每个问题需要2到8步才能解决，涉及基本算术运算和逻辑推理，重点在于自然语言理解而非高级数学知识。
该基准已成为评估AI系统推理能力的标准测试，尤其是在人工智能研究领域。其名称来源于数据集的规模（8,500道题）及其对小学水平数学的关注。这些问题设计为聪明的小学生能够解决，但往往要求模型进行逐步计算并保持中间状态，这对早期神经网络架构构成了显著挑战。
数据集设计与构成
GSM8K数据集由一组标注者编写，他们以模仿真实世界数学问题的方式创作题目，例如教科书或标准化考试中的题型。题目涵盖分数、百分比、比例和简单代数等主题，但刻意避免公式化表述，以鼓励模型进行真正的推理而非模式匹配。数据集分为训练集（7,500道题）和测试集（1,000道题），其中测试集用于评估。
GSM8K中的每个问题都附带一个自然语言解答，将推理过程分解为多个步骤。这些解答不仅仅是最终答案，还包括中间计算和解释，这对于训练模型生成逐步推理非常有用。数据集还包含一个单独的1,000道题版本，提供更详细的解答，称为“思维链”版本，后来被用于研究提示技术的影响。
在评估语言模型中的作用
GSM8K迅速成为衡量Transformer模型推理能力的关键基准。早期的深度学习模型在该数据集上表现不佳，准确率通常低于10%，因为它们无法可靠地执行多步算术运算。随着思维链提示的引入、、即鼓励模型在给出最终答案前生成中间推理步骤、、模型性能显著提升，GPT-3及后续版本取得了更高的分数。
该基准已被用于比较来自不同组织的模型，包括Anthropic、Google DeepMind和Meta等。它还被用于研究机器学习推理的局限性，研究人员通过分析失败模式（如算术错误、对问题表述的误解以及无法处理大数）来深入理解模型行为。
对AI研究的影响
GSM8K推动了推理技术的改进。它在证明神经网络规模扩展的有效性方面发挥了重要作用，因为更大的模型在更多数据上训练后，在该基准上的表现显著提升。该数据集还促进了生成式AI验证方法的研究，例如训练单独的模型来检查解答的正确性，以及强化学习方法，通过奖励正确的推理步骤来优化模型。
除了作为评估工具，GSM8K还被用作训练资源。一些研究人员使用训练集对模型进行微调，专门提升其数学推理能力，而另一些则利用它生成合成数据以进一步训练。该数据集的设计、、强调自然语言和多步问题、、也影响了其他基准的创建，例如MATH（更高级的数据集）和SVAMP（变体数据集）。
局限性与批评
尽管GSM8K广受欢迎，但它也存在局限性。批评者指出，该数据集相对较小，可能无法完全涵盖数学推理的复杂性，因为问题仅限于小学水平。此外，模型有时可以通过利用统计规律而非真正推理来获得高分，这种现象被称为“捷径学习”。该基准也不测试超越算术的数学概念理解，例如几何或微积分。
另一个批评是，数据集中的问题均为英文，反映了西方教育背景，这可能限制了其在其他语言或文化环境中的适用性。研究人员呼吁开发更多样化的基准来补充GSM8K，这促成了MATH和GSM8K-Sym等数据集的创建，后者通过引入符号变体来测试模型的鲁棒性。
当前使用与未来方向
截至2025年，GSM8K仍然是机器学习社区广泛使用的基准，经常被纳入新LLM的评估套件中。它在研究论文中被频繁引用，并被公司用于报告模型性能。然而，随着模型能力的提升，许多模型在测试集上的准确率已超过90%，一些研究人员认为该基准正趋于饱和。这促使了更困难版本的开发，例如GSM8K-Hard，它增加了问题所需的步骤数，以及将GSM8K整合到更广泛的推理基准中，如MMLU和BIG-bench。
GSM8K的未来可能更多是作为基线而非区分因素，研究人员将重点转向更复杂的推理任务。尽管如此，它的贡献仍然显著，因为它帮助推动了AI多步推理技术的发展，这些技术如今已成为许多人工智能应用的核心。