GSM8K 2023是GSM8K（Grade School Math 8K）数据集的修订版本，该数据集是评估大型语言模型数学推理能力的广泛使用的基准。最初的GSM8K由OpenAI的研究人员于2021年提出，包含8,500个高质量的小学水平数学应用题，每个问题都需要多步推理来解决。2023年的更新对数据集进行了改进，包括增加问题变体、更新答案格式和修订评估协议，以更好地评估模型的鲁棒性和泛化能力。
该基准旨在测试模型执行算术运算、应用逻辑推理和生成逐步解决方案的能力。每个问题都附带一个自然语言解决方案，该方案分解了推理过程，从而支持自动和人工评估。GSM8K 2023保留了原始版本的核心结构，但引入了旨在减少数据泄漏和提高性能指标可靠性的更改。
背景与动机
最初的GSM8K是为了满足对Artificial intelligence系统中数学推理的具有挑战性但易于访问的基准的需求而创建的。此前的基准通常要么涉及简单算术，要么涉及高级竞赛级别的问题，留下了需要多步推理但不需要过多领域知识的任务空白。GSM8K填补了这一空白，提供了人类用基本算术技能即可解决但往往对Large language model（尤其是未经专门训练的模型）来说很困难的问题。
2023年的更新是由于观察到在早期版本数据集上训练的模型可能过度拟合特定模式，导致性能得分虚高。通过引入新的问题实例并修改现有实例，更新后的基准旨在更准确地衡量模型的真实推理能力。
数据集组成与特征
GSM8K 2023包含8,500个问题，分为7,500个问题的训练集和1,000个问题的测试集。每个问题都是一个简短的应用题，通常为2-4句话，需要2到8个算术步骤来解决。解决方案以自然语言编写，采用模仿人类推理的思维链格式。这种结构使研究人员能够评估最终答案以及中间推理步骤。
该数据集涵盖各种主题，包括加法、减法、乘法、除法、分数、百分比和基础代数。问题设计为小学水平，但多步性质使其对许多Machine learning模型来说并非易事。2023版本增加了额外注释，如问题难度评级和替代解决方法，以支持更细致的分析。
评估方法
在GSM8K 2023上的评估通常涉及为每个测试问题生成解决方案，并将最终答案与真实值进行比较。主要指标是准确率，定义为模型最终答案与预期结果匹配的问题百分比。然而，由于模型可能通过有缺陷的推理产生正确答案，研究人员还使用基于过程的指标来评估中间步骤的有效性。
为了减轻随机猜测的影响，模型通常使用贪婪解码策略进行评估，尽管基于采样的方法（如自洽性多数投票）已被证明能提高性能。2023更新引入了更严格的答案格式要求，例如要求最终答案前有特定标记，以减少解析错误并提高评估一致性。
影响与应用
GSM8K 2023已成为Deep learning和Generative AI领域的标准基准，特别是在评估基于Transformer (architecture)的模型的推理能力方面。它经常被研究实验室和公司（包括OpenAI、Anthropic和Google DeepMind）用于比较模型性能和指导模型开发。该基准在推动思维链提示等技术方面也发挥了重要作用，这些技术鼓励模型在得出最终答案之前生成中间推理步骤。
除了学术研究外，GSM8K 2023还作为评估部署在教育环境、辅导应用和其他数值推理至关重要的领域中AI系统数学能力的实用工具。其简单性和清晰性使其对从学生到行业专业人士的广泛从业者来说易于访问。
局限性与批评
尽管广受欢迎，GSM8K 2023仍面临批评。一些研究人员认为，该数据集侧重于算术应用题，并未捕捉数学推理的全部复杂性，后者通常涉及抽象概念和基于证明的逻辑。此外，该基准可能容易受到过拟合的影响，因为模型可能记住训练集中的模式，而不是学习通用推理技能。
2023更新试图通过引入更多样化的问题类型和减少记忆可能性来解决这些问题。然而，与任何基准一样，GSM8K 2023并非智力的完美衡量标准，其结果应与其他评估一起解读。
未来方向
GSM8K的演变反映了Artificial intelligence中向更严格和更现实基准发展的更广泛趋势。未来的迭代可能会纳入动态问题生成、自适应难度和多模态输入，以更好地模拟现实世界的推理任务。随着Large language model的不断改进，像GSM8K 2023这样的基准将继续在跟踪进展和识别模型仍达不到人类水平推理的领域方面发挥重要作用。