GSM-Hard是一个用于评估大型语言模型数学推理能力的基准数据集。它作为广泛使用的GSM8K数据集的一个更具挑战性的变体被引入，旨在解决原始数据集中的一个关键缺陷：存在模型可利用的表面模式，使其无需真正解决问题即可得出正确答案。通过修改问题以消除这些捷径，GSM-Hard为模型执行多步算术和逻辑演绎的能力提供了更严格的测试。
该数据集由研究人员创建，他们观察到许多最先进的模型虽然在GSM8K上取得了高分，但往往依赖于问题措辞与其答案之间的统计相关性。例如，模型可能学会包含“总计”一词的问题通常需要加法，或者较长的问题往往有较大的数值答案。GSM-Hard的构建就是为了打破这些相关性，迫使模型实际计算出正确结果，而不是进行模式匹配。
GSM-Hard的主要修改涉及将GSM8K问题中的数值替换为更大、更不直观的数字。例如，一个简单的加法问题如“3 + 5”可能变成“37 + 82”。这一改变本身就破坏了许多模型习得的启发式规则，例如将小数字与简单运算相关联。更重要的是，这些修改的设计使得原始问题的答案不再是一个有效的捷径。如果模型之前通过识别常见数字模式来猜测答案，那么这条路径现在已被关闭。
构建与设计
GSM-Hard的构建简单但有效。原始GSM8K数据集包含8,500个小学水平数学问题，每个问题都有一个自然语言问题和最终数值答案。GSM-Hard的创建者将每个问题中的数字系统地替换为新数字。关键约束是新数字必须足够大以防止记忆，但又不能大到使模型无法通过基本算术在计算上可行地解决问题。结果是一个保留了与GSM8K相同的语言结构和推理步骤，但数值内容完全不同的数据集。
这种方法确保难度不是通过增加更复杂的逻辑步骤来提高，而是通过移除模型经常利用的统计规律性。问题仍然需要相同的运算序列（例如，加法、减法、乘法、除法），但具体数值是陌生的。这使得一个在大量文本语料上训练的模型更难简单地从训练数据中回忆出类似问题。
评估与影响
GSM-Hard迅速成为人工智能研究领域的标准评估工具。在GSM-Hard上测试时，许多在GSM8K上表现良好的模型准确率大幅下降。例如，一个在GSM8K上达到80%准确率的模型在GSM-Hard上可能仅达到50%。这种差异凸显了模型依赖捷径而非真正推理的程度。
该基准已被用于比较各种模型架构的性能，包括使用不同策略训练的Transformer和神经网络。它还在思维链提示等技术的发展中发挥了重要作用，这种技术鼓励模型逐步展示其工作过程。研究表明，思维链提示可以显著提高GSM-Hard上的性能，这表明它有助于模型进行更深思熟虑、循序渐进的推理。
与其他基准的关系
GSM-Hard是包括MATH、ARC和MMLU在内的更广泛推理基准家族的一部分。虽然GSM8K侧重于小学算术，但GSM-Hard通过移除捷径提高了标准。其他基准如MATH包含更高级的数学问题，但GSM-Hard仍然受欢迎，因为它隔离了捷径学习这一特定问题。它通常与GSM8K一起使用，以提供配对比较：一个容易过拟合的数据集和另一个更稳健的数据集。
该基准还影响了其他领域（如阅读理解）中类似对抗性数据集的创建。修改数据集以移除统计偏差的原则已成为机器学习评估中的一种常见技术。
局限性与批评
尽管GSM-Hard很有用，但它存在局限性。一些研究人员认为，用更大的数字替换数字并不能完全消除所有捷径。例如，模型可能仍然学会将问题的长度与所需步骤的数量相关联。此外，该基准仅测试算术推理，不涵盖其他形式的逻辑或抽象思维。还有一个问题是，这些修改是否使问题人为地变得困难，因为底层推理与GSM8K相同，只是数字不那么友好。
另一个批评是GSM-Hard没有考虑到模型可以在数据集本身进行微调。如果模型在GSM-Hard的训练分割上训练，它可以记忆答案，从而破坏目的。为了缓解这一点，该基准通常在零样本或少样本设置中使用，即模型之前未见过特定问题。
未来方向
GSM-Hard的开发推动了创建更稳健基准的进一步研究。更新的数据集，如GSM-Plus和MathQA，已纳入额外类型的扰动，包括措辞的改变和无关信息的引入。这些努力旨在创建真正抵抗捷径学习的评估集，推动该领域朝着展现真正理解而非模式匹配的模型发展。
随着生成式人工智能的持续进步，像GSM-Hard这样的基准对于衡量进展仍将至关重要。它们提供了明确信号，表明模型性能的提升是由于更好的推理还是仅仅更好的记忆。GSM-Hard的遗产在于它证明了评估必须与被测试的模型一样严格。