SVAMP（简单算术数学应用题变体）是一个基准数据集，旨在评估人工智能系统解决初等算术应用题的能力。该数据集由Arkil Patel、Satwik Bhattamishra和Navin Goyal等研究人员于2020年提出，包含1,000道从现有数学应用题数据集派生的问题，每道问题都经过修改以生成变体，从而测试模型真正的数学推理能力，而非其利用统计模式的能力。该基准已成为机器学习和自然语言处理领域的标准评估工具，尤其用于评估大型语言模型在数学任务上的表现。
构建SVAMP的主要动机是解决早期数学应用题基准中的一个关键缺陷：模型往往通过依赖表面线索（如特定数字或关键词的存在）而非执行实际算术推理来获得高准确率。SVAMP对原始问题引入受控扰动，例如改变句子顺序、更改主语或宾语，或在保持底层数学结构不变的情况下修改数字。这迫使模型深入理解问题的语义内容，使该基准成为推理能力更可靠的指标。
数据集构建
SVAMP基于四个现有数据集中的问题构建：MAWPS、ASDiv-A以及Math23k数据集的两个子集。创建者应用一系列变换生成了1,000道独特问题，每道问题都有一个涉及一步或两步运算（加法、减法、乘法或除法）的算术解。这些变换被设计为语义中性的，即它们改变表面形式而不改变所需的数学运算。例如，关于苹果的问题可能被改写为涉及橙子，或者描述问题的两个句子的顺序可能被交换。数据集包含100道问题的验证集和900道问题的测试集，测试集中的原始问题与修改后问题之间没有重叠。
评估方法
SVAMP上的标准评估衡量模型最终答案的准确率，该答案为单个数值。模型通常以问题文本作为输入，并期望输出正确的数字。该基准旨在对依赖模式匹配的模型构成挑战，因为变体确保没有简单的启发式方法能始终产生正确答案。许多已发表的结果将SVAMP上的准确率作为关键指标，通常与GSM8K和MathQA等其他基准一起报告。例如，早期的Transformer模型准确率在20-40%范围内，而最近采用思维链提示的大型语言模型已达到超过80%的准确率，尽管该基准仍是衡量数学推理进展的参考点。
在AI研究中的意义
SVAMP在揭示神经网络方法在算术推理方面的局限性方面发挥了显著作用。使用SVAMP的研究表明，即使数学内容相同，当问题的措辞稍有变化时，模型往往也会失败，这揭示了模型倾向于记忆训练模式而非进行泛化。这推动了更稳健推理技术的研究，包括课程学习、数据增强以及专门架构的开发。该基准在人工智能和深度学习领域的论文中被频繁引用，并已被用于评估来自OpenAI、Google DeepMind和Anthropic等主要实验室以及开源项目的模型。
局限性与批评
尽管有其用途，SVAMP仍存在局限性。该数据集相对较小，仅有1,000道问题，这可能导致评估结果的高方差。此外，问题仅限于初等算术，因此该基准不评估更复杂的数学推理，如代数或几何。一些研究人员指出，这些扰动虽然有用，但可能无法完全捕捉现实世界应用题的多样性。因此，SVAMP通常与其他基准结合使用，以提供更全面的评估。尽管如此，其对受控变异的关注使其成为隔离模型推理中特定弱点的宝贵工具，并且它仍然是该领域广泛认可的标准。