GSM-Hardは、大規模言語モデルの数学的推論能力を評価するためのベンチマークデータセットである。広く使用されているGSM8Kデータセットのより困難な変種として導入され、元のデータセットにおける重大な欠陥、すなわちモデルが真の問題解決を行わずに正解に到達できる表面的なパターンの存在に対処するよう設計された。問題を修正してこれらの近道を排除することで、GSM-Hardはモデルが多段階の算術計算と論理的演繹を行う能力に対するより厳格なテストを提供する。
このデータセットは、多くの最先端モデルがGSM8Kで高いスコアを達成する一方で、問題の表現とその答えの間の統計的相関に依存していることが多いと観察した研究者らによって作成された。例えば、モデルは「合計」という単語を含む質問は通常加算を必要とする、または長い問題はより大きな数値の答えを持つ傾向がある、といったことを学習する可能性がある。GSM-Hardはこれらの相関を断ち切るために構築され、モデルがパターンマッチングではなく実際に正しい結果を計算することを強制する。
GSM-Hardにおける主な修正は、GSM8Kの問題の数値を、より大きく直感的でない数値に置き換えることを含む。例えば、「3 + 5」のような単純な加算問題は「37 + 82」になるかもしれない。この変更だけでも、小さな数値を単純な演算と関連付けるなど、モデルが学習する多くのヒューリスティックを混乱させる。さらに重要なことに、修正は元の問題の答えがもはや有効な近道ではないように設計されている。モデルが以前に一般的な数値パターンを認識して答えを推測していた場合、その経路は現在閉じられている。
構築と設計
GSM-Hardの構築は単純だが効果的である。元のGSM8Kデータセットには、それぞれ自然言語の質問と最終的な数値の答えを持つ8,500の小学校レベルの数学問題が含まれている。GSM-Hardの作成者は各問題を取り上げ、体系的に数値を新しいものに置き換えた。重要な制約は、新しい数値が記憶を防ぐのに十分大きいが、モデルが基本的な算術で解くのに計算上実行不可能にならない程度に大きすぎないことであった。結果は、GSM8Kと同じ言語構造と推論ステップを保持するが、数値内容が完全に異なるデータセットである。
このアプローチにより、難易度はより複雑な論理ステップを追加することではなく、モデルがしばしば悪用する統計的規則性を除去することによって増加する。問題は依然として同じ一連の演算（例えば、加算、減算、乗算、除算）を必要とするが、特定の値は馴染みがない。これにより、大規模なテキストコーパスで訓練されたモデルが、訓練データから類似の問題を単に想起することが著しく困難になる。
評価と影響
GSM-Hardはすぐに人工知能研究の分野で標準的な評価ツールとなった。GSM-Hardでテストされたとき、GSM8Kで良好な性能を示した多くのモデルは、精度の劇的な低下を示した。例えば、GSM8Kで80%の精度を達成したモデルは、GSM-Hardでは50%しか達成しないかもしれない。この不一致は、モデルが真の推論ではなく近道に依存していた程度を浮き彫りにした。
このベンチマークは、トランスフォーマーや異なる戦略で訓練されたニューラルネットワークを含む様々なモデルアーキテクチャの性能を比較するために使用されてきた。また、モデルがステップバイステップで作業を示すことを奨励するチェーン・オブ・ソートプロンプティングのような技術の開発にも重要な役割を果たした。研究により、チェーン・オブ・ソートプロンプティングがGSM-Hardの性能を大幅に向上させることが示されており、これはモデルがより意図的で逐次的な推論に関与するのに役立つことを示唆している。
他のベンチマークとの関係
GSM-Hardは、MATH、ARC、MMLUを含むより広範な推論ベンチマーク群の一部である。GSM8Kが小学校レベルの算術に焦点を当てている一方で、GSM-Hardは近道を除去することで基準を引き上げる。MATHのような他のベンチマークにはより高度な数学問題が含まれているが、GSM-Hardは近道学習という特定の問題を隔離するため、人気が続いている。これはしばしばGSM8Kと並んで使用され、過剰適合しやすいデータセットともう一方のより堅牢なデータセットという対の比較を提供する。
このベンチマークは、読解や視覚的質問応答など、他の領域における類似の敵対的データセットの作成にも影響を与えた。統計的バイアスを除去するためにデータセットを修正するという原則は、機械学習評価の分野で一般的な技術となっている。
限界と批判
その有用性にもかかわらず、GSM-Hardには限界がある。一部の研究者は、数値をより大きなものに置き換えることがすべての近道を完全に排除するわけではないと主張している。例えば、モデルは問題の長さを必要なステップ数と関連付けることを依然として学習するかもしれない。さらに、このベンチマークは算術的推論のみをテストし、他の形式の論理的または抽象的な思考をカバーしていない。また、修正が問題を人為的に困難にしているかどうかという疑問もある。なぜなら、基礎となる推論はGSM8Kと同一であり、単に数値が扱いにくいだけだからである。
もう一つの批判は、GSM-Hardがモデルがデータセット自体で微調整できるという事実を考慮していないことである。モデルがGSM-Hardの訓練分割で訓練された場合、答えを記憶することができ、目的を無効にする。これを軽減するために、ベンチマークは通常、モデルが特定の問題を事前に見ていないゼロショットまたは少数ショット設定で使用される。
将来の方向性
GSM-Hardの開発は、より堅牢なベンチマークを作成するためのさらなる研究を促進した。GSM-PlusやMathQAなどの新しいデータセットは、表現の変更や無関係な情報の導入を含む追加の種類の摂動を組み込んでいる。これらの取り組みは、近道学習に真に耐性のある評価セットを作成し、パターンマッチングではなく真の理解を示すモデルへと分野を押し進めることを目的としている。
生成AIが進歩し続けるにつれて、GSM-Hardのようなベンチマークは進歩を測定するために重要であり続けるだろう。これらは、モデル性能の改善がより良い推論によるものか、単により良い記憶によるものかを明確なシグナルとして提供する。GSM-Hardの遺産は、評価がテストされるモデルと同じくらい厳格でなければならないという実証である。