MATHは、人工知能システム、特に大規模言語モデルの数学的推論能力を評価するために設計されたベンチマークデータセットである。2021年にOpenAIの研究者らによって導入され、AMC 10、AMC 12、AIME、その他のオリンピック形式のコンテストなどの出典から収集された12,500問の競技レベルの数学問題で構成されている。各問題には段階的な解答が付随し、代数、計数と確率、幾何学、中級代数、数論、初等代数、微積分前数学の7つの主題分野のいずれかに分類される。このベンチマークは、単純なパターン認識や暗記を超えたAIモデルの推論能力を評価するために広く使用されている。
このデータセットは、多段階の論理的演繹を必要とせず、言語理解や生成などのタスクに焦点を当てることが多かった既存の評価方法のギャップに対処するために作成された。MATHは、人間の専門家にとっても困難なように設計されており、慎重な問題解決と数学的洞察を要求する問題が含まれている。このベンチマークはこの分野の標準的な参照点となり、多くのモデル開発者がMATHでの性能を推論力の重要な指標として報告している。
問題形式と難易度
MATHの各問題は、選択肢のない自由形式のテキスト形式で提示され、モデルが最終回答を生成する必要がある。問題は、モデルの出力を提供された解答（多くの場合、数値または簡略化された式）と比較することで自動的に採点される。難易度は様々で、比較的簡単な演習から非常に複雑な競技問題まで多岐にわたる。データセットには各問題の難易度評価が含まれており、研究者が異なる挑戦レベルの性能を分析できるようになっている。
データセットに含まれる解答は詳細で、複数のアプローチを含むことが多く、連鎖思考推論でモデルを訓練するために使用されてきた。これにより、MATHは、論理的演繹と段階的な問題解決を改善することを目的とした生成AIおよび機械学習技術の研究にとって貴重なリソースとなっている。
モデル開発への影響
MATHはAIシステムの開発に大きな影響を与えてきた。公開当時、最先端のモデルは正解率がわずか数パーセントに留まり、タスクの困難さが浮き彫りになった。その後のモデルアーキテクチャ、訓練データ、推論技術の進歩により、大幅な改善が達成された。例えば、明示的な推論ステップを組み込んだモデルや外部ツールを使用するモデルは、MATHで顕著に高いスコアを示している。このベンチマークは、特にトランスフォーマーベースのアーキテクチャの文脈における深層学習やニューラルネットワークなどの分野の研究を推進する上で重要な役割を果たしてきた。
MATHでの性能は、小学校レベルの数学文章問題に焦点を当てたGSM8Kなどの他のベンチマークと並んで報告されることが多い。これらのベンチマークは合わせて、モデルの数学的能力の包括的なビューを提供する。2024年時点で、Google DeepMindやAnthropicなどの組織の主要モデルは、MATHで80%以上のスコアを達成しており、初期の結果から劇的な改善を示している。
限界と批判
広く使用されているにもかかわらず、MATHは批判に直面している。一部の研究者は、このベンチマークが類似の問題を暗記したり、書式の癖を悪用したりするモデルによって攻略される可能性があると主張している。正確な文字列一致に依存する自動採点システムは、異なる表現で書かれた正解を penalize する可能性がある。さらに、データセットは静的であり、モデルが改善するにつれて、ベンチマークは時間の経過とともに判別力が低下する可能性がある。モデルの能力に適応する動的ベンチマークを求める声もある。
もう一つの限界は、MATHが主に手続き的およびアルゴリズム的な問題解決をテストしており、概念的理解や創造性をテストしていないことである。批評家は、MATHでの高スコアが必ずしもモデルが真の数学的直感を持っていることを示すわけではないと指摘している。これにより、より深い推論能力を探る代替評価方法の開発が促されてきた。
関連ベンチマークと拡張
MATHは、いくつかの拡張や関連データセットに影響を与えてきた。例えば、MATH-SHEPHERDデータセットは、解答の各ステップを検証するモデルの訓練を支援するためにプロセス監視ラベルを追加している。AMPSデータセットやGSM8Kベンチマークなどの他のベンチマークは、異なる難易度レベルと問題タイプをカバーすることでMATHを補完している。研究者はまた、言語間でモデルを評価するためにMATHの多言語版を作成している。これらのリソースは合わせて、AIにおける数学的推論を評価および改善するための豊かなエコシステムを形成している。
このベンチマークの影響は学術界を超えて広がり、業界の研究所がモデル性能を比較するために頻繁に使用している。これは、コーディング、言語理解、一般知識のタスクと並んで、モデル評価スイートの標準的な構成要素となっている。AIが進化し続ける中、MATHは、論理的演繹による複雑な問題解決能力という、知能の最も基本的な側面の進歩を測定するための重要なツールであり続けている。