AIベンチマークとは、AIシステムの性能を測定・比較するための標準化されたデータセット、タスク、またはタスク群であり、研究者や一般の人々が異なる研究室や時代を超えてモデルを比較できる共通の尺度を提供する。ベンチマークは、少なくともImageNetコンペティション以来、AIの進歩において中心的な役割を果たしており、このコンペティションは深層学習時代を触発する一因となった。今日でも、ベンチマークはLLM評価において主要なツールであり続けている。
ベンチマークの種類
ベンチマークは、測定する内容によって大きく異なる。知識・推論ベンチマーク（MMLUなど）は、学術分野にわたる広範な事実知識と推論能力をテストする。コーディングベンチマーク（HumanEvalやSWE-benchなど）は、モデルがコードを書いたり修正したりする能力を測定する。ARC-AGIのような抽象推論ベンチマークは、記憶ではなく新しいパズル解決をテストすることで記憶化に抵抗することを目的としている。マルチモーダルベンチマークは画像や動画の理解をテストし、安全性ベンチマークは有害な出力、脱獄への脆弱性、またはバイアスを調べる。静的データセットに加えて、LMArenaのような人間の好みに基づくプラットフォームは、固定されたテストセットではなく、クラウドソーシングによるペアワイズ比較でモデルをランク付けする。
飽和
繰り返し見られるパターンとして、ベンチマークの飽和がある。モデルが向上するにつれて、特定のベンチマークでの性能は上限に向かって上昇し、しばしば適切に調整された人間の性能を超える。その時点で、ベンチマークはモデル間の差を有意義に区別する役割を果たさなくなる。2020年に導入されたMMLUは、数年以内に主要モデルが90%以上の精度を達成し、より困難な後継ベンチマークの作成を促した。このサイクル（ベンチマークが導入され、広く採用され、飽和し、置き換えられる）は、ほぼすべての主要な能力領域で繰り返されており、ベンチマークスイートが頻繁に更新されたり、より困難なバリアントで補完されたりする理由の一つである。
汚染
関連する深刻な問題として、データ汚染がある。大規模言語モデルは、Common Crawlを含むインターネットの大規模なスクレイピングで訓練されるため、ベンチマークの問題と回答が訓練データに漏れ込む可能性がある。これは直接的な場合も、オンラインでのベンチマークに関する議論を通じて間接的な場合もあり、実際の能力を反映せずにモデルの測定性能を水増しする。汚染の検出は困難であり、ARC-AGIを含む一部のベンチマークは、これに抵抗するために新しい問題生成を備えて特別に設計されている。汚染への懸念から、独立した検証なしに研究室が自己報告するベンチマークスコアに対して懐疑的な見方をする関係者もいる。
その他の批判
ベンチマークは、直接的にゲームされたり最適化されたりすることもあり、これはより広い開発プロセスにおける報酬ハッキングの一形態である。研究室が、実世界での有用性の比例的な向上なしに、人気のあるベンチマークで良い成績を収めるようにモデルを調整する場合がある。静的ベンチマークは、実際の使用に関連するエージェント的、多段階的、または長期的な能力を捉えられないこともあり、SWE-benchが実際のGitHubイシューを使用するように、より動的でタスクベースの評価への移行や、より困難な保留問題セットで評価されるテスト時計算を多用する推論モデルへの移行を促している。
分野における役割
限界があるにもかかわらず、ベンチマークはAIの進歩が報告され、宣伝され、議論される方法の中心であり続けており、ほぼすべてのモデルリリースの発表や、能力の閾値に関する政策議論に登場する。その限界から、人間の好みに基づくプラットフォーム、LLM-as-judgeアプローチ、汚染や飽和の影響を受けにくい専門家が厳選した狭い評価など、補完的な評価方法への関心が高まっている。