BBH 2025は、BIG-Bench Hard（BBH）の最新版であり、モデルにとっては困難だが人間にとっては比較的容易なタスクにおいて、大規模言語モデル（LLM）の推論能力を評価するために設計されたベンチマークスイートである。もともとは2022年に、より広範なBIG-Benchプロジェクトのサブセットとして導入され、BBHは、標準的な言語モデルが平均的な人間の評価者と同等かそれ以下の性能を示したために選ばれた23のタスクで構成されている。2025年版では、最新の大規模言語モデルの現状をより適切に反映し、採点における潜在的なバイアスを低減するために、指示、回答形式、評価手順が更新されている。
このベンチマークは、単純な事実の想起ではなく、多段階の推論、常識的理解、記号的操作を必要とするタスクに焦点を当てている。例としては、「ナビゲート」（空間的な指示に従う）、「単語の並べ替え」（指定された基準で単語を並べ替える）、「因果判断」（因果関係を特定する）などのタスクが含まれる。BBH 2025は、元のベンチマークと同じ中核的なタスクセットを維持しつつ、より明確なプロンプトとより堅牢な採点方法を導入しており、異なるアーキテクチャや学習手法間でのモデル性能を比較するための、より信頼性の高いツールとなっている。
目的と設計
BBH 2025は、現在のAIシステム、特に現代のLLMで使用されているトランスフォーマーやその他のニューラルネットワークアーキテクチャの限界を探るために設計されている。タスクは、単純なパターンマッチングの範囲を超え、モデルが新しい文脈で論理的演繹、算術演算、言語理解を行うことを要求するように意図的に選ばれている。ベンチマークの難易度により、最先端のモデルでさえ測定可能なギャップを示すことが保証され、新しい学習手法やモデルアーキテクチャを開発する研究者にとって有用なシグナルを提供する。
元のBIG-Benchプロジェクトは、数百のタスクを含み、複数の機関の研究者が関わる共同作業であった。BBHは、当時の最良のモデルを人間の性能が上回るタスクを選択して作成され、ベンチマークが数年間にわたって挑戦的なものであり続けることを保証した。2025年のアップデートは、研究コミュニティからのフィードバックを反映し、2022年以降に大幅に改善されたGPT-4やClaudeなどのモデルの評価から得られた教訓を組み込んでいる。
評価方法
BBH 2025は、標準化された評価プロトコルを使用する。各タスクには、複数選択式または自由形式の質問が含まれ、モデルは、完全一致または推論ステップの部分点に基づいて採点される。2025年版では、各タスクの指示がより詳細になり、誤った失敗につながる可能性のある曖昧さが軽減されている。さらに、採点ではモデルの信頼度が考慮され、タスクごとの内訳が提供されるため、研究者は特定の強みと弱みを特定できる。
公平性を確保するため、ベンチマークはモデルに依存しないように設計されており、特定のアーキテクチャや学習アプローチを有利にしない。これは、OpenAI、Anthropic、Google DeepMindなどの主要な開発者からのモデルや、オープンソースモデルの評価に使用されてきた。BBH 2025の結果は、モデルの能力の包括的なビューを提供するために、MMLUやGSM8Kなどの他のベンチマークと並べて報告されることが多い。
他のベンチマークとの関係
BBH 2025は、人工知能の分野における他の評価スイートを補完する。MMLUなどのベンチマークが多くの主題にわたる幅広い知識に焦点を当てているのに対し、BBHは制約下での推論と問題解決を強調する。これは、複雑なタスクでの性能が規模に応じて不均衡に向上する、大規模モデルの「創発的能力」を評価するのに特に有用である。このベンチマークはまた、推論を強化するために設計された思考連鎖プロンプティングやAIフィードバックからの強化学習などのテクニックのストレステストとしても機能する。
以前のバージョンと比較して、BBH 2025は更新された解答キーを含み、エッジケースを明確にして、モデルが評価を悪用するリスクを低減している。また、開発者が結果を提出できる公開リーダーボードも提供しており、透明性と競争を促進している。これにより、コンピュータビジョンにおけるImageNetと同様に、学術研究と産業開発のための標準的な参照点となっている。
限界と批判
その有用性にもかかわらず、BBH 2025には限界がある。一部の批評家は、タスクは挑戦的ではあるものの、多くの場合、オープンエンドの質問や不完全な情報を伴う現実世界の推論を完全には捉えていない可能性があると主張している。ベンチマークの複数選択形式は、回答オプションの統計的な規則性を悪用するモデルによって操作される可能性もある。さらに、モデルが改善されるにつれて、ベンチマークは飽和状態になり、定期的な更新や新しいタスクの作成が必要になる可能性がある。
もう一つの懸念は、BBH 2025が、他の多くのベンチマークと同様に、言語タスクにおける文化的仮定など、その構築におけるバイアスを意図せず反映している可能性があることである。研究者は、より多様なタスクセットと、モデルのスコアを文脈化するための人間の性能ベースラインを含めることを求めている。2025年のアップデートは、より詳細なタスクの説明を提供し、人間による評価を奨励することで、これらの問題のいくつかに対処しようとしているが、これらの取り組みは進行中である。
将来の方向性
BBH 2025の開発は、AIにおけるより厳密で動的な評価への広範な傾向の一部である。将来のバージョンでは、モデルの性能に基づいてタスクが生成される適応的テストや、外部ツールとの対話を必要とするタスクが組み込まれる可能性がある。ベンチマークのメンテナはまた、生成AIシステムの成長する能力を反映して、テキストと画像の両方を含むマルチモーダルタスクへのカバレッジを拡大することに関心を示している。
機械学習が進歩し続けるにつれて、BBH 2025のようなベンチマークは、関連性を維持するために進化する必要があるだろう。2025年版は、評価が挑戦的かつ公平であることを保証するための前進を表しており、より一般的な人工知能への進歩を測定するための基盤を提供する。研究者と開発者は、BBH 2025を標準的なツールとして使用し、コミュニティからのフィードバックや新しいタスクの提案を通じてその改善に貢献することが奨励されている。