BBH 2024は、大規模言語モデル（LLM）を一連の難易度の高い推論タスクで評価するためのベンチマークである。これは、BIG-Benchスイートの厳選されたサブセットであるBIG-Bench Hard（BBH）ベンチマークのさらなる更新版である。BBH 2024は、元のBBHの限界、特に新しいモデルによる性能の飽和と、より堅牢な評価プロトコルの必要性に対処するために2024年にリリースされた。
このベンチマークは、BIG-Benchから選定された23のタスクで構成され、これらは言語モデルにとって特に困難であると特定されたものである。これらのタスクは、因果判断、日付理解、曖昧性解消、論理演繹など、さまざまな推論能力をカバーしている。BBH 2024は、改訂されたプロンプト、更新された回答形式、および元のBBHよりも部分的な正解を厳しく罰する新しい採点方法を導入している。更新されたベンチマークは、AI研究の最前線におけるモデル能力のより信頼性の高い尺度を提供することを目的としている。
タスク構成と選定
BBH 2024の23のタスクは元のBBHと同じであるが、大幅な変更が加えられている。例えば、「因果判断」タスクには100の追加の反事実シナリオが含まれ、「日付理解」タスクはより広範なカレンダー形式をカバーするように拡張されている。「論理演繹」タスクは、モデルが最終回答だけでなく一連の推論ステップを出力することを要求するようになった。これらの変更は、単純なパターンマッチングの効果を減らし、真の推論を促進するために行われた。
各タスクには、元のBBHと同様に、3〜5の例示を含む少数ショットプロンプトが含まれている。ただし、BBH 2024は、より最近の言語使用を反映し、正解の説明を含む更新された例示を提供する。ベンチマークはまた、モデルが最終回答の前に中間推論ステップを生成するように促される「思考連鎖」評価モードと、そのようなプロンプトなしの「直接」モードを導入している。
採点と評価
BBH 2024は、正解との完全一致に対してのみ満点を与える採点システムを使用している。部分点は、正しい最終回答を含むが余分なテキストを含む回答に対して与えられる。ベンチマークは、タスク全体の平均精度と標準偏差の両方を報告する。思考連鎖モードでは、精度は推論ステップ後の最終回答に基づいて計算され、生成されたステップの論理的一貫性を評価するための別の指標である「推論の一貫性」が導入される。
元のBBHでは、GPT-3などのモデルはタスクで平均精度約40%を達成した。2024年までに、GPT-4やClaude 3などの最先端モデルは元のBBHで80%を超え、より挑戦的なバージョンの必要性が生じた。BBH 2024には、プロンプトが敵対的に摂動される新しい「ハードモード」が含まれており、ベンチマークは標準モードとハードモードの両方の結果を報告する。
モデル性能と飽和
2024年半ばにリリースされたBBH 2024の初期結果は、GPT-4 TurboやClaude 3 Opusを含む最良のモデルが、標準モードで平均精度約70%、ハードモードで約50%を達成することを示している。これは、元のBBHでのほぼ飽和状態からの大幅な低下であり、更新されたベンチマークがより識別力のある評価を提供することを示している。このベンチマークは、OpenAI、Anthropic、Google DeepMindを含むいくつかのAI研究ラボによって、モデルの標準評価ツールとして採用されている。
BBH 2024には、クラウドソーシングプラットフォームを通じて募集された100人の人間参加者による「人間ベースライン」研究も含まれている。標準モードでの人間のベースライン精度は85%、ハードモードでは75%であり、ベンチマークがAIシステムの改善の余地をまだ残していることを示している。
他のベンチマークとの関係
BBH 2024は、AIベンチマークのより広範なエコシステムの一部である。これは、MMLU（Massive Multitask Language Understanding）やHellaSwagなどの他のスイートを補完するが、特に多段階の推論を必要とするタスクに焦点を当てている。広範な知識領域をカバーするMMLUとは異なり、BBH 2024は、BIG-Benchによって元々定義されたように、人間には簡単だがAIには難しいタスクを強調している。更新されたバージョンは、この哲学を維持しながら、評価の難易度と堅牢性を高めている。
このベンチマークはGitHubで公開されており、著者らはさまざまなモデルの結果を含むリーダーボードを提供している。リーダーボードは定期的に更新され、2024年後半の時点で、トップエントリーはGoogle DeepMindのモデルで、標準モードでの平均精度は72.3%である。
今後の方向性
BBH 2024の作成者らは、モデルの改善に追いつくために毎年更新をリリースする計画を示している。また、チャートや図の解釈など、マルチモーダル推論を必要とするタスクの組み込みも検討している。このベンチマークは、当面の間、大規模言語モデルの推論能力を評価するための主要な参照点であり続けると期待されている。