BIG-bench Liteは、2022年に導入されたBIG-bench（Beyond the Imitation Game Benchmark）スイートの厳選されたサブセットであり、大規模言語モデルに対して計算効率が高くかつ挑戦的な評価を提供することを目的としている。これは、全204タスクからなるBIG-benchコレクションから選ばれた24のタスクで構成され、推論、知識、言語理解にわたるカバレッジのバランスを保ちつつ、評価の計算コストを削減している。このサブセットは、特に計算リソースが限られた研究者や組織にとって、モデル開発における迅速な反復を可能にするために作成された。
このベンチマークは、Google DeepMind、OpenAI、Anthropicを含む130以上の機関から集まった450人以上の研究者による協力的な取り組みによって開発された。BIG-bench Liteの選定プロセスでは、識別力が高く、多様なスキル要件を持ち、評価コストが管理可能なタスクが優先された。単純な算術から複雑なChess computer分析までを含む完全なBIG-benchとは異なり、BIG-bench Liteは、現在のモデルにとって実行可能でありながら、より広範な能力を示すタスクに焦点を当てている。
タスク構成
BIG-bench Liteには、論理的推論、数学的推論、常識理解、言語モデリングなどのタスクが含まれる。代表的な例としては、「因果判断」、「幾何学的形状」、「単語の並べ替え」があり、それぞれがArtificial intelligence能力の特定の側面をテストするように設計されている。タスクは多肢選択または短答形式でフォーマットされており、自動採点と異なるLarge language modelアーキテクチャ間での一貫した評価を可能にしている。
このサブセットは、既存のモデルによって飽和されるほど簡単すぎるタスクや、実行コストが高すぎるタスク（例えば、広範な外部ツール使用を必要とするもの）を意図的に除外している。この設計により、モデルが改善するにつれてBIG-bench Liteが移動目標であり続ける一方で、日常的なベンチマークとして実用的であることが保証される。
評価方法
モデルは、標準化されたプロンプト形式を使用してBIG-bench Liteで評価され、各タスクは固定数の例を提供する。主要な指標は正確性であるが、一部のタスクでは較正や堅牢性の測定も報告される。このベンチマークは、ゼロショット評価と少数ショット評価の両方をサポートしており、後者は通常タスクごとに1〜5の例を使用する。この柔軟性により、研究者は一般化と文脈内学習能力を評価することができる。
公平性を確保するために、このベンチマークには、回答の抽出と正規化を処理する採点スクリプトを備えた参照実装が含まれている。これにより、異なる評価パイプライン間のばらつきが減少し、結果が研究間でより比較可能になる。2024年時点で、BIG-bench Liteは学術および産業の両方の環境で広く採用されており、その結果は多数のMachine learning論文で報告されている。
他のベンチマークとの関係
BIG-bench Liteは、MMLU（Massive Multitask Language Understanding）やHELM（Holistic Evaluation of Language Models）などの他の評価スイートと併用されることが多い。MMLUが57の科目にわたる広範な知識に焦点を当てているのに対し、BIG-bench Liteは、記憶された事実にあまり依存しない推論と問題解決タスクを強調している。この補完的な性質により、モデルの弱点を診断するための貴重なツールとなっている。
このベンチマークはまた、評価にかなりの計算と時間を必要とする完全なBIG-benchの軽量な代替手段としても機能する。Google CloudやAmazon Web Servicesのような組織にとって、BIG-bench Liteをクラウドインフラストラクチャ上で実行することは数時間以内に可能である一方、完全なスイートは数日かかる場合がある。この実用性が、モデル開発サイクルにおけるその人気に貢献している。
限界と批判
批評家は、BIG-bench Liteが多くの静的ベンチマークと同様に、トレーニングコーパスに含まれるとデータ汚染に悩まされる可能性があると指摘している。これを軽減するために、このベンチマークには、データを評価専用としてフラグ付けする「カナリア」文字列が含まれており、トレーニングデータセットへの組み込みを思いとどまらせている。しかし、その執行は任意であり、一部のモデルは事前学習中にこれらのタスクに遭遇する可能性がある。
もう一つの限界は、タスクの範囲が狭いことであり、安全性、バイアス、長文脈推論などの現実世界の展開課題を捉えられない可能性がある。その結果、BIG-bench Liteは、人間の選好研究や敵対的テストを含む他の評価で補完されることが多い。これらの欠点にもかかわらず、Generative AIの状況におけるモデル能力を比較するための標準的な参照点であり続けている。
将来の方向性
BIG-bench Liteの成功は、HELM LiteやOpen LLM Leaderboardサブセットなどの同様の軽量ベンチマークを生み出した。これらの取り組みは、信頼性を維持しながらさらに効率的な評価を提供することを目的としている。さらに、元のBIG-benchチームは、多段階の推論を必要とする特に挑戦的なタスクのサブセットであるBIG-bench Hardをリリースしており、モデル評価の限界をさらに押し広げている。
Deep learningモデルが進化し続けるにつれて、BIG-bench Liteのようなベンチマークは、関連性を維持するために定期的な更新が必要になるだろう。コミュニティは、自動生成や人間参加型のキュレーションを使用する可能性のある、モデルの改善に適応する動的ベンチマークを求めてきた。それまでの間、BIG-bench LiteはNeural network研究の進歩を測定するための安定した基準として機能する。