MMLU（Massive Multitask Language Understandingの略）は、2020年にDan Hendrycksと共同研究者らによって導入されたベンチマークで、言語モデルの知識の広さと推論能力を測定することを目的としている。これは、初等数学、米国史、コンピュータ科学、法律、専門医学など57の科目にわたる約15,900問の多肢選択問題で構成され、多くは実際の試験や教科書から引用されており、難易度は初等教育レベルから専門家・熟達者レベルまで幅広い。
設計と目的
MMLUは、モデルが主に大規模なテキストコーパスに対する事前学習を通じて獲得する必要がある広範な世界知識をテストするように設計されており、タスク固有の微調整ではなく、モデルが単一の狭いタスクでどれだけ優れているかではなく、分野横断的にどれだけ知っているかの代理指標となる。その作成者であるDan Hendrycksは、後に著名なAI安全性研究者となり、Center for AI Safetyを設立した。MMLUの構築は、LLM評価を読解理解や単一ドメインの質問応答のような狭いベンチマークから、一般的な知識に近いものへと移行させる初期の取り組みを反映していた。
採用
GPT-3とその後の大規模言語モデルの時代とともに公開された後、MMLUはモデルリリース論文や技術報告書で最も広く報告されるベンチマークの1つとなり、OpenAI、Anthropic、Google DeepMind、Meta AIを含む実質的にすべての主要ラボが主要な能力指標として引用した。その遍在性により、異なる組織が異なる方法で訓練したモデル間の共通の比較ポイントとなり、10年前にコンピュータビジョンでImageNetが果たした役割と同様の機能を果たした。
飽和
初期の言語モデルは、4択問題でランダム推測から期待される25%をわずかに上回るスコアしか達成しなかったが、モデルのスケールに伴って性能は急速に向上した。モデルは数年以内に80%を超え、2024年までに主要なフロンティアモデルは90%を超え、専門家パネルが達成する可能性のあるスコアの推定値に近づいた。この飽和により、MMLUがトップモデルを区別する能力が低下し、より難しい後継ベンチマークの作成が促された。MMLU-Proは、より難しい問題を追加し、推測の影響を減らすために回答選択肢を拡大した。
批判
MMLUはいくつかの点で批判を集めている。研究者は、元のデータセットに誤ったまたは曖昧な問題や解答キーが無視できない割合で存在することを特定した。公開された試験資料に基づいているため、データ汚染が永続的な懸念事項であり、多くのモデルの事前学習に使用されるウェブ規模のデータに一部の問題や類似の重複が含まれている可能性が高い。また、多肢選択形式は認識を生成よりも重視しており、モデルがオープンエンドのタスクで実際に使用される方法を反映していない可能性がある。これらの問題の一部は後のバリアントで部分的に対処されたが、MMLUの核心的な設計は2020年代の評価優先事項のスナップショットのままである。
遺産
飽和と批判にもかかわらず、MMLUはモデル比較におけるベースライン参照点として広く引用され続けており、トップクラスのモデルを有意に区別しなくなった後もリリース発表に登場し続けている。これは、影響力のあるベンチマークが、その識別力が衰えた後も共通の語彙として存続するという広範なパターンを示している。