MMMU（Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark）は、大学レベルの専門知識と慎重な推論を必要とするタスクにおいて、マルチモーダル大規模言語モデルを評価するためのベンチマークである。2023年11月に公開され、オハイオ州立大学のXiang Yueとウォータールー大学のWenhu Chenが率いる22名の研究者チームによって作成された。このベンチマークはCVPR 2024でオーラルペーパーとして発表され、以来、最先端のマルチモーダルモデルの標準的な評価手段となっている。
このベンチマークは、大学の試験、小テスト、教科書から手作業で収集された11,500問のマルチモーダル問題で構成されている。これらの問題は、芸術とデザイン、ビジネス、科学、健康と医学、人文科学と社会科学、技術と工学の6つの分野にわたり、30の科目と183のサブ分野をカバーしている。問題には、グラフ、図表、地図、表、楽譜、化学構造など、極めて多様な画像タイプが組み込まれており、常識的な視覚理解を超えた専門家レベルの知覚、知識、推論を試すように設計されている。
設計と目的
MMMUは、基本的な視覚質問応答や常識推論に焦点を当てることが多かった既存のマルチモーダルベンチマークのギャップを埋めるために設計された。作成者らは、大学生が専攻分野の問題を解く際に必要とされるような、深い専門知識と多段階の推論を必要とするベンチマークを作成することを目指した。各問題には画像（または複数の画像）とテキストのプロンプトが含まれ、多肢選択式の回答が用意されている。画像は単なる装飾ではなく、問題を解く上で不可欠であり、モデルが視覚情報を正確に抽出し解釈することが求められる。
このベンチマークの難易度は、公開当時のモデルの性能に反映されている。最高性能のモデルでも正解率は約56%にとどまり、人間の専門家の範囲（76〜89%）を大幅に下回っていた。この差は、複雑で知識集約的なタスクを処理する際の現代のマルチモーダルモデルの限界を浮き彫りにした。
分野と科目
6つの分野は、幅広い学術領域をカバーしている。芸術とデザインには、絵画、彫刻、グラフィックデザインなどの科目が含まれる。ビジネスは、金融、マーケティング、経営をカバーする。科学には、物理学、化学、生物学が含まれる。健康と医学には、解剖学、薬理学、臨床推論が含まれる。人文科学と社会科学には、歴史、哲学、経済学が含まれる。技術と工学には、コンピュータ科学、電気工学、機械工学が含まれる。各科目はさらにサブ分野に分かれており、大学レベルのカリキュラムを包括的にカバーしている。
問題は試験や教科書などの実際の教育資料から収集されており、大学生に期待される知識と推論の種類を反映していることが保証されている。楽譜や化学構造などの多様な画像タイプを含めることで、モデルが専門的な視覚形式の解釈に熟達している必要があるため、さらなる複雑さが加わっている。
評価と影響
公開以来、MMMUは最先端のマルチモーダルモデルの標準的な評価手段となっている。MMMUのスコアは、GPT-4o、Gemini、Qwen-VLなどのシステムの技術レポートで定期的に報告されている。このベンチマークはマルチモーダル理解の進歩を追跡するために使用され、モデルの正解率は時間とともに徐々に向上している。しかし、2025年時点で最も先進的なモデルでも、人間の専門家の性能には依然として及ばず、専門家レベルのマルチモーダル推論を達成するには大きな課題が残っていることを示している。
このベンチマークは、研究者がより挑戦的で知識集約的なベンチマークの必要性を認識するにつれて、他の評価スイートの開発にも影響を与えている。MMMUの大学レベルの知識と慎重な推論への重点は、マルチモーダル文脈における大規模言語モデルの能力を評価するための新たな基準を打ち立てた。
限界と批判
広く採用されているにもかかわらず、MMMUはいくつかの批判に直面している。一部の研究者は、多肢選択形式が現実世界の推論の自由回答的な性質を完全には捉えていない可能性があると主張している。また、大学レベルの知識への焦点が、マルチモーダルモデルのすべての実用的応用を代表するものではないと指摘する者もいる。さらに、手動収集プロセスは品質を保証する一方で、自動生成されたベンチマークと比較してデータセットの規模を制限している。
それでも、MMMUは現在のマルチモーダルモデルの上限を評価するための貴重なツールであり続けている。その設計はベンチマーク開発のさらなる研究を促し、より厳格で包括的な評価方法へと分野を押し進めている。