MMMU 2025.3は、2025年にリリースされた多分野横断型マルチモーダル理解（MMMU）ベンチマークの3回目のアップデートである。これは、マルチモーダル人工知能システム、特に視覚コンポーネントを備えた大規模言語モデルの能力を、多岐にわたる学術・専門分野にわたって評価するために設計された標準化された評価スイートである。このベンチマークは、チャート、図、画像などの視覚情報をテキストの質問と併せて理解・推論するモデルの能力を測定するために導入された当初のMMMUフレームワークに基づいている。
このアップデートは、マルチモーダルAI技術の急速な進化を反映した、ベンチマークの定期的な改訂シリーズの一部である。各アップデートは通常、新しい問題セットを導入し、既存のタスクを改良し、モデルが性能指標を飽和させるのを防ぐために難易度を調整する。MMMU 2025.3は、特に前バージョンで特定されたギャップ、すなわちより微妙な視覚的推論、分野横断的な問題、多段階の推論を必要とするタスクを対象としている。
ベンチマーク構造
MMMU 2025.3は、大学レベルの教科書や講義資料から派生した数千の多肢選択問題で構成されている。問題は、アートとデザイン、ビジネス、科学、健康と医学、人文社会科学、技術と工学の6つの主要分野にわたる。各問題には、画像、テキストのプロンプト、および4つの回答選択肢が含まれ、正解は1つのみである。このベンチマークは、視覚的知覚だけでなく、分野固有の知識と論理的演繹をテストするように設計されている。
2025.3版では、難易度分布が改訂され、単純なパターン認識よりも高度な推論を必要とする問題の割合が増加している。また、複数の画像の比較や、多軸グラフや科学図などの複雑度の高いデータ可視化の解釈を必要とする新しい問題のサブセットも含まれている。
評価方法
モデルは、全問題セットへの回答の正確さに基づいて評価され、スコアはパーセンテージで報告される。ベンチマークは通常、ゼロショット設定で実施され、モデルは特定の問題セットに関する事前の例やファインチューニングを受けない。このアプローチは、暗記ではなく、一般化可能な知識と推論能力を測定することを目的としている。
公平性を確保するため、ベンチマークは標準化されたプロンプト形式と画像解像度を使用する。2025.3アップデートには、あいまいな問題を扱うためのより厳格なプロトコルも含まれており、人間のアノテーターのパネルがエッジケースをレビューして回答の妥当性を確認する。これにより、評価におけるノイズが低減し、異なるモデル間でのより信頼性の高い比較が提供される。
性能トレンド
当初のMMMUリリース以来、性能は大幅に向上している。2023年の初期モデルは40%未満の正確さだったが、2025年初頭の主要システムは70%に近づいた。MMMU 2025.3は天井をリセットすると予想されており、主要ラボからの予備結果によると、オープンAI、アンソロピック、グーグル・ディープマインドなどのトップティアモデルは、新しいセットで約65〜75%の正確さを達成している。このアップデートは、表面的な視覚理解を持つモデルとより深い推論能力を持つモデルを区別する、挑戦的なベンチマークを維持するように設計されている。
特に、2025.3セットは、医学や工学などの専門分野の処理におけるモデルの弱点を露呈しており、そこでの正確さは一般的な科学や人文科学よりも大幅に低いままである。これにより、分野固有のトレーニングや外部知識ソースの統合に関する研究が促進されている。
AI開発への影響
MMMU 2025.3は、人工知能および機械学習分野の研究者や開発者にとって重要な参照点となっている。これは、モデルアーキテクチャの選択、トレーニングデータのキュレーション、評価慣行に影響を与える。多くの組織は、特に文書分析、教育ツール、視覚的質問応答を含むアプリケーションについて、製品準備状況のベンチマークとしてMMMUスコアを使用している。
このベンチマークは、マルチモーダル推論に関する学術研究にも情報を提供している。MMMU 2025.3を使用した研究は、複雑な視覚・テキスト入力を処理する際のマルチヘッドアテンションメカニズムとクロスアテンション層の重要性を強調している。さらに、このベンチマークは、モデルの堅牢性を向上させるためのデータ拡張技術とカリキュラム学習戦略の改善への関心を促進している。
限界と批判
その広範な使用にもかかわらず、MMMU 2025.3には限界がある。批評家は、多肢選択形式がモデルの能力を過大評価する可能性があると指摘する。モデルは真の理解なしに正しく推測できるからである。また、このベンチマークは英語のコンテンツに大きく依存しており、非英語圏の文脈への適用可能性を制限している。さらに、問題セットの静的な性質により、トレーニングデータにベンチマークの問題が誤って含まれるとモデルが過剰適合する可能性があるが、2025.3アップデートは最近の出版物から新しい問題を調達することでこれを軽減しようとしている。
もう1つの懸念は、完全なベンチマークで大規模モデルを評価する際の計算コストであり、小さな研究グループにとっては法外なものになる可能性がある。これに対処するため、維持管理者はクイックテスト用のランダムなサブセットを提供しているが、これにより統計的信頼性が低下する。2025年後半の時点で、問題をオンザフライで生成するMMMUの動的バージョンの作成に関する議論が進行中であるが、そのようなバージョンはまだリリースされていない。
将来の方向性
MMMUシリーズは定期的なアップデートを継続すると予想されており、MMMU 2025.4がすでに開発中である。将来のイテレーションには、ビデオ入力、インタラクティブタスク、よりオープンエンドな問題形式が組み込まれる可能性がある。このベンチマークの進化は、生成AIのより広範なトレンドと、AIシステムのより包括的な評価への推進を反映している。モデルがより高性能になるにつれて、MMMUのようなベンチマークは、正確さだけでなく、推論の透明性、安全性、人間の価値観との整合も測定するように適応する必要がある。