MMMU 2025.7は、人工知能システム向けの広く使用される評価スイートであるMassive Multi-discipline Multimodal Understanding（MMMU）ベンチマークの2025年にリリースされた7番目のアップデートである。このベンチマークは、大規模言語モデルやその他のマルチモーダルモデルが、大学レベルの学術的文脈で画像とテキストについて推論する能力をテストするように設計されている。2025年シリーズの各アップデートでは、生成AIシステムの急速な進歩に追従するために、新しい質問、改訂された採点プロトコル、または更新された参照回答が導入されている。
MMMUベンチマークは当初、評価におけるギャップを埋めるために作成された。多くの既存テストは、テキストのみの推論または単純な画像分類に焦点を当てていた。MMMUは、モデルが視覚情報と複雑で専門分野固有の知識を統合することを要求し、芸術、工学、医学、社会科学などの科目をカバーしている。2025.7アップデートはこの伝統を継続し、複数ステップの推論と複数の視覚要素からの情報統合を要求する質問に特に重点を置いている。
ベンチマーク構造
MMMU 2025.7は、前身のコア構造を保持している。これは、大学レベルの教科書や講義資料から引用された多肢選択問題で構成されている。各質問には、正しい回答に到達するために不可欠な画像または図が含まれている。質問は、分野と、基本的な認識、論理的演繹、定量的分析など、必要な推論の種類によって分類されている。
2025.7アップデートでは、以前のバージョンの曖昧さを特定したレビュープロセスを経て、改訂された参照回答セットが導入された。この改訂は、ベンチマークがモデル能力の信頼できる尺度であり続けることを保証するための継続的な取り組みの一部である。このアップデートではまた、工学とコンピュータサイエンスのカテゴリの質問プールが拡張され、マルチモーダル研究におけるこれらの分野の重要性の高まりを反映している。
評価方法
モデルは、標準化されたプロトコルを使用してMMMU 2025.7で評価される。各モデルには質問の完全なセットが提示され、その応答は参照回答と比較される。パフォーマンスは通常、全体的な正確度スコアとして報告され、分野と推論タイプ別の内訳も報告される。この詳細な報告により、研究者はモデルのマルチモーダル理解における特定の強みと弱みを特定できる。
2025.7アップデートでは、チェーン・オブ・ソート推論を使用するモデルを考慮して評価プロトコルが調整された。採点では現在、モデルの最終回答と中間推論ステップが区別されているが、正確度スコアを決定するのは最終回答のみである。この変更は、推論を説明できるモデルの開発を促進する一方で、説明しないモデルを罰しないようにするために行われた。
パフォーマンス傾向
元のMMMUベンチマークがリリースされて以来、主要モデルによるパフォーマンスは大幅に向上している。2025.7アップデートは、トランスフォーマーアーキテクチャとマルチヘッドアテンションメカニズムに基づいて構築されることが多い最良のパフォーマンスシステムが、数年前には達成不可能と考えられていた正確度レベルを達成する状況を反映している。しかし、ベンチマークは、特に細かい視覚的詳細や専門的なドメイン知識を必要とする質問において、重要なギャップを引き続き露呈している。
MMMU 2025.7での注目すべき結果は、OpenAI、Anthropic、Google DeepMindなどの組織によって開発されたモデルから得られている。これらのシステムは通常、残差ネットワークコンポーネントや高度な損失関数を含む大規模な深層学習技術を採用している。このベンチマークは、オープンウェイトモデルの評価にも使用され、エコシステムの比較ビューを提供している。
影響と批判
MMMU 2025.7は、機械学習分野の研究者や開発者にとっての参照点となっている。その結果は技術レポートや学術論文で頻繁に引用され、複数のベンチマークにわたる進捗を追跡するリーダーボードにしばしば含まれている。このアップデートの大学レベルのコンテンツへの焦点は、より単純なクラウドソース質問に依存するベンチマークとは一線を画している。
批評家は、ベンチマークの飽和が懸念事項であると指摘している。モデルが改善するにつれて、固定された質問セットの限界価値は減少する。2025.7アップデートは、新しい質問を導入し、既存の質問を改訂することでこれに対処しているが、一部の研究者は、ベンチマークは動的に生成された例や敵対的な例も組み込むべきだと主張している。また、MMMUでの高い正確度が必ずしも堅牢な実世界のパフォーマンスに変換されるわけではないと指摘する者もおり、これはほとんどの静的評価スイートに共通する制限である。
将来の方向性
MMMUベンチマークシリーズは進化を続けると予想される。将来のアップデートには、ビデオベースの質問、インタラクティブなタスク、または推論プロセスのより微妙な評価が組み込まれる可能性がある。ベンチマークのメンテナーは、モデルが公開データセットに漏れるベンチマーク質問でトレーニングされるデータ汚染のリスクを軽減する方法を模索していることを示している。2025.7アップデートには、公開されていない小さなセットの保留質問が含まれており、汚染チェックとして機能することを意図している。
ニューラルネットワークアーキテクチャとトレーニング方法が進歩するにつれて、MMMU 2025.7のようなベンチマークは、進捗を測定するための不可欠なツールであり続けるだろう。それらは、システムを比較し、分野が取り組まなければならない次の課題を特定するための共通言語を提供する。