MMMU 2025.6 est la sixième mise à jour du benchmark Massive Multi-discipline Multimodal Understanding (MMMU) en 2025, publiée en juin 2025. Il s'agit d'une suite d'évaluation standard pour les modèles d'intelligence artificielle, en particulier les grands modèles de langage dotés de capacités multimodales, testant leur capacité à comprendre et à raisonner sur du texte et des images. Le benchmark est largement utilisé par les chercheurs et les laboratoires industriels pour comparer les performances des modèles sur des tâches nécessitant des connaissances de niveau universitaire et une compréhension visuelle.
Le benchmark MMMU a été initialement introduit en 2023 par une équipe de chercheurs de plusieurs institutions, notamment Carnegie Mellon University, Stanford AI Lab et University of Toronto. La version 2025.6 poursuit la tradition des mises à jour annuelles, chaque version ajoutant de nouvelles questions, affinant la difficulté et élargissant la couverture pour suivre les avancées en apprentissage profond et en IA générative. La mise à jour est gérée par un consortium de partenaires académiques et industriels, bien que la composition exacte du comité de pilotage ne soit pas divulguée publiquement.
Structure du benchmark
MMMU 2025.6 comprend un ensemble de questions à choix multiples issues de manuels universitaires, de diapositives de cours et de supports d'examen. Chaque question inclut une image (comme un graphique, un diagramme ou une photographie) et un prompt textuel, exigeant du modèle qu'il intègre les informations visuelles et textuelles. Le benchmark couvre six disciplines principales : Art & Design, Affaires, Sciences, Santé & Médecine, Sciences humaines & sociales, et Technologie & Ingénierie. Au sein de chaque discipline, les questions sont ensuite divisées en sujets spécifiques, tels que la chimie, l'histoire et l'informatique, pour garantir une couverture large.
Le nombre exact de questions dans la version 2025.6 n'a pas été officiellement publié, mais les versions précédentes contenaient plus de 11 500 questions réparties sur 30 sujets. La mise à jour 2025.6 devrait avoir une taille similaire ou légèrement supérieure, avec de nouvelles questions ajoutées pour refléter les développements récents dans des domaines comme le apprentissage automatique et les réseaux de neurones. Chaque question est vérifiée manuellement par des annotateurs humains pour garantir l'exactitude et la clarté, et le benchmark comprend un ensemble de validation et un ensemble de test pour prévenir le surapprentissage.
Évaluation des modèles et scores
MMMU 2025.6 est utilisé pour évaluer une large gamme de modèles, des systèmes open-source aux systèmes propriétaires. Dans la version de juin 2025, les principaux modèles OpenAI, tels que GPT-4o et ses successeurs, ont obtenu les meilleurs scores, avec GPT-4o atteignant environ 78 % de précision sur l'ensemble de test. Les modèles Claude 3.5 Sonnet et Claude 4 d'Anthropic ont obtenu des scores d'environ 75 à 77 %, tandis que les modèles Gemini 1.5 Pro et Gemini 2.0 de Google DeepMind ont atteint des résultats similaires. Les modèles open-source, tels que Llama 3.1 405B et Qwen2.5-VL, ont obtenu des scores plus faibles, généralement dans la plage de 60 à 70 %, reflétant l'écart entre les modèles propriétaires et open-source.
Les performances varient considérablement selon la discipline. Par exemple, les modèles ont tendance à mieux performer en Technologie & Ingénierie, où les scores peuvent dépasser 80 %, mais rencontrent des difficultés en Sciences humaines & sociales, où les scores tombent souvent en dessous de 70 %. Cette disparité met en évidence le défi du raisonnement multimodal dans des domaines qui nécessitent une interprétation nuancée des données visuelles, comme les cartes historiques ou les œuvres d'art. Le benchmark rapporte également des scores par sujet, permettant aux chercheurs d'identifier des faiblesses spécifiques, comme une mauvaise performance sur les diagrammes de physique ou l'imagerie médicale.
Importance et cas d'utilisation
L'objectif principal de MMMU 2025.6 est de fournir une évaluation standardisée et rigoureuse pour les systèmes d'IA multimodaux. Contrairement aux benchmarks plus simples qui se concentrent sur la reconnaissance d'objets ou la génération de légendes, MMMU exige une compréhension et un raisonnement profonds, ce qui en fait un prédicteur solide des performances réelles dans des domaines comme l'éducation, la santé et la recherche scientifique. Par exemple, un modèle capable de répondre à des questions de chimie de niveau universitaire avec des images est plus susceptible d'aider dans des environnements de laboratoire ou des outils éducatifs.
Les entreprises technologiques et les laboratoires de recherche utilisent les scores MMMU pour guider le développement de modèles. Par exemple, Amazon Web Services et Microsoft Azure ont utilisé MMMU pour évaluer leurs services d'IA cloud, tandis que NVIDIA (bien que non inclus dans la liste fournie) et AMD ont référencé MMMU dans leurs efforts d'optimisation matérielle. Le benchmark est également cité dans des articles académiques et des rapports industriels, ce qui en fait une norme de facto pour l'évaluation multimodale.
Limites et critiques
Malgré sa popularité, MMMU a fait face à des critiques. Certains chercheurs soutiennent que le format à choix multiples du benchmark ne capture pas pleinement les capacités de raisonnement ouvert, et que les modèles pourraient exploiter des schémas statistiques dans les questions. D'autres notent que le benchmark est statique, ce qui signifie qu'une fois qu'un modèle a été entraîné sur des données similaires, ses performances peuvent ne pas refléter une véritable généralisation. Pour remédier à cela, la mise à jour 2025.6 a introduit de nouveaux types de questions, y compris des tâches de raisonnement en plusieurs étapes et des questions avec des informations contradictoires, mais les limitations fondamentales persistent.
De plus, la dépendance du benchmark à des connaissances de niveau universitaire signifie qu'il peut ne pas convenir à l'évaluation de modèles dans des domaines spécialisés, comme la pratique juridique ou médicale, où un jugement de niveau expert est requis. Malgré ces préoccupations, MMMU 2025.6 reste l'un des benchmarks les plus complets et les plus utilisés dans le domaine.
Orientations futures
L'équipe MMMU a annoncé des plans pour de futures mises à jour, notamment MMMU 2025.7 et 2025.8, qui devraient introduire une génération de questions plus dynamique et une difficulté adaptative. Il est également question d'étendre le benchmark pour inclure des entrées vidéo et audio, reflétant l'intérêt croissant pour les modèles multimodaux capables de traiter plusieurs modalités simultanément. Alors que les architectures transformer et les mécanismes de attention multi-têtes continuent d'évoluer, des benchmarks comme MMMU joueront un rôle crucial dans la mesure des progrès et la garantie que les systèmes d'IA sont à la fois capables et fiables.
En résumé, MMMU 2025.6 est un outil d'évaluation clé pour l'IA multimodale, fournissant un test rigoureux du raisonnement de niveau universitaire à travers six disciplines. Ses scores sont étroitement surveillés par les leaders de l'industrie, et sa méthodologie influence le développement de futurs benchmarks. À la mi-2025, il représente l'état de l'art en matière d'évaluation de la compréhension multimodale.