MMMU-Eval est un cadre d'évaluation conçu pour évaluer les capacités des systèmes d'intelligence artificielle, en particulier les grands modèles de langage dotés de capacités multimodales, sur des tâches nécessitant des connaissances de niveau universitaire et un raisonnement visuel. Il fournit une méthodologie standardisée pour mesurer la capacité d'un modèle à comprendre et à raisonner à travers diverses disciplines académiques, en intégrant des informations textuelles et visuelles. Le cadre est construit autour du benchmark Massive Multi-discipline Multimodal Understanding (MMMU), qui présente aux modèles des questions issues de manuels universitaires, de notes de cours et de matériel académique, accompagnées d'images, de diagrammes, de graphiques et d'autres aides visuelles. MMMU-Eval est utilisé par les chercheurs et les développeurs pour comparer les performances de différents modèles, suivre les progrès dans le domaine et identifier les domaines où les systèmes d'IA multimodale sont encore en deçà de la compréhension humaine.
Le cadre a été introduit en 2023 par une équipe de chercheurs de plusieurs institutions, notamment l'Université de Toronto, l'Université Carnegie Mellon et l'Université de Waterloo. L'article initial, intitulé « MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI », a été publié en juin 2023 et a rapidement attiré l'attention de la communauté de recherche en IA. Le benchmark a été conçu pour combler une lacune dans les méthodes d'évaluation existantes, qui se concentraient souvent sur des tâches étroites ou des ensembles de données trop simples ou trop limités en portée. MMMU-Eval vise à repousser les limites de l'évaluation de l'IA en exigeant des modèles qu'ils démontrent non seulement un rappel factuel, mais aussi un raisonnement approfondi, une résolution de problèmes et la capacité de synthétiser des informations provenant de multiples modalités.
Structure du benchmark
Le benchmark MMMU comprend 11 500 questions soigneusement sélectionnées couvrant 30 disciplines académiques, notamment l'art, les affaires, la santé, les sciences humaines, les sciences sociales et les domaines STEM tels que les mathématiques, la physique, la chimie et l'informatique. Chaque question est accompagnée d'une ou plusieurs images, essentielles pour répondre correctement. Les questions sont divisées en trois niveaux de difficulté : niveau universitaire, niveau graduate et niveau expert, la majorité relevant des catégories universitaire et graduate. Le benchmark est en outre divisé en ensembles de validation et de test, l'ensemble de test étant utilisé pour les classements officiels. Les questions proviennent d'une large gamme de matériaux, y compris des manuels, des diapositives de cours et des articles académiques, garantissant un haut degré d'authenticité et de pertinence.
Méthodologie d'évaluation
MMMU-Eval emploie un protocole d'évaluation rigoureux pour garantir des comparaisons justes et cohérentes entre les modèles. Les modèles se voient présenter une question et des images associées, et doivent générer une réponse sous forme de choix multiples, en sélectionnant parmi quatre réponses possibles. L'évaluation mesure la précision, définie comme le pourcentage de questions correctement répondues. Pour prévenir la contamination des données, l'ensemble de test du benchmark n'est pas publié publiquement, et les chercheurs doivent soumettre leurs modèles pour évaluation via un processus contrôlé. Le cadre comprend également un ensemble de directives pour la construction des prompts, encourageant l'utilisation d'un modèle de prompt standardisé pour minimiser la variabilité. Cette approche permet des comparaisons directes entre les modèles, y compris ceux développés par les grands laboratoires d'IA tels que OpenAI, Anthropic et Google DeepMind.
Performances et résultats
Les premiers résultats de MMMU-Eval ont révélé des écarts significatifs entre les modèles d'IA et la performance humaine. Alors que les experts humains atteignent des taux de précision supérieurs à 80 % sur le benchmark, la plupart des modèles d'IA ont initialement obtenu des scores inférieurs à 50 %. Les modèles les plus performants au moment de la publication, tels que GPT-4V d'OpenAI, ont atteint environ 56 % de précision, démontrant la marge d'amélioration substantielle dans le raisonnement multimodal. Les itérations ultérieures de modèles, y compris celles de Google DeepMind et d'autres organisations, ont montré des progrès réguliers, certains modèles dépassant 70 % de précision d'ici 2024. Le benchmark a également mis en évidence des faiblesses spécifiques des systèmes d'IA, telles que la difficulté avec les diagrammes complexes, le raisonnement mathématique en plusieurs étapes et les questions nécessitant des connaissances spécifiques au domaine. Ces résultats ont guidé les efforts de recherche dans des domaines comme le multi-head attention, l'attention croisée et l'amélioration des techniques de encodage positionnel.
Impact et adoption
MMMU-Eval est devenu un point de référence standard dans la communauté de l'IA pour évaluer la compréhension multimodale. Il est largement cité dans les articles académiques et utilisé par les laboratoires industriels pour évaluer leurs modèles avant leur publication. L'accent mis par le cadre sur les connaissances de niveau expert a suscité un intérêt pour le développement de modèles capables d'assister dans l'éducation, la recherche scientifique et les domaines professionnels. Il a également influencé la création de benchmarks dérivés et de suites d'évaluation, tels que MMMU-Pro, qui introduit des questions plus complexes et ouvertes. Le succès de MMMU-Eval a encouragé des efforts similaires pour construire des cadres d'évaluation complets pour d'autres aspects de l'IA, y compris le raisonnement, la sécurité et l'alignement. En 2025, MMMU-Eval reste un outil clé pour mesurer les progrès vers l'intelligence artificielle générale, son classement servant de registre public de l'avancement du domaine.
Limites et critiques
Malgré son utilisation répandue, MMMU-Eval a fait face à certaines critiques. Une préoccupation est que le format à choix multiples peut ne pas capturer pleinement la capacité d'un modèle à générer un raisonnement en texte libre ou à gérer l'ambiguïté. De plus, l'accent du benchmark sur les connaissances académiques peut ne pas refléter les tâches multimodales du monde réel, qui impliquent souvent des informations bruitées ou incomplètes. Certains chercheurs ont également souligné que les images du benchmark, bien que diverses, peuvent ne pas couvrir tous les types de données visuelles, telles que la vidéo ou les scènes 3D. Des efforts sont en cours pour remédier à ces limitations en développant des méthodes d'évaluation plus dynamiques et interactives. Néanmoins, MMMU-Eval est généralement considéré comme un pas en avant significatif dans l'évaluation de l'IA, fournissant un test stimulant et significatif des capacités d'un modèle.
Orientations futures
Les développeurs de MMMU-Eval continuent de mettre à jour et d'étendre le benchmark. Les plans futurs incluent l'incorporation de davantage de questions provenant de domaines émergents, l'ajout de tâches basées sur la vidéo et le développement de méthodes automatisées pour générer de nouvelles questions afin de maintenir le benchmark à jour et d'éviter le surapprentissage. Il existe également un intérêt pour utiliser MMMU-Eval afin d'étudier la robustesse, l'équité et l'interprétabilité des modèles. À mesure que les technologies de IA générative et de apprentissage profond évoluent, MMMU-Eval est susceptible de rester un instrument important pour mesurer et guider leur développement, garantissant que les progrès sont non seulement impressionnants mais aussi significatifs et alignés sur l'expertise humaine.