Le benchmark MMLU (Measuring Massive Multitask Language Understanding) est un outil d'évaluation largement utilisé pour mesurer les capacités des grands modèles de langage. Publié le 7 septembre 2020 par Dan Hendrycks et une équipe de chercheurs, il a été conçu pour être plus difficile que les benchmarks précédents tels que GLUE, car les modèles commençaient à surpasser les humains sur des tests plus simples. MMLU se compose de 15 908 questions à choix multiples couvrant 57 sujets, allant des domaines STEM et du droit international à la nutrition et à la religion. Parmi celles-ci, 1 540 questions sont réservées à la sélection des paramètres optimaux du modèle, comme la température, la taille du lot et le taux d'apprentissage. En juillet 2024, le benchmark avait été téléchargé plus de 100 millions de fois, ce qui en fait l'un des outils les plus courants pour comparer les performances des modèles dans la communauté de l'intelligence artificielle.
Lorsque MMLU a été introduit, la plupart des modèles existants obtenaient des scores proches du hasard (25 %), le meilleur modèle, GPT-3 175B, atteignant une précision de 43,9 %. Les créateurs estimaient que des experts humains du domaine atteindraient environ 89,8 % de précision. À la mi-2024, les modèles de premier plan tels que Claude 3.5 Sonnet, GPT-4o et Llama 3.1 405B atteignaient régulièrement environ 88 % de précision. Cependant, à partir de 2025, MMLU a été partiellement abandonné au profit d'alternatives plus difficiles, reflétant les progrès rapides des capacités des modèles.
Structure et contenu
Le benchmark couvre un large éventail de sujets, notamment l'algèbre abstraite, le droit international, la médecine professionnelle et bien d'autres. Chaque question est un item à choix multiples avec quatre options, et les modèles sont évalués sur leur précision dans tous les sujets. La diversité des thèmes vise à tester non seulement les connaissances factuelles, mais aussi le raisonnement et la compréhension transversale. L'ensemble de développement de 1 540 questions est utilisé pour ajuster les hyperparamètres, garantissant des comparaisons équitables entre les modèles.
MMLU a inspiré plusieurs dérivés et variantes, tels que MMLU-Pro, MMMLU et MMLU-Redux, qui visent à remédier à certaines limitations du benchmark original ou à fournir des évaluations plus difficiles. Ces dérivés ont contribué à l'évolution continue de l'évaluation des modèles dans la recherche en apprentissage automatique.
Limites et critiques
Malgré sa popularité, MMLU a fait l'objet de critiques importantes. Le 5 juin 2024, des experts ont publié un article détaillant une analyse manuelle de 5 700 questions, révélant un nombre substantiel d'erreurs dans les réponses de référence. Par exemple, 57 % des questions du sous-ensemble « Virologie » contenaient des erreurs, notamment plusieurs réponses correctes (4 %), des questions ambiguës (14 %) ou des réponses complètement incorrectes (33 %). Globalement, l'analyse estimait que 6,5 % des questions de MMLU contenaient une erreur, suggérant que le score maximal atteignable était nettement inférieur à 100 %.
La contamination des données a également constitué une menace sérieuse pour la validité du benchmark. Les entreprises pouvaient, involontairement ou délibérément, inclure les questions et réponses de MMLU dans les données d'entraînement de leurs modèles, rendant ainsi le benchmark inutile comme mesure de généralisation. Ce problème est courant dans le domaine de l'évaluation en IA générative, où les modèles sont souvent entraînés sur de vastes corpus Internet pouvant inclure des questions de benchmark.
Exemples de questions
Les exemples suivants illustrent les types de questions de MMLU, issus des tâches « Algèbre abstraite », « Droit international » et « Médecine professionnelle ». Les réponses correctes sont marquées en gras.
Question 1 (Algèbre abstraite) :
Trouvez tous les \( c \) dans \( \mathbb{Z}_3 \) tels que \( \mathbb{Z}_3[x]/(x^2 + c) \) soit un corps.
(A) 0 (B) 1 (C) 2 (D) 3
Question 2 (Droit international) :
Une réserve à la définition de la torture dans le Pacte international relatif aux droits civils et politiques (PIDCP) serait-elle acceptable dans la pratique contemporaine ?
(A) C'est une réserve acceptable si la législation du pays réservataire emploie une définition différente.
(B) C'est une réserve inacceptable car elle contrevient à l'objet et au but du PIDCP.
(C) C'est une réserve inacceptable car la définition de la torture dans le PIDCP est conforme au droit international coutumier.
(D) C'est une réserve acceptable car, en droit international général, les États ont le droit de formuler des réserves aux traités.
Question 3 (Médecine professionnelle) :
Un homme de 33 ans subit une thyroïdectomie radicale pour un cancer de la thyroïde. Pendant l'opération, une hémorragie modérée nécessite la ligature de plusieurs vaisseaux du côté gauche du cou. En postopératoire, les examens sériques montrent une concentration de calcium de 7,5 mg/dL, une concentration d'albumine de 4 g/dL et une concentration de parathormone de 200 pg/mL. Des lésions de quel vaisseau ont provoqué les résultats chez ce patient ?
(A) Branche du tronc costocervical.
(B) Branche de l'artère carotide externe.
(C) Branche du tronc thyrocervical.
(D) Affluent de la veine jugulaire interne.
Impact et avenir
MMLU a joué un rôle crucial dans le suivi des progrès des grands modèles de langage et a été largement adopté par les laboratoires de recherche et les entreprises, notamment OpenAI, Anthropic et Google DeepMind. Son influence s'étend à d'autres benchmarks et méthodologies d'évaluation, poussant le domaine vers des tests plus robustes et plus difficiles. Cependant, les erreurs identifiées et les problèmes de contamination ont conduit à un abandon progressif au profit de benchmarks plus récents, plus résistants à ces problèmes. À partir de 2025, MMLU reste un point de référence historique, mais son rôle dans la comparaison des modèles de pointe diminue.