MMLU, kurz für Massive Multitask Language Understanding, ist ein Benchmark, der 2020 von Dan Hendrycks und Mitarbeitern eingeführt wurde, um die Breite des Wissens und die Denkfähigkeit von Sprachmodellen zu messen. Er besteht aus etwa 15.900 Multiple-Choice-Fragen, die 57 Themen abdecken, darunter elementare Mathematik, US-Geschichte, Informatik, Recht und professionelle Medizin, die größtenteils aus echten Prüfungen und Lehrbüchern stammen und in ihrem Schwierigkeitsgrad von der Grundschule bis zum professionellen und Expertenniveau reichen.
Design und Zweck
MMLU wurde entwickelt, um die Art von breitem Weltwissen zu testen, das ein Modell hauptsächlich durch Pretraining auf großen Textkorpora erwerben müsste, anstatt durch aufgabenspezifisches Feintuning, was es zu einem Proxy dafür macht, wie viel ein Modell über Disziplinen hinweg weiß, anstatt wie gut es eine einzelne enge Aufgabe ausführt. Sein Schöpfer, Dan Hendrycks, wurde später ein prominenter KI-Sicherheits-Forscher und gründete das Center for AI Safety, und die Konstruktion von MMLU spiegelte einen frühen Versuch wider, die LLM-Evaluierung über enge Benchmarks wie Leseverständnis oder domänenspezifische Fragenbeantwortung hinaus zu bewegen, hin zu etwas, das näher an allgemeinem Wissen liegt.
Übernahme
Nach seiner Veröffentlichung im Zeitalter von GPT-3 und nachfolgenden großen Sprachmodellen wurde MMLU zu einem der am häufigsten berichteten Benchmarks in Modellveröffentlichungspapieren und technischen Berichten, der von praktisch jedem großen Labor, einschließlich OpenAI, Anthropic, Google DeepMind und Meta AI, als wichtige Leistungsmetrik zitiert wurde. Seine Allgegenwart machte es zu einem gemeinsamen Vergleichspunkt zwischen Modellen, die von verschiedenen Organisationen mit verschiedenen Methoden trainiert wurden, und füllte eine Rolle, die ImageNet ein Jahrzehnt zuvor für Computervision gespielt hatte.
Sättigung
Frühe Sprachmodelle erzielten nur knapp über den 25 %, die bei vier Antwortoptionen durch zufälliges Raten zu erwarten wären, aber die Leistung stieg schnell mit der Skalierung der Modelle: Modelle übertrafen 80 % innerhalb weniger Jahre, und bis 2024 übertrafen führende Frontier-Modelle 90 % und näherten sich Schätzungen der Punktzahl an, die ein Expertengremium erreichen könnte. Diese Sättigung verringerte die Fähigkeit von MMLU, zwischen Top-Modellen zu unterscheiden, und führte zur Erstellung schwererer Nachfolge-Benchmarks, einschließlich MMLU-Pro, das schwierigere Fragen hinzufügte und die Antwortoptionen erweiterte, um die Auswirkungen des Ratens zu reduzieren.
Kritik
MMLU wurde aus mehreren Gründen kritisiert: Forscher identifizierten eine nicht triviale Rate fehlerhafter oder mehrdeutiger Fragen und Antwortschlüssel im ursprünglichen Datensatz; da er auf öffentlich zugänglichen Prüfungsmaterialien basiert, ist Datenkontamination ein anhaltendes Problem, da einige Fragen oder nahe Duplikate wahrscheinlich in den Web-Scale-Daten erscheinen, die zum Vortraining vieler Modelle verwendet werden; und das Multiple-Choice-Format belohnt Wiedererkennung über Generierung, was möglicherweise nicht widerspiegelt, wie Modelle tatsächlich in offenen Aufgaben verwendet werden. Einige dieser Probleme wurden in späteren Varianten teilweise behoben, aber das Kern-Design von MMLU bleibt eine Momentaufnahme der Evaluierungsprioritäten von 2020.
Vermächtnis
Trotz Sättigung und Kritik bleibt MMLU ein weit verbreiteter Referenzpunkt in Modellvergleichen und erscheint weiterhin in Veröffentlichungsankündigungen, selbst nachdem es aufgehört hat, Top-Modelle sinnvoll zu unterscheiden, was ein breiteres Muster veranschaulicht, in dem einflussreiche Benchmarks als gemeinsame Sprache fortbestehen, lange nachdem ihre Unterscheidungskraft verblasst ist.