MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark) ist ein Benchmark zur Bewertung multimodaler großer Sprachmodelle bei Aufgaben, die Fachwissen auf Hochschulniveau und bewusstes Denken erfordern. Er wurde im November 2023 veröffentlicht und von einem Team aus 22 Forschern unter der Leitung von Xiang Yue an der Ohio State University und Wenhu Chen an der University of Waterloo erstellt. Der Benchmark wurde als mündlicher Beitrag auf der CVPR 2024 präsentiert und hat sich seitdem als Standardbewertung für multimodale Spitzenmodelle etabliert.
Der Benchmark umfasst 11,5 Tausend multimodale Fragen, die manuell aus Hochschulprüfungen, Quizzen und Lehrbüchern gesammelt wurden. Diese Fragen erstrecken sich über sechs Disziplinen - Kunst & Design, Wirtschaft, Naturwissenschaften, Gesundheit & Medizin, Geistes- & Sozialwissenschaften sowie Technik & Ingenieurwesen - und decken 30 Fächer und 183 Teilgebiete ab. Die Fragen enthalten sehr heterogene Bildtypen, darunter Diagramme, Schaubilder, Karten, Tabellen, Notenblätter und chemische Strukturen, die darauf ausgelegt sind, Wahrnehmung, Wissen und Denken auf Expertenniveau zu testen, das über das alltägliche visuelle Verständnis hinausgeht.
Design und Zweck
MMMU wurde entwickelt, um eine Lücke in bestehenden multimodalen Benchmarks zu schließen, die sich oft auf grundlegende visuelle Fragenbeantwortung oder Alltagslogik konzentrierten. Die Ersteller zielten darauf ab, einen Benchmark zu schaffen, der tiefes, domänenspezifisches Wissen und mehrstufiges Denken erfordert, ähnlich dem, was ein Hochschulstudent benötigt, um Probleme in seinem Hauptfach zu lösen. Jede Frage enthält ein Bild (oder mehrere Bilder) und eine Textaufforderung mit Mehrfachauswahlantworten. Die Bilder sind nicht nur dekorativ; sie sind integral für die Lösung des Problems, da das Modell visuelle Informationen genau extrahieren und interpretieren muss.
Die Schwierigkeit des Benchmarks spiegelt sich in der Leistung der Modelle zum Zeitpunkt der Veröffentlichung wider. Die besten Modelle erreichten nur etwa 56 % Genauigkeit, deutlich unter dem Bereich menschlicher Experten von 76-89 %. Diese Lücke hob die Einschränkungen zeitgenössischer multimodaler Modelle bei der Bewältigung komplexer, wissensintensiver Aufgaben hervor.
Disziplinen und Fächer
Die sechs Disziplinen decken ein breites Spektrum akademischer Bereiche ab. Kunst & Design umfasst Fächer wie Malerei, Bildhauerei und Grafikdesign. Wirtschaft umfasst Finanzen, Marketing und Management. Naturwissenschaften umfassen Physik, Chemie und Biologie. Gesundheit & Medizin umfasst Anatomie, Pharmakologie und klinisches Denken. Geistes- & Sozialwissenschaften umfassen Geschichte, Philosophie und Wirtschaftswissenschaften. Technik & Ingenieurwesen umfasst Informatik, Elektrotechnik und Maschinenbau. Jedes Fach ist weiter in Teilgebiete unterteilt, was eine umfassende Abdeckung der Lehrpläne auf Hochschulniveau gewährleistet.
Die Fragen stammen aus realen Bildungsmaterialien wie Prüfungen und Lehrbüchern, was sicherstellt, dass sie die Art von Wissen und Denken widerspiegeln, die von Hochschulstudenten erwartet wird. Die Einbeziehung verschiedener Bildtypen wie Notenblätter und chemischer Strukturen fügt eine zusätzliche Komplexitätsebene hinzu, da Modelle in der Interpretation spezialisierter visueller Formate kompetent sein müssen.
Bewertung und Auswirkungen
Seit seiner Veröffentlichung ist MMMU zu einer Standardbewertung für multimodale Spitzenmodelle geworden. Ergebnisse auf MMMU werden routinemäßig in technischen Berichten von Systemen wie GPT-4o, Gemini und Qwen-VL berichtet. Der Benchmark wurde verwendet, um Fortschritte im multimodalen Verständnis zu verfolgen, wobei Modelle ihre Genauigkeit im Laufe der Zeit schrittweise verbesserten. Selbst die fortschrittlichsten Modelle im Jahr 2025 bleiben jedoch hinter der Leistung menschlicher Experten zurück, was darauf hindeutet, dass erhebliche Herausforderungen bei der Erreichung multimodalen Denkens auf Expertenniveau bestehen bleiben.
Der Benchmark hat auch die Entwicklung anderer Bewertungssuiten beeinflusst, da Forscher die Notwendigkeit anspruchsvollerer und wissensintensiverer Benchmarks erkennen. MMMUs Betonung von Wissen auf Hochschulniveau und bewusstem Denken hat einen neuen Standard für die Bewertung der Fähigkeiten von großen Sprachmodellen in multimodalen Kontexten gesetzt.
Einschränkungen und Kritik
Trotz seiner breiten Akzeptanz wurde MMMU einigen Kritiken ausgesetzt. Einige Forscher argumentieren, dass das Mehrfachauswahlformat die offene Natur realen Denkens möglicherweise nicht vollständig erfasst. Andere bemerken, dass der Fokus des Benchmarks auf Wissen auf Hochschulniveau möglicherweise nicht repräsentativ für alle praktischen Anwendungen multimodaler Modelle ist. Darüber hinaus begrenzt der manuelle Sammelprozess, obwohl er Qualität sicherstellt, die Größe des Datensatzes im Vergleich zu automatisch generierten Benchmarks.
Dennoch bleibt MMMU ein wertvolles Werkzeug zur Bewertung der Obergrenzen aktueller multimodaler Modelle. Sein Design hat weitere Forschung zur Benchmark-Entwicklung inspiriert und das Feld zu strengeren und umfassenderen Bewertungsmethoden gedrängt.