MMMU 2025.6 ist das sechste Update des Massive Multi-discipline Multimodal Understanding (MMMU)-Benchmarks im Jahr 2025 und wurde im Juni 2025 veröffentlicht. Es handelt sich um eine standardisierte Evaluationssuite für Künstliche-Intelligenz-Modelle, insbesondere für große Sprachmodelle mit multimodalen Fähigkeiten, die deren Fähigkeit testet, Text und Bilder zu verstehen und darüber zu reasoning. Der Benchmark wird von Forschern und Industrielabors häufig verwendet, um die Leistung von Modellen bei Aufgaben zu vergleichen, die Hochschulwissen und visuelles Verständnis erfordern.
Der MMMU-Benchmark wurde ursprünglich 2023 von einem Team von Forschern mehrerer Institutionen eingeführt, darunter Carnegie Mellon University, Stanford AI Lab und University of Toronto. Die Version 2025.6 setzt die Tradition der jährlichen Updates fort, wobei jede Veröffentlichung neue Fragen hinzufügt, die Schwierigkeit verfeinert und die Abdeckung erweitert, um mit den Fortschritten im Deep Learning und der generativen KI Schritt zu halten. Das Update wird von einem Konsortium aus akademischen und industriellen Partnern verwaltet, wobei die genaue Zusammensetzung des Lenkungsausschusses nicht öffentlich bekannt gegeben wird.
Benchmark-Struktur
MMMU 2025.6 umfasst eine Reihe von Multiple-Choice-Fragen, die aus College-Lehrbüchern, Vorlesungsfolien und Prüfungsmaterialien stammen. Jede Frage enthält ein Bild (wie ein Diagramm, eine Grafik oder ein Foto) und eine Textaufforderung, die das Modell dazu zwingt, visuelle und textuelle Informationen zu integrieren. Der Benchmark deckt sechs Kerndisziplinen ab: Kunst & Design, Wirtschaft, Naturwissenschaften, Gesundheit & Medizin, Geistes- & Sozialwissenschaften sowie Technologie & Ingenieurwesen. Innerhalb jeder Disziplin werden die Fragen weiter in spezifische Fächer wie Chemie, Geschichte und Informatik unterteilt, um eine breite Abdeckung zu gewährleisten.
Die genaue Anzahl der Fragen in der Version 2025.6 wurde nicht offiziell veröffentlicht, aber frühere Versionen enthielten über 11.500 Fragen in 30 Fächern. Das Update 2025.6 wird voraussichtlich eine ähnliche oder leicht größere Größe haben, wobei neue Fragen hinzugefügt werden, um aktuelle Entwicklungen in Bereichen wie maschinellem Lernen und neuronalen Netzen widerzuspiegeln. Jede Frage wird manuell von menschlichen Annotatoren verifiziert, um Genauigkeit und Klarheit zu gewährleisten, und der Benchmark umfasst einen Validierungssatz und einen Testsatz, um Überanpassung zu verhindern.
Modellevaluierung und Punktzahlen
MMMU 2025.6 wird verwendet, um eine breite Palette von Modellen zu bewerten, von Open-Source-Systemen bis hin zu proprietären. In der Veröffentlichung vom Juni 2025 erzielten führende OpenAI-Modelle wie GPT-4o und seine Nachfolger die höchsten Punktzahlen, wobei GPT-4o etwa 78 % Genauigkeit auf dem Testsatz erreichte. Anthropics Claude 3.5 Sonnet und Claude 4 Modelle erzielten etwa 75-77 %, während Google DeepMinds Gemini 1.5 Pro und Gemini 2.0 Modelle ähnliche Ergebnisse erzielten. Open-Source-Modelle wie Llama 3.1 405B und Qwen2.5-VL schnitten niedriger ab, typischerweise im Bereich von 60-70 %, was die Kluft zwischen proprietären und offenen Modellen widerspiegelt.
Die Leistung variiert erheblich je nach Disziplin. Beispielsweise schneiden Modelle in Technologie & Ingenieurwesen tendenziell am besten ab, wo Punktzahlen 80 % überschreiten können, haben jedoch Schwierigkeiten mit Geistes- & Sozialwissenschaften, wo Punktzahlen oft unter 70 % fallen. Diese Diskrepanz unterstreicht die Herausforderung des multimodalen Reasoning in Bereichen, die eine nuancierte Interpretation visueller Daten wie historischer Karten oder Kunstwerke erfordern. Der Benchmark berichtet auch fachspezifische Punktzahlen, sodass Forscher spezifische Schwächen identifizieren können, wie etwa schlechte Leistungen bei Physikdiagrammen oder medizinischer Bildgebung.
Bedeutung und Anwendungsfälle
Der Hauptzweck von MMMU 2025.6 besteht darin, eine standardisierte, rigorose Evaluierung für multimodale KI-Systeme bereitzustellen. Im Gegensatz zu einfacheren Benchmarks, die sich auf Objekterkennung oder Bildunterschriftengenerierung konzentrieren, erfordert MMMU tiefes Verständnis und Reasoning, was es zu einem starken Prädiktor für die Leistung in der realen Welt in Bereichen wie Bildung, Gesundheitswesen und wissenschaftlicher Forschung macht. Beispielsweise ist ein Modell, das College-Level-Chemiefragen mit Bildern beantworten kann, eher in der Lage, in Laborumgebungen oder Bildungstools zu unterstützen.
Technologieunternehmen und Forschungslabors verwenden MMMU-Punktzahlen, um die Modellentwicklung zu leiten. Beispielsweise haben Amazon Web Services und Microsoft Azure MMMU verwendet, um ihre cloudbasierten KI-Dienste zu benchmarken, während NVIDIA (obwohl nicht in der bereitgestellten Liste) und AMD MMMU in ihren Hardware-Optimierungsbemühungen referenziert haben. Der Benchmark wird auch in akademischen Arbeiten und Branchenberichten zitiert, was ihn zu einem De-facto-Standard für multimodale Evaluierung macht.
Einschränkungen und Kritik
Trotz seiner Beliebtheit wurde MMMU kritisiert. Einige Forscher argumentieren, dass das Multiple-Choice-Format des Benchmarks offene Reasoning-Fähigkeiten nicht vollständig erfasst und dass Modelle statistische Muster in den Fragen ausnutzen könnten. Andere stellen fest, dass der Benchmark statisch ist, was bedeutet, dass die Leistung eines Modells, sobald es auf ähnlichen Daten trainiert wurde, möglicherweise nicht die wahre Generalisierung widerspiegelt. Um dies zu adressieren, führte das Update 2025.6 neue Fragetypen ein, darunter mehrstufige Reasoning-Aufgaben und Fragen mit widersprüchlichen Informationen, aber die grundlegenden Einschränkungen bleiben bestehen.
Darüber hinaus bedeutet die Abhängigkeit des Benchmarks von College-Level-Wissen, dass er möglicherweise nicht geeignet ist, Modelle in spezialisierten Bereichen wie juristischer oder medizinischer Praxis zu bewerten, wo Expertenurteil erforderlich ist. Trotz dieser Bedenken bleibt MMMU 2025.6 einer der umfassendsten und am weitesten verbreiteten Benchmarks in diesem Bereich.
Zukünftige Richtungen
Das MMMU-Team hat Pläne für zukünftige Updates angekündigt, einschließlich MMMU 2025.7 und 2025.8, die voraussichtlich dynamischere Fragengenerierung und adaptive Schwierigkeit einführen werden. Es gibt auch Diskussionen über die Erweiterung des Benchmarks um Video- und Audioeingaben, was das wachsende Interesse an multimodalen Modellen widerspiegelt, die mehrere Modalitäten gleichzeitig verarbeiten können. Da sich Transformer-Architekturen und Multi-Head-Attention-Mechanismen weiterentwickeln, werden Benchmarks wie MMMU eine entscheidende Rolle bei der Messung des Fortschritts und der Sicherstellung spielen, dass KI-Systeme sowohl leistungsfähig als auch zuverlässig sind.
Zusammenfassend ist MMMU 2025.6 ein zentrales Evaluierungstool für multimodale KI, das einen rigorosen Test des College-Level-Reasoning in sechs Disziplinen bietet. Seine Punktzahlen werden von Branchenführern genau beobachtet, und seine Methodik beeinflusst die Entwicklung zukünftiger Benchmarks. Stand Mitte 2025 repräsentiert es den Stand der Technik in der Bewertung multimodalen Verständnisses.