MMMU 2025.5 ist die fünfte Aktualisierung, die 2025 des Massive Multi-discipline Multimodal Understanding (MMMU)-Benchmarks veröffentlicht wurde, einer weit verbreiteten Evaluationssuite für Systeme der künstlichen Intelligenz. Der Benchmark bewertet große Sprachmodelle und verwandte Modelle hinsichtlich ihrer Fähigkeit, Hochschulniveau-Denken über Disziplinen hinweg auszuführen, die sowohl visuelles als auch textuelles Verständnis erfordern. MMMU 2025.5 setzt die Tradition des Benchmarks regelmäßiger Aktualisierungen fort, indem eine neue Reihe von Fragen und überarbeitete Bewertungsverfahren eingeführt werden, um Sättigungseffekte zu mildern und besser zwischen hochmodernen Systemen zu differenzieren.
Der ursprüngliche MMMU-Benchmark wurde 2023 von einem Konsortium akademischer und industrieller Forscher eingeführt, darunter Teams von Stanford AI Lab, Carnegie Mellon University und University of Toronto. Er umfasst Fragen aus Lehrbüchern, Vorlesungsfolien und Prüfungsunterlagen in 30 Fächern, einschließlich Kunst, Ingenieurwesen und Medizin. Jede Frage integriert ein Bild (wie ein Diagramm, eine Tabelle oder ein Foto) mit einer Multiple-Choice- oder offenen Aufforderung, was von Modellen verlangt, Multi-Head-Attention-basiertes Denken über beide Modalitäten auszuführen. Die Schwierigkeit des Benchmarks liegt in seiner Anforderung an domänenspezifisches Wissen und präzise visuelle Interpretation, was ihn von einfacheren Maschinenlern-Benchmarks unterscheidet.
MMMU 2025.5 adressiert speziell den schnellen Fortschritt, der 2025 beobachtet wurde, wo frühere 2025-Versionen (MMMU 2025.1 bis 2025.4) für führende Modelle zunehmend einfach geworden waren. Die Aktualisierung fügt etwa 1.200 neue Fragen hinzu, die von einem Gremium aus 50 Experten-Annotatoren von Institutionen wie University of Oxford und MIT CSAIL kuratiert wurden. Diese Fragen betonen mehrstufiges Denken, kontrafaktische Szenarien und feine visuelle Unterschiede, wie das Unterscheiden ähnlicher anatomischer Strukturen oder das Interpretieren komplexer Schaltpläne. Die Aktualisierung führt auch eine neue Bewertungsrubrik ein, die übermäßig selbstbewusste falsche Antworten bestraft und kalibriertes Temperaturskalierung in Modellausgaben fördert.
Benchmark-Design und Aktualisierungen
Die MMMU-Suite ist in sechs breite Disziplinen strukturiert: Kunst und Design, Wirtschaft, Wissenschaft, Gesundheit und Medizin, Geistes- und Sozialwissenschaften sowie Technologie und Ingenieurwesen. Jede Disziplin enthält mehrere Fächer, und Fragen sind mit Schwierigkeitsgraden (leicht, mittel, schwer) basierend auf menschlicher Leistung gekennzeichnet. MMMU 2025.5 behält diese Struktur bei, balanciert jedoch die Verteilung neu: Es erhöht den Anteil schwerer Fragen von 35% auf 45%, was die Notwendigkeit widerspiegelt, Modelle herauszufordern, die einfachere Elemente gemeistert haben. Die Aktualisierung führt auch eine neue Teilmenge "visuelle Störung" ein, bei der Bilder leicht gedreht, beschnitten oder farbverschoben werden, um Robustheit gegenüber Eingabevariationen zu testen.
Eine wichtige Innovation in MMMU 2025.5 ist die Einbeziehung von "adversarialen Kollaborations"-Fragen, die mit Input von Google DeepMind- und OpenAI-Forschern entwickelt wurden. Diese Fragen sind darauf ausgelegt, mehrdeutig zu sein oder externes Wissen zu erfordern, das nicht im Bild vorhanden ist, was Modelle zwingt, entweder um Klärung zu bitten oder Unsicherheit zu äußern. Dies steht im Einklang mit breiteren Trends in der generativen KI-Evaluierung, wo Benchmarks zunehmend nicht nur Genauigkeit, sondern auch Denktransparenz und Fehlermodi messen.
Evaluierungsmethodik
Modelle werden in einer Zero-Shot-Umgebung evaluiert, was bedeutet, dass sie keine vorherigen Beispiele von MMMU-Fragen erhalten. Der Benchmark verwendet ein standardisiertes Aufforderungsformat, das das Bild und eine Textanweisung enthält, und Modelle müssen eine Antwort generieren, die für die endgültige Antwort geparst wird. Für Multiple-Choice-Fragen wird die Ausgabe des Modells mit der richtigen Option abgeglichen; für offene Fragen wird eine Kombination aus exakter Übereinstimmung und semantischer Ähnlichkeit (unter Verwendung von Transformer-basierten Einbettungen) verwendet. MMMU 2025.5 berichtet auch Leistung separat für Modelle, die externe Werkzeuge verwenden, wie Amazon Web Services- oder Google Cloud-APIs, obwohl solche Nutzung abgeraten wird, um Vergleichbarkeit zu wahren.
Die Bewertung in MMMU 2025.5 führt eine "konfidenzgewichtete Genauigkeit"-Metrik ein. Für jede Frage muss das Modell einen Konfidenzwert (0 bis 1) ausgeben. Die endgültige Punktzahl ist der Durchschnitt der richtigen Antworten, gewichtet mit Konfidenz, mit einer Strafe für hochkonfidente Fehler. Diese Metrik zielt darauf ab, Kalibrierung zu erfassen, eine Eigenschaft, die für reale Bereitstellung in Domänen wie Intuitive Surgical-Robotik oder Waymo-Autonomem Fahren kritisch ist, wo übermäßig selbstbewusste Fehler kostspielig sein können.
Leistungstrends
Zum Zeitpunkt der Veröffentlichung von MMMU 2025.5 erreichen führende Modelle von Anthropic, OpenAI und Google DeepMind Genauigkeit im Bereich von 78-82%, gegenüber etwa 70% bei MMMU 2025.1. Die neue konfidenzgewichtete Metrik reduziert diese Punktzahlen jedoch auf 65-70%, was hervorhebt, dass viele Modelle schlecht kalibriert bleiben. Kleinere Modelle, wie solche, die für Edge-Geräte von Qualcomm oder Arm Holdings optimiert sind, erzielen typischerweise 20-30 Punkte niedriger, was die Kluft zwischen Grenz- und bereitgestellten Systemen unterstreicht.
Der Benchmark hat auch anhaltende Schwächen im räumlichen Denken und in domänenspezifischer Terminologie offenbart. Zum Beispiel verwechseln Modelle oft Links-Rechts-Orientierungen in medizinischer Bildgebung und identifizieren chemische Strukturen in organischen Chemiefragen falsch. Diese Erkenntnisse haben Forschung zu Curriculum-Lernen und Datenaugmentierung-Techniken motiviert, die gezielt diese Defizite adressieren.
Auswirkungen und Rezeption
MMMU 2025.5 wurde von großen KI-Labors als interner Evaluierungs-Checkpoint übernommen. OpenAI und Anthropic haben öffentlich MMMU-Punktzahlen in Modellveröffentlichungsnotizen zitiert, und Google DeepMind verwendet den Benchmark, um Training auf Residualnetzwerk- und U-Net-Architekturen für Sehaufgaben zu leiten. Die Aktualisierungen des Benchmarks werden auch von akademischen Forschern verwendet, um die Generalisierung von Deep-Learning-Modellen zu studieren, mit Papieren von BAIR (Berkeley AI Research) und Bhabha Atomic Research Centre, die Fehlermuster analysieren.
Kritiker haben angemerkt, dass MMMUs Abhängigkeit von englischsprachigen, westlich-zentrierten Bildungsmaterialien kulturelle Verzerrungen einführen könnte, eine Sorge, die von Forschern bei Alibaba DAMO Academy und NEC aufgegriffen wird. Als Reaktion hat das MMMU-Team Pläne für eine mehrsprachige Erweiterung Ende 2025 angekündigt, obwohl Details unbestätigt bleiben. Trotz dieser Einschränkungen bleibt MMMU 2025.5 eine Standardreferenz für multimodales Denken und ergänzt andere Benchmarks wie Schachcomputer-Evaluierungen für strategisches Denken.
Zukünftige Richtungen
Das MMMU-Team, geleitet von Hauptforschern von Stanford AI Lab und University of Toronto, hat einen Fahrplan für 2026 skizziert. Geplante Aktualisierungen umfassen dynamische Fragengenerierung unter Verwendung von generativen KI-Modellen, die einzigartige Fragen pro Evaluierungslauf erstellen würden, sowie Integration von videobasierten Aufgaben. Das Team erkundet auch Partnerschaften mit Nokia Bell Labs und Xerox PARC, um Benchmarks für multimodale Systeme in industriellen Umgebungen zu entwickeln, wie Qualitätskontrolle und Fernerkundung.
Da Systeme der künstlichen Intelligenz immer leistungsfähiger werden, spielen Benchmarks wie MMMU 2025.5 eine entscheidende Rolle, um sicherzustellen, dass Fortschritt messbar und bedeutungsvoll ist. Der Schwerpunkt der Aktualisierung auf Kalibrierung und Robustheit spiegelt eine Reifung des Feldes wider, die über rohe Genauigkeit hinaus zu nuancierteren Bewertungen des Modellverhaltens geht. Für Praktiker bietet MMMU 2025.5 ein rigoroses Testfeld zum Vergleichen von Modellen und zur Leitung von Entwicklungsprioritäten.