MMMU 2025.10 ist die zehnte geplante Aktualisierung des MMMU-Benchmarks (Massive Multi-discipline Multimodal Understanding), die im Jahr 2025 veröffentlicht wurde. MMMU ist eine weit verbreitete Evaluationssuite für künstliche Intelligenz-Systeme, die sowohl visuelle als auch textuelle Informationen verarbeiten, wie etwa große Sprachmodelle mit Vision-Fähigkeiten. Die Version 2025.10 setzt die Tradition des Benchmarks fort, neue Fragen und Aufgaben hinzuzufügen, um den Fortschritt von maschinellem Lernen- und Deep Learning-Modellen zu verfolgen.
Die Aktualisierung wurde im Oktober 2025 eingeführt und folgt dem Muster monatlicher Veröffentlichungen, die früher in diesem Jahr begannen. Jede Aktualisierung der 2025er-Serie zielte darauf ab, den Benchmark mit der rasanten Entwicklung multimodaler Modelle von Organisationen wie OpenAI, Anthropic und Google DeepMind aktuell zu halten. Die Ausgabe 2025.10 konzentriert sich speziell auf die Erweiterung der Abdeckung in Bereichen, in denen frühere 2025er-Versionen Lücken zeigten, einschließlich komplexer Schlussfolgerungen mit Diagrammen und Schaubildern sowie dem Verständnis von Videoframes.
Benchmark-Struktur
MMMU 2025.10 behält die Kernstruktur des ursprünglichen MMMU-Benchmarks bei, der Fragen über mehrere akademische Disziplinen organisiert. Dazu gehören Kunst, Wirtschaft, Naturwissenschaften, Ingenieurwesen und Geisteswissenschaften. Jede Frage kombiniert ein Bild - wie ein Foto, ein Diagramm oder einen Schaltplan - mit einer Multiple-Choice-Frage. Die Aktualisierung 2025.10 fügt etwa 1.500 neue Fragen hinzu, wodurch sich die Gesamtzahl auf über 12.000 erhöht. Die neuen Elemente betonen mehrstufige Schlussfolgerungen, bei denen ein Modell visuelle Hinweise mit Fachwissen kombinieren muss, um zur richtigen Antwort zu gelangen.
Der Benchmark ist darauf ausgelegt, selbst für die fortschrittlichsten neuronale Netzwerk-Systeme herausfordernd zu sein. Im Gegensatz zu einfacheren Aufgaben zur visuellen Fragenbeantwortung erfordern MMMU-Fragen oft Fachwissen auf Hochschulniveau. Beispielsweise könnte eine Frage einen Schaltplan zeigen und nach seinen elektrischen Eigenschaften fragen, oder ein historisches Gemälde anzeigen und nach seinem kulturellen Kontext fragen.
Bewertung und Evaluierung
Modelle werden anhand der Genauigkeit bewertet, gemessen als Prozentsatz korrekt beantworteter Fragen. Die Aktualisierung 2025.10 führte ein strengeres Bewertungsprotokoll ein, das Modelle bestraft, die korrekte Antworten mit falscher Begründung liefern. Diese Änderung wurde als Reaktion auf Bedenken vorgenommen, dass einige Modelle ohne echtes Verständnis richtig rieten. Die Evaluierung umfasst auch eine Teilmenge von Fragen ohne eine einzige korrekte Antwort, die darauf ausgelegt ist, die Fähigkeit eines Modells zu testen, Unsicherheit anzuerkennen.
Ergebnisse von 2025.10 zeigten, dass führende Modelle von OpenAI, Anthropic und Google DeepMind Genauigkeitswerte im hohen 70er- bis niedrigen 80er-Prozentbereich erreichten, gegenüber Mitte der 60er Anfang 2025. Kleinere Open-Source-Modelle, wie die von Alibaba Damiao Academy, erzielten typischerweise Werte in den 50ern bis 60ern, was die Kluft zwischen Spitzenmodellen und zugänglichen Modellen verdeutlicht.
Auswirkungen auf die Modellentwicklung
Die Aktualisierung 2025.10 hat beeinflusst, wie Entwickler multimodale Systeme trainieren und verfeinern. Viele Teams verwenden MMMU als Schlüssel-Benchmark während der Entwicklung, neben anderen Bewertungen wie KI-Denktests. Die neuen schlussfolgerungsorientierten Fragen haben Forscher dazu gedrängt, Techniken wie Chain-of-Thought-Prompting und RLAIF (Verstärkungslernen aus KI-Feedback) zu verbessern.
Mehrere Transformer-basierte Architekturen wurden speziell abgestimmt, um bei MMMU gut abzuschneiden. Beispielsweise berichteten sowohl OpenAIs GPT-5-Vision-Modell als auch Anthropics Claude 4.5, dass sie MMMU-2025.10-Ergebnisse zur Steuerung von Post-Training-Anpassungen verwendeten. Der Benchmark wurde auch von akademischen Laboren wie MIT CSAIL und Stanford AI Lab genutzt, um neuartige Trainingsmethoden zu vergleichen, einschließlich Curriculum-Lernen- und Datenaugmentierungs-Strategien.
Kritik und Einschränkungen
Trotz seiner Beliebtheit wurde MMMU 2025.10 kritisiert. Einige Forscher argumentieren, dass das Multiple-Choice-Format des Benchmarks nicht die reale Nutzung widerspiegelt, bei der Modelle offene Antworten generieren müssen. Andere stellen fest, dass der Fragenpool im Laufe der Zeit auswendig gelernt werden kann, was zu überhöhten Werten führt. Die Aktualisierung 2025.10 versuchte, dies zu mildern, indem ältere Fragen rotiert und ein dynamischer Bewertungsmodus eingeführt wurde, aber Bedenken bleiben bestehen.
Darüber hinaus wurde die starke Abhängigkeit des Benchmarks von englischsprachigen Inhalten und westlichen akademischen Lehrplänen als Einschränkung markiert. Bemühungen, mehrsprachige und kulturell vielfältige Fragen hinzuzufügen, waren langsam, wobei die Version 2025.10 nur eine kleine Anzahl nicht-englischer Elemente hinzufügte. Dies hat einige Organisationen, einschließlich Bhabha Atomic Research und Samsung Research, dazu veranlasst, eigene interne Bewertungen zu entwickeln, die auf regionale Bedürfnisse zugeschnitten sind.
Zukünftige Richtungen
Das MMMU-Team hat Pläne für die Aktualisierung 2025.11 angekündigt, die sich auf interaktive und mehrstufige Denkaufgaben konzentrieren wird. Dies würde erfordern, dass Modelle klärende Fragen stellen oder zusätzliche Bilder anfordern, was über statische Frage-Antwort-Paare hinausgeht. Das Team erkundet auch Partnerschaften mit Industriegruppen wie AMD und Qualcomm, um den Benchmark für Edge-Geräte zu optimieren, wo die Rechenbeschränkungen enger sind.
Stand Ende 2025 bleibt MMMU einer der am häufigsten zitierten Benchmarks im Bereich des multimodalen maschinellen Lernens. Seine kontinuierliche Weiterentwicklung spiegelt den breiteren Trend hin zu strengerer und realistischerer Bewertung von generativer KI-Systemen wider. Ob es der Standard bleiben wird, bleibt abzuwarten, aber sein Einfluss auf die Modellentwicklung ist unbestreitbar.