MATH 2025 ist ein Benchmark-Datensatz, der entwickelt wurde, um die mathematischen Denkfähigkeiten großer Sprachmodelle (LLMs) zu bewerten. Er wurde 2025 veröffentlicht und besteht aus 5.000 wettbewerbsorientierten Problemen aus den Bereichen Algebra, Geometrie, Zahlentheorie, Kombinatorik und Analysis. Im Gegensatz zu früheren Benchmarks enthält MATH 2025 einen versteckten Testsatz, der nicht öffentlich zugänglich ist, um Überanpassung zu reduzieren und ein robusteres Maß für die Generalisierung zu bieten. Der Benchmark wird von einem Konsortium aus akademischen und industriellen Forschern gepflegt, mit einer vierteljährlich aktualisierten Rangliste, um Fortschritte im KI-Denken zu verfolgen.
Der Datensatz wurde Anfang 2025 als Nachfolger des ursprünglichen MATH-Benchmarks (2021) eingeführt, der 12.500 Probleme umfasste. MATH 2025 konzentriert sich auf einen kleineren, aber anspruchsvolleren Satz, mit Problemen aus aktuellen Olympiade-Wettbewerben und neuen Beiträgen teilnehmender Institutionen. Jedes Problem ist mit einer schrittweisen Lösung gepaart, die eine detaillierte Fehleranalyse ermöglicht. Der versteckte Testsatz wird über eine API kontrolliert, was direkten Zugriff verhindert und eine faire Bewertung fördert. Modelle werden anhand der exakten Übereinstimmung der Antworten bewertet, mit Teilpunkten für korrekte Zwischenschritte.
Problemzusammensetzung und Schwierigkeitsgrad
MATH 2025 umfasst 1.000 Probleme pro Themenbereich: Algebra, Geometrie, Zahlentheorie, Kombinatorik und Analysis. Die Schwierigkeitsgrade reichen von Highschool-Olympiade bis zu Undergraduierten-Niveau, wobei ein durchschnittliches Problem mehrere Denkschritte erfordert. Ein Beispielproblem aus der Algebra lautet beispielsweise: "Finde die Summe aller reellen Wurzeln der Gleichung x^5 - 5x^3 + 4x = 0." Ein Geometrieproblem beinhaltet den Beweis einer Eigenschaft von Sehnenvierecken. Die Probleme sind so gestaltet, dass sie eindeutig sind, mit eindeutigen numerischen oder kurzen Antworten.
Bewertungsmethodik
Modelle werden über die API bewertet, die eine Punktzahl basierend auf exakter Antwortübereinstimmung zurückgibt. Die Rangliste, die vierteljährlich (März, Juni, September, Dezember) aktualisiert wird, ordnet Einreichungen nach Gesamtgenauigkeit. Im ersten Quartal erreichte das beste Modell eine Genauigkeit von 72%, während menschliche Experten-Baselines bei etwa 85% lagen. Der Benchmark berichtet auch Aufschlüsselungen nach Themen, die zeigen, dass Geometrie die schwierigste Kategorie bleibt, mit einer durchschnittlichen Genauigkeit, die 15% niedriger ist als bei Algebra. Um Datenkontamination zu verhindern, wird der Testsatz alle sechs Monate rotiert, wobei neue Probleme aus laufenden Wettbewerben hinzugefügt werden.
Auswirkungen auf die KI-Forschung
MATH 2025 ist zu einer Standardreferenz für die Bewertung des Denkens in großen Sprachmodellen geworden. Es hat Einschränkungen aktueller Ansätze aufgezeigt, insbesondere bei mehrstufiger Deduktion und symbolischer Manipulation. Mehrere OpenAI- und Google DeepMind-Modelle haben den Benchmark zur Steuerung des Trainings verwendet und Techniken wie Curriculum-Lernen und RLHF integriert, um die Leistung zu verbessern. Der Benchmark hat auch Forschung zu Chain-of-Thought-Prompting angeregt, das die Genauigkeit bei komplexen Problemen erheblich steigert.
Verwandte Benchmarks und zukünftige Richtungen
Der ursprüngliche MATH-2021-Benchmark bleibt weit verbreitet, aber MATH 2025 bietet einen strengeren Test. Andere verwandte Bewertungen umfassen GSM8K für Schülermathematik und Hendrycks Math für Wettbewerbsprobleme. Zukünftige Versionen von MATH 2025 sind geplant, um offenere Probleme und automatisierte Beweisverifikation zu enthalten. Das Konsortium hinter dem Benchmark, zu dem Forscher von MIT CSAIL und Stanford AI Lab gehören, zielt darauf ab, den Datensatz bis 2026 auf 10.000 Probleme zu erweitern, mit einem erhöhten Fokus auf interdisziplinäres Denken.
Kontroversen und Einschränkungen
Einige Forscher haben den versteckten Testsatz als undurchsichtig kritisiert, was die Diagnose von Modellfehlern erschwert. Andere bemerken, dass der Benchmark immer noch anfällig für Datenlecks durch indirekte Exposition sein könnte. Der API-kontrollierte Zugang wirft auch Bedenken hinsichtlich der Reproduzierbarkeit auf, da nicht alle Forscher sich wiederholte Bewertungen leisten können. Trotz dieser Probleme wird MATH 2025 allgemein als bedeutender Schritt in der KI-Bewertung angesehen, der einen anspruchsvollen und dynamischen Test mathematischer Intelligenz bietet.