Ein KI-Benchmark ist ein standardisierter Datensatz, eine Aufgabe oder eine Reihe von Aufgaben, die verwendet werden, um die Leistung von KI-Systemen zu messen und zu vergleichen. Er bietet einen gemeinsamen Maßstab, der es Forschern und der Öffentlichkeit ermöglicht, Modelle über Labore und Zeiträume hinweg zu vergleichen. Benchmarks spielen seit mindestens dem ImageNet-Wettbewerb, der dazu beitrug, die Deep-Learning-Ära zu katalysieren, eine zentrale Rolle im KI-Fortschritt und bleiben bis heute das wichtigste Werkzeug in der LLM-Evaluation.
Arten von Benchmarks
Benchmarks variieren stark danach, was sie messen. Wissens- und Denkbenchmarks wie MMLU testen breite faktenbasierte und logische Fähigkeiten über akademische Fächer hinweg. Programmier-Benchmarks wie HumanEval und SWE-bench messen die Fähigkeit eines Modells, Code zu schreiben oder zu korrigieren. Benchmarks für abstraktes Denken wie ARC-AGI zielen darauf ab, dem Auswendiglernen zu widerstehen, indem sie neuartiges Problemlösen statt Abrufen testen. Multimodale Benchmarks testen das Verständnis von Bildern oder Videos, und Sicherheits-Benchmarks untersuchen schädliche Ausgaben, Anfälligkeit für Jailbreak-Angriffe oder Verzerrungen. Über statische Datensätze hinaus stufen Plattformen für menschliche Präferenzen wie LMArena Modelle über Crowdsourcing-basierte paarweise Vergleiche ein, anstatt über feste Testmengen.
Sättigung
Ein wiederkehrendes Muster ist die Benchmark-Sättigung: Wenn Modelle besser werden, steigt die Leistung bei einem bestimmten Benchmark in Richtung der Obergrenze, oft über eine gut kalibrierte menschliche Leistung hinaus, und der Benchmark hört auf, Modelle sinnvoll zu unterscheiden. MMLU, eingeführt im Jahr 2020, erreichte bei führenden Modellen innerhalb weniger Jahre eine Genauigkeit von über 90 %, was zur Entwicklung schwierigerer Nachfolger führte. Dieser Zyklus - ein Benchmark wird eingeführt, breit übernommen, gesättigt und dann ersetzt - hat sich in fast jedem größeren Fähigkeitsbereich wiederholt und ist ein Grund dafür, dass Benchmark-Suiten häufig aktualisiert oder mit schwierigeren Varianten ergänzt werden.
Kontamination
Ein verwandtes und ernstes Problem ist die Datenkontamination: Da große Sprachmodelle auf riesigen Internet-Scrapes trainiert werden, einschließlich Common Crawl, können Benchmark-Fragen und -Antworten in die Trainingsdaten gelangen, entweder direkt oder über Online-Diskussionen des Benchmarks, was die gemessene Leistung eines Modells aufbläht, ohne echte Fähigkeiten widerzuspiegeln. Die Erkennung von Kontamination ist schwierig, und einige Benchmarks, einschließlich ARC-AGI, wurden speziell mit neuartiger Problemgenerierung entwickelt, um dem zu widerstehen. Kontaminationsbedenken haben einige in der Branche skeptisch gegenüber selbstberichteten Benchmark-Ergebnissen von Laboren ohne unabhängige Verifikation gemacht.
Weitere Kritikpunkte
Benchmarks können auch direkt ausgespielt oder optimiert werden, eine Form von Reward Hacking im breiteren Entwicklungsprozess, bei dem ein Labor ein Modell so abstimmt, dass es bei beliebten Benchmarks gut abschneidet, ohne dass dies zu verhältnismäßigen Gewinnen im realen Nutzen führt. Statische Benchmarks können auch agentische, mehrstufige oder langfristige Fähigkeiten, die für die reale Nutzung relevant sind, nicht erfassen, was einen Wandel hin zu dynamischeren und aufgabenbasierten Bewertungen motiviert, einschließlich der Verwendung realer GitHub-Issues in SWE-bench, sowie hin zu Testzeit-Berechnung-intensiven Denkmodellen, die an schwierigeren, zurückgehaltenen Problemsätzen bewertet werden.
Rolle im Feld
Trotz ihrer Einschränkungen bleiben Benchmarks zentral dafür, wie KI-Fortschritt berichtet, vermarktet und debattiert wird, und tauchen in fast jeder Modellveröffentlichungsankündigung und in politischen Diskussionen über Fähigkeitsschwellen auf. Ihre Einschränkungen haben ein wachsendes Interesse an ergänzenden Bewertungsmethoden vorangetrieben, einschließlich Plattformen für menschliche Präferenzen, LLM-als-Richter-Ansätzen und engeren, von Experten kuratierten Bewertungen, die weniger anfällig für Kontamination und Sättigung sind.