SWE-bench, kurz für Software Engineering Benchmark, ist ein Benchmark, der 2023 von Forschern in Princeton eingeführt wurde und die Fähigkeit eines Sprachmodells misst, reale Softwareentwicklungsaufgaben zu lösen. Im Gegensatz zu synthetischen Codierungs-Benchmarks wie HumanEval bezieht SWE-bench seine Aufgaben direkt aus tatsächlichen GitHub-Issues und den dazugehörigen gemergten Pull-Requests in beliebten Open-Source-Python-Repositories. Das Modell wird aufgefordert, einen Code-Patch zu generieren, der das Issue löst und die bestehende Testsuite des Projekts besteht.
Design
Jede SWE-bench-Aufgabe präsentiert einem Modell eine Codebasis zu einem bestimmten Commit, eine Issue-Beschreibung, die von einem echten Benutzer oder Mitwirkenden verfasst wurde, und die Anforderung, einen Patch zu erstellen. Der Erfolg wird daran gemessen, ob der Patch die relevanten Tests bestehen lässt, ohne bestehende zu brechen. Dies macht SWE-bench erheblich schwieriger und realistischer als funktionsbezogene Benchmarks, da die Lösung eines Issues oft das Verständnis einer großen, unbekannten Codebasis erfordert, das Identifizieren der relevanten Dateien unter vielen und Änderungen, die korrekt in den bestehenden Code integriert werden, anstatt eine isolierte Funktion aus einer klaren Spezifikation zu schreiben.
Beziehung zu agentischem Codieren
Da die Lösung realer Issues typischerweise mehrere Schritte erfordert, das Erkunden einer Codebasis, das Ausführen von Tests und das Iterieren an einer Lösung, wurde SWE-bench eng mit dem Aufstieg von agentischen Codierungssystemen verbunden, anstatt mit einfacher einmaliger Codegenerierung. Werkzeuge wie die Agentenmodi von GitHub Copilot, Cursor und Claude Code werden häufig gegen SWE-bench oder seine Varianten als Stellvertreter für den praktischen Nutzen bewertet. Der Aufstieg des Benchmarks spiegelte den breiteren Wandel in der Branche wider, LLM-Codierungsunterstützung nicht mehr als Autovervollständigung, sondern als halbautonomen Codierungsagenten zu betrachten.
Fortschritt und Varianten
Frühe Modelle lösten nur einen kleinen Teil des ursprünglichen Aufgabensatzes von SWE-bench, aber die Ergebnisse stiegen im Laufe von 2024 und 2025 rapide an, da Labore gezielt auf agentische Codierungsfähigkeiten abzielten, unterstützt durch Fortschritte bei Reasoning-Modellen und längeren effektiven Kontextfenstern, die es Modellen ermöglichen, mehr von einer Codebasis im Blick zu behalten. Dieser schnelle Fortschritt führte zur Erstellung schwierigerer Varianten, darunter SWE-bench Verified, eine menschlich validierte Teilmenge, die mehrdeutige oder unlösbare Aufgaben entfernen soll, und SWE-bench Lite, eine kleinere und schneller ausführbare Teilmenge für schnellere Iterationen.
Bedeutung
SWE-bench wird häufig in Modellveröffentlichungsankündigungen von Laboren wie OpenAI und Anthropic als zentrale Kennzahl für Codierungs- und Agentenfähigkeiten angeführt, neben breiteren Evaluations-Suiten. Seine Verankerung in realer, verifizierbarer Softwareentwicklungsarbeit, anstatt in kuratierten Rätselproblemen, hat es zu einem der vertrauenswürdigeren Stellvertreter für den praktischen Nutzen in der Softwareentwicklung gemacht. Kritiker merken jedoch an, dass es hauptsächlich Python-Projekte und Issues abdeckt, die innerhalb eines begrenzten Patches lösbar sind, und möglicherweise längerfristige technische Urteilsfähigkeit, Architekturentscheidungen oder Arbeiten über viele Dateien und Dienste hinaus nicht erfasst, die das Aufgabenformat des Benchmarks nicht zulässt.
Auswirkungen auf das Feld
Die Beliebtheit von SWE-bench trug zu einem breiteren Trend bei, Evaluierungen hin zu realistischen, aufgabenbasierten Benchmarks statt synthetischen zu bewegen, was ähnliche Entwicklungen in anderen Bereichen widerspiegelt, da Forscher versuchten, Benchmark-Sättigung und Kontaminations-Bedenken entgegenzuwirken, die ältere statische Testsuiten betrafen.