SWE-bench, abréviation de Software Engineering Benchmark, est un benchmark introduit par des chercheurs de Princeton en 2023 qui mesure la capacité d'un modèle de langage à résoudre des tâches réelles de génie logiciel. Contrairement aux benchmarks de codage synthétiques tels que HumanEval, SWE-bench tire ses tâches directement de problèmes GitHub réels et de leurs pull requests fusionnées correspondantes dans des dépôts Python open-source populaires, demandant à un modèle de générer un correctif de code qui résout le problème et réussit la suite de tests existante du projet.
Conception
Chaque tâche SWE-bench présente à un modèle un codebase à un commit spécifique, une description de problème écrite par un utilisateur ou contributeur réel, et l'exigence de produire un correctif ; le succès est mesuré par le fait que le correctif fait passer les tests pertinents sans casser ceux existants. Cela rend SWE-bench considérablement plus difficile et plus réaliste que les benchmarks au niveau des fonctions, car résoudre un problème nécessite souvent de comprendre un codebase vaste et inconnu, d'identifier les fichiers pertinents parmi beaucoup d'autres, et d'apporter des modifications qui s'intègrent correctement au code existant, plutôt que d'écrire une fonction isolée à partir d'une spécification claire.
Relation avec le codage agentique
Parce que la résolution de problèmes réels nécessite généralement plusieurs étapes, explorer un codebase, exécuter des tests et itérer sur un correctif, SWE-bench est devenu étroitement associé à l'essor des systèmes de codage agentiques plutôt qu'à la simple génération de code en une seule fois. Des outils tels que les modes agent de GitHub Copilot, Cursor et Claude Code sont couramment évalués contre SWE-bench ou ses variantes comme indicateur d'utilité réelle, et l'essor du benchmark a suivi le changement plus large dans l'industrie, passant de la vision de l'assistance au codage par LLM comme autocomplétion à celle d'un agent de codage semi-autonome.
Progrès et variantes
Les premiers modèles ne résolvaient qu'une petite fraction de l'ensemble de tâches original de SWE-bench, mais les scores ont augmenté rapidement entre 2024 et 2025 alors que les laboratoires ciblaient spécifiquement la capacité de codage agentique, aidés par les avancées dans les modèles de raisonnement et des fenêtres de contexte effectives plus longues permettant aux modèles de garder plus de codebase en vue. Ces progrès rapides ont conduit à la création de variantes plus difficiles, notamment SWE-bench Verified, un sous-ensemble validé par des humains destiné à éliminer les tâches ambiguës ou insolubles, et SWE-bench Lite, un sous-ensemble plus petit et plus rapide à exécuter pour une itération plus rapide.
Importance
SWE-bench est fréquemment cité dans les annonces de sortie de modèles par des laboratoires comme OpenAI et Anthropic comme mesure phare de la capacité de codage et agentique, aux côtés de suites d'évaluation plus larges. Son ancrage dans un travail réel et vérifiable de génie logiciel, plutôt que dans des problèmes de style puzzle curatés, en a fait l'un des indicateurs les plus fiables d'utilité pratique dans le développement logiciel, bien que les critiques notent qu'il couvre principalement des projets Python et des problèmes résolubles dans un correctif limité, et qu'il peut ne pas capturer le jugement d'ingénierie à plus long terme, les décisions architecturales, ou le travail s'étendant sur de nombreux fichiers et services au-delà de ce que le format de tâche du benchmark permet.
Impact sur le domaine
La popularité de SWE-bench a contribué à une tendance plus large de l'évaluation vers des benchmarks réalistes et ancrés dans des tâches plutôt que synthétiques, reflétant des développements similaires dans d'autres domaines alors que les chercheurs cherchaient à contrer la saturation des benchmarks et les préoccupations de contamination affectant les anciennes suites de tests statiques.