SWE-bench, abreviatura de Software Engineering Benchmark, es un AI benchmark introducido por investigadores de Princeton en 2023 que mide la capacidad de un modelo de lenguaje para resolver tareas reales de ingeniería de software. A diferencia de los benchmarks sintéticos de codificación como HumanEval, SWE-bench extrae sus tareas directamente de issues reales de GitHub y sus correspondientes pull requests fusionados en repositorios populares de Python de código abierto, pidiendo a un modelo que genere un parche de código que resuelva el issue y pase la suite de pruebas existente del proyecto.
Diseño
Cada tarea de SWE-bench presenta al modelo un código base en un commit específico, una descripción de issue escrita por un usuario o colaborador real, y el requisito de producir un parche; el éxito se mide por si el parche hace que las pruebas relevantes pasen sin romper las existentes. Esto hace que SWE-bench sea considerablemente más difícil y realista que los benchmarks a nivel de función, ya que resolver un issue a menudo requiere comprender un código base grande y desconocido, identificar los archivos relevantes entre muchos, y hacer cambios que se integren correctamente con el código existente, en lugar de escribir una función aislada a partir de una especificación clara.
Relación con la codificación agéntica
Debido a que la resolución de issues del mundo real típicamente requiere múltiples pasos, explorar un código base, ejecutar pruebas, e iterar sobre una solución, SWE-bench se asoció estrechamente con el auge de los sistemas de codificación agénticos en lugar de la simple generación de código de un solo disparo. Herramientas como los modos de agente de GitHub Copilot, Cursor, y Claude Code se evalúan comúnmente contra SWE-bench o sus variantes como un proxy de utilidad en el mundo real, y el auge del benchmark siguió el cambio más amplio en la industria de ver la asistencia de codificación con LLM como autocompletado hacia verla como un agente de codificación semi autónomo.
Progreso y variantes
Los primeros modelos resolvieron solo una pequeña fracción del conjunto de tareas original de SWE-bench, pero las puntuaciones subieron rápidamente a lo largo de 2024 y 2025 a medida que los laboratorios se dirigieron específicamente a la capacidad de codificación agéntica, ayudados por avances en modelos de razonamiento y ventanas de contexto efectivas más largas que permiten a los modelos mantener más de un código base en vista. Este progreso rápido llevó a la creación de variantes más difíciles, incluyendo SWE-bench Verified, un subconjunto validado por humanos destinado a eliminar tareas ambiguas o irresolubles, y SWE-bench Lite, un subconjunto más pequeño y más rápido de ejecutar usado para iteración más rápida.
Importancia
SWE-bench se cita frecuentemente en anuncios de lanzamiento de modelos de laboratorios incluyendo OpenAI y Anthropic como una medida destacada de capacidad de codificación y agéntica, junto con suites de evaluación más amplias. Su fundamento en trabajo real y verificable de ingeniería de software, en lugar de problemas de estilo rompecabezas curados, lo ha convertido en uno de los proxies más confiables de utilidad práctica en desarrollo de software, aunque los críticos señalan que aún cubre principalmente proyectos de Python e issues resolubles dentro de un parche acotado, y puede no capturar el juicio de ingeniería de horizonte más largo, decisiones arquitectónicas, o trabajo que abarque muchos archivos y servicios más allá de lo que el formato de tarea del benchmark permite.
Impacto en el campo
La popularidad de SWE-bench contribuyó a una tendencia más amplia de que la evaluación se moviera hacia benchmarks realistas y basados en tareas sobre los sintéticos, reflejando desarrollos similares en otros dominios a medida que los investigadores buscaron contrarrestar la saturación de benchmarks y las preocupaciones de contaminación que afectan a las suites de pruebas estáticas más antiguas.