HumanEval es un punto de referencia de generación de código publicado por OpenAI en 2021 junto con el artículo que presentaba Codex, el modelo que impulsó el GitHub Copilot original. Consiste en 164 problemas de programación en Python escritos a mano, cada uno con una firma de función, un docstring que describe la tarea y un conjunto de pruebas unitarias utilizadas para verificar la corrección de una solución generada.
Diseño
Cada problema de HumanEval pide a un modelo que complete el cuerpo de una función de Python dado solo su firma y un docstring en lenguaje natural, similar a cómo un programador podría describir una pequeña tarea antes de escribirla. La corrección se juzga de manera funcional: una solución generada pasa si satisface las pruebas unitarias adjuntas, en lugar de compararse textualmente con una única respuesta de referencia, lo que permite las muchas formas válidas diferentes de implementar la misma función. Debido a que los problemas fueron escritos a mano específicamente para el punto de referencia y no extraídos de repositorios de código existentes, HumanEval se diseñó para reducir el riesgo de que las soluciones ya existieran textualmente en los datos de entrenamiento de un modelo.
La métrica pass@k
HumanEval introdujo o popularizó la métrica pass@k para evaluar la generación de código, que mide la probabilidad de que al menos una de k soluciones muestreadas de manera independiente de un modelo pase todas las pruebas unitarias para un problema dado. Pass@1 aproxima la precisión en un solo intento, mientras que valores de pass@100 o superiores estiman con qué frecuencia aparece una solución correcta en algún lugar dentro de muchas muestras, lo que es útil para comprender la capacidad de un modelo bajo diferentes patrones de uso en el mundo real, como permitir múltiples reintentos.
Adopción y progreso
HumanEval se convirtió rápidamente en un punto de referencia estándar para la capacidad de codificación, reportado junto con resultados generales de evaluación en anuncios de lanzamiento de OpenAI, Anthropic, Google DeepMind y desarrolladores de modelos abiertos como Meta AI con su familia Llama. El rendimiento aumentó rápidamente: los primeros modelos de Codex resolvieron menos del 30% de los problemas en pass@1, mientras que para 2023-2024 los modelos líderes superaron el 90%, un patrón de saturación similar al observado con MMLU en el dominio del conocimiento general.
Limitaciones y sucesores
Los problemas de HumanEval son relativamente cortos, autocontenidos y específicos de Python, lo que significa que un rendimiento sólido no indica necesariamente que un modelo pueda manejar bases de código grandes y realistas, proyectos de múltiples archivos u otros lenguajes de programación. Como con muchos puntos de referencia tempranos, la contaminación de datos se convirtió en una preocupación creciente, ya que los problemas y las soluciones escritas por la comunidad circularon ampliamente en línea y podrían aparecer plausiblemente en los datos de preentrenamiento de modelos posteriores. Estas limitaciones motivaron sucesores más difíciles y realistas, especialmente SWE-bench, que fundamenta las tareas en problemas reales de GitHub y bases de código completas en lugar de funciones aisladas cortas, y otras extensiones multilingües del formato original de HumanEval.
Legado
A pesar de su alcance limitado según los estándares posteriores, HumanEval desempeñó un papel importante en el establecimiento de la generación de código como una capacidad medible y comparable entre modelos, y su enfoque de evaluación funcional basado en pruebas, en lugar de similitud textual con una solución de referencia, influyó en el diseño de puntos de referencia de codificación posteriores en toda la industria.