La evaluación de LLM, comúnmente llamada evals, se refiere a los métodos e infraestructura utilizados para medir la capacidad, calidad, fiabilidad y seguridad de los grandes modelos de lenguaje. A medida que los LLM se han aplicado a una gama cada vez más amplia de tareas, la evaluación ha pasado de ser un ejercicio académico limitado a una disciplina práctica importante dentro de los laboratorios de IA, ya que los evals determinan qué se informa públicamente, qué guía la selección de modelos por parte de los desarrolladores y, cada vez más, qué retroalimenta el propio entrenamiento.
Suites de evaluación estáticas
La forma más tradicional de evaluación consiste en ejecutar un modelo contra un punto de referencia fijo con respuestas correctas conocidas, como MMLU para conocimiento, HumanEval o SWE-bench para codificación, y ARC-AGI para razonamiento abstracto. Estas suites son baratas de ejecutar repetidamente y permiten una comparación numérica directa, pero sufren de saturación del punto de referencia y contaminación de datos de entrenamiento, ya que los modelos se entrenan con raspados web cada vez más grandes que pueden superponerse con los conjuntos de prueba.
Arenas de preferencia humana
Debido a que muchas cualidades valiosas de los LLM, como la utilidad, la calidad de redacción o el tono, resisten una puntuación simple de corrección, plataformas como LMArena, anteriormente Chatbot Arena, recopilan grandes volúmenes de comparaciones humanas ciegas y cara a cara entre salidas de modelos y calculan una clasificación estilo Elo. Este enfoque captura bien la preferencia humana agregada, pero ha sido criticado por recompensar rasgos estilísticos, como la verbosidad o la amabilidad, que no necesariamente reflejan una capacidad más profunda o corrección, y por ser susceptible de manipulación al ajustar un modelo específicamente hacia la distribución de usuarios de la plataforma.
LLM como juez
Un enfoque más reciente utiliza un LLM para evaluar las salidas de otro, puntuando respuestas según corrección, utilidad o adherencia a una rúbrica, ya que la evaluación humana es lenta y costosa a escala. Los métodos de LLM como juez pueden aproximarse razonablemente al juicio humano en muchas tareas y permiten escalar la evaluación a muchos más ejemplos de los que los evaluadores humanos podrían cubrir, pero heredan sus propios sesgos y puntos ciegos del modelo, incluida una tendencia a favorecer respuestas más largas o redactadas con más confianza, y pueden ser explotados si un modelo evaluado aprende a producir salidas que engañan al juez en lugar de mejorar genuinamente.
Evals específicos de dominio y seguridad
Más allá de la capacidad general, la evaluación cubre cada vez más propiedades más específicas: tasas de alucinación en preguntas factuales, susceptibilidad a jailbreaks y inyección de prompts, sesgo entre grupos demográficos y evaluaciones de capacidades peligrosas relevantes para la seguridad de la IA, como si un modelo puede ayudar de manera significativa con ciberataques o síntesis de armas biológicas. Laboratorios como Anthropic y OpenAI realizan tales evaluaciones como parte de las pruebas previas al despliegue, vinculadas a sus compromisos de escalado responsable, y organismos externos, incluidos los institutos gubernamentales de seguridad de IA formados tras la Declaración de Bletchley, llevan a cabo evaluaciones independientes de los modelos de frontera.
Desafíos
La evaluación enfrenta dificultades persistentes: los puntos de referencia y las arenas pueden ser manipulados una vez que un laboratorio sabe qué se está midiendo, una versión de la ley de Goodhart aplicada al desarrollo de modelos; la contaminación socava la validez de las puntuaciones estáticas; y ningún número único captura las cualidades, a veces conflictivas, que los usuarios valoran, como la utilidad, la honestidad y la inocuidad. Esto ha impulsado el campo hacia carteras de evaluación que combinan múltiples métodos, "puntos de referencia vivos" que actualizan sus preguntas continuamente y un mayor énfasis en evaluaciones del mundo real, basadas en tareas y agentes, que reflejen mejor el uso desplegado que el simple cuestionario aislado.
Importancia
Debido a que los evals determinan qué modelos se perciben como mejores y, cada vez más, retroalimentan directamente el entrenamiento a través de técnicas como RLHF y el modelado de recompensas, el diseño de la metodología de evaluación se ha convertido en un factor significativo, aunque menos visible, que moldea cómo se comportan realmente los modelos líderes del campo.