Cuatro reglas de hierro para construir evaluaciones reales

1. No construyas tu banco de preguntas basándote en las debilidades del modelo actual: las capacidades del modelo son desiguales. Si eliges específicamente preguntas que el modelo falla hoy, estás midiendo los defectos característicos de esta versión en particular, no la dificultad de la tarea. Cuando llegue el modelo de próxima generación, tu banco será inútil. 2. Incluso el modelo más fuerte con el máximo razonamiento debe puntuar muy por debajo de 100: si tu conjunto de pruebas permite que el modelo más fuerte obtenga fácilmente la puntuación máxima, las preguntas son demasiado fáciles y no podrás saber si los cambios posteriores mejoraron o degradaron las cosas. 3. Prefiere programas como jueces, luego LLMs: cualquier cosa que pueda verificarse con código (pruebas unitarias, validación de esquema JSON) no debe usar un juez LLM. Cuando se requiera un juez LLM, no uses puntuaciones vagas de 1-5; escribe listas de verificación comprobables con hechos o realiza comparaciones A/B a ciegas. 4. Debe distinguir la mejora real del ruido aleatorio: si las puntuaciones varían en cada ejecución, las preguntas son ambiguas o el entorno dejó archivos residuales que permiten que la IA haga trampa.