Por qué la comparación a ciegas supera a las rúbricas: diseñando al crítico severo

Por Qué la Comparación a Ciegas Supera a las Rúbricas: Diseñando el Crítico Severo

Cada bucle de auto-mejora fallido falla de la misma manera: el modelo califica su propio trabajo, la calificación se infla, el bucle declara victoria temprano. La respuesta del gauntlet loop es un crítico diseñado en torno a tres elecciones deliberadas. Si aciertas estas, todo lo demás es detalle.

Elección 1: un agente diferente, contexto fresco

El crítico no debe ser el constructor usando otro sombrero. Se ejecuta con contexto fresco: nunca ha visto el plan del constructor, sus excusas, ni cuántas rondas tomó. Ve dos artefactos. Esto no es un cortesía; los modelos son sistemáticamente más amables con el trabajo que produjeron, y aún más amables con el trabajo que saben que fue difícil. El contexto fresco elimina ese sesgo de raíz.

Elección 2: una selección binaria, no una puntuación

Pide una puntuación sobre 10 y obtienes un 7 en la primera ronda, un 8 en la siguiente, luego un 9, sin importar el progreso real. Las puntuaciones son relativas a las expectativas, y las expectativas se mueven. Una selección a ciegas de lado a lado no puede desviarse: el crítico mira el tuyo y el estándar, con etiquetas eliminadas, y dice cuál es mejor. Un bit de salida, imposible de halagar.

Elección 3: el estándar es algo real, no palabras

Una rúbrica es texto que el agente puede interpretar; la interpretación siempre se inclina hacia aprobar. Un estándar es un artefacto nombrado y recuperable: el Call of Duty real, la página del competidor real, el ensayo publicado real. El crítico no interpreta calidad, observa derrota. Cuando el trabajo finalmente gana la selección a ciegas, eso significa algo.

La severidad es funcional

"Haz que el crítico sea realmente severo" suena como sabor, pero es estructural: un crítico neutral converge en aprobación porque la aprobación termina la tarea. La severidad más una salida requerida (nombra la única brecha más grande) convierte al crítico en un gradiente: cada ronda, el constructor sabe exactamente qué arreglar y nada más.

Linaje

Este es el patrón evaluador-optimizador del manual de building-effective-agents de Anthropic, llevado a su extremo honesto - ver From the Evaluator Pattern to the Gauntlet Loop. Para verlo en acción: el prompt original, y los modos de fallo cuando se omite una de las tres elecciones.