5 façons dont une boucle Gauntlet se casse (et comment corriger chacune)

5 Façons dont une Boucle Gauntlet se Brise (Et Comment Corriger Chacune)

La boucle gauntlet semble robuste de l'extérieur : des builders, des critiques, une barre, une itération. En pratique, la plupart des premières exécutions échouent, et elles échouent de manière prévisible. Voici les cinq modes de défaillance que nous observons, du pire au moins pire.

1. La barre vague

Le tueur le plus courant. Si la barre est "un design primé" ou "une écriture de classe mondiale", le critique n'a rien à aller chercher, donc il invente une comparaison et approuve tout. La boucle tourne joyeusement et produit de la médiocrité avec confiance. Correction : la barre doit être nommée (une page, un post, un dépôt spécifique), accessible (le critique peut l'ouvrir ou en faire une capture d'écran) et comparable (les deux artefacts peuvent être placés côte à côte). Si vous ne pouvez pas coller une URL vers votre barre, vous n'en avez pas encore.

2. Le builder qui se note lui-même

Si le même contexte d'agent construit et juge, le jugement hérite de tous les biais : effort, attachement, fatigue. Correction : le critique est un sous-agent séparé avec un contexte frais. Il voit deux artefacts et rien d'autre - pas le plan, pas le nombre de tours, pas les excuses.

3. Le critique complaisant

Un critique à qui l'on demande "comment est-ce, sur 1-10 ?" donne 7, puis 8, puis 9. Les scores dérivent car ils sont jugés par rapport à des attentes, et les attentes bougent. Correction : donnez au critique une tâche binaire. Lequel est le meilleur, A ou B, avec les étiquettes retirées ? Et exigez qu'il nomme le plus grand écart lorsque la barre gagne - cet écart devient l'instruction entière du tour suivant.

4. Le nombre de tours fixe

"Améliore-le 5 fois" s'arrête exactement quand le modèle a envie de se la couler douce, que le travail soit excellent ou nul. Correction : la sortie est de gagner la comparaison aveugle, ou qu'un humain l'appelle. Rien d'autre ne met fin à la boucle.

5. Des pièces trop grandes pour être jugées

Un critique peut comparer une section de héros, un modèle d'arme, un graphique. Il ne peut pas honnêtement comparer "toute l'application" d'un seul regard, donc il arrondit. Correction : divisez l'objectif en artefacts suffisamment petits pour qu'un choix aveugle soit significatif, et passez chaque pièce au gauntlet.

Le schéma derrière les corrections

Chaque échec est le même échec : quelque part, l'auto-jugement s'est réinfiltré. Le modèle encode les cinq corrections ; l'original annoté les montre dans les propres mots de Shumer.