Du modèle d'évaluateur d'Anthropic à la boucle Gauntlet

Du modèle d'évaluateur d'Anthropic à la boucle Gauntlet

La boucle Gauntlet n'est pas apparue de nulle part. Son squelette est le modèle évaluateur-optimiseur qu'Anthropic décrit dans son guide d'ingénierie sur la construction d'agents efficaces : un composant génère, un autre évalue selon des critères, et la paire itère. Ce que la version de Matt Shumer ajoute, c'est un ensemble de choix tranchés qui transforment un modèle raisonnable en un modèle fiable.

Le modèle d'évaluateur, version manuel

Le générateur produit un brouillon. L'évaluateur le note selon des critères. Si le score est sous le seuil, un retour d'information est envoyé au générateur. On répète. Cela fonctionne lorsque l'évaluation est réellement plus facile que la génération, ce qui est vrai pour la plupart des travaux créatifs et visuels : reconnaître qu'une page d'atterrissage est meilleure qu'une autre est bien plus facile que de produire la meilleure.

Où la version académique fuit

Trois endroits, tous où le jugement personnel s'infiltre à nouveau :

Les trois durcissements de la boucle Gauntlet

La boucle Gauntlet corrige chaque fuite avec quelque chose d'externe :

Plus un mouvement organisationnel que la version académique laisse implicite : le constructeur et le critique sont des agents séparés avec des contextes séparés, afin que l'évaluateur ne puisse pas hériter de l'attachement du générateur à son propre travail.

Pourquoi cela importe au-delà d'une démo virale

Le modèle durci est général : toute boucle générer-évaluer que vous exécutez (bots de revue de code, pipelines de contenu, QA d'agents) devient plus honnête avec les trois mêmes correctifs. La boucle Gauntlet est la preuve mémorable qu'ils fonctionnent à grande échelle - 55 000 lignes de preuve. Commencez par Qu'est-ce que la boucle Gauntlet, puis écrivez la vôtre.