Quatre règles de fer pour construire de véritables évaluations

1. Ne construisez pas votre banque de questions à partir des faiblesses du modèle actuel : les capacités des modèles sont inégales. Si vous sélectionnez spécifiquement des questions sur lesquelles le modèle se trompe aujourd'hui, vous mesurez les défauts caractéristiques de cette version particulière, et non la difficulté de la tâche. Quand la prochaine génération de modèle sortira, votre banque deviendra inutile. 2. Même le modèle le plus fort avec une réflexion maximale doit obtenir un score bien inférieur à 100 : si votre ensemble de tests permet au modèle le plus fort d'obtenir facilement un score parfait, les questions sont trop faciles et vous ne pouvez pas déterminer si les modifications ultérieures ont amélioré ou dégradé les choses. 3. Privilégiez les programmes comme juges, puis les LLM : tout ce qui peut être vérifié avec du code (tests unitaires, validation JSON Schema) ne doit pas utiliser un juge LLM. Lorsqu'un juge LLM est nécessaire, n'utilisez pas de scores vagues de 1 à 5 ; rédigez des listes de contrôle vérifiables par les faits ou effectuez une comparaison A/B en aveugle. 4. Il faut distinguer une amélioration réelle du bruit aléatoire : si les scores varient à chaque exécution, les questions sont ambiguës ou l'environnement a laissé des fichiers résiduels permettant à l'IA de tricher.