L'évaluation des LLM, communément appelée « evals », désigne les méthodes et l'infrastructure utilisées pour mesurer la capacité, la qualité, la fiabilité et la sécurité des grands modèles de langage. Alors que les LLM sont appliqués à un éventail de plus en plus large de tâches, l'évaluation est passée d'un exercice académique restreint à une discipline pratique majeure au sein des laboratoires d'IA, car les evals déterminent ce qui est rapporté publiquement, ce qui guide la sélection des modèles par les développeurs, et de plus en plus ce qui alimente la formation elle-même.
Suites de benchmarks statiques
La forme la plus traditionnelle d'évaluation consiste à faire fonctionner un modèle sur un benchmark fixe avec des réponses correctes connues, comme MMLU pour les connaissances, HumanEval ou SWE-bench pour le codage, et ARC-AGI pour le raisonnement abstrait. Ces suites sont peu coûteuses à exécuter de manière répétée et permettent une comparaison numérique directe, mais souffrent de la saturation des benchmarks et de la contamination des données d'entraînement, car les modèles sont formés sur des extractions web de plus en plus vastes qui peuvent chevaucher les ensembles de test.
Arènes de préférence humaine
Parce que de nombreuses qualités précieuses des LLM, telles que l'utilité, la qualité d'écriture ou le ton, résistent à un score de correction simple, des plateformes comme LMArena, anciennement Chatbot Arena, collectent de grands volumes de comparaisons humaines en aveugle, en tête-à-tête, entre les sorties de modèles et calculent un classement de type Elo. Cette approche capture bien la préférence humaine agrégée, mais a été critiquée pour récompenser des traits stylistiques, comme la verbosité ou la complaisance, qui ne suivent pas nécessairement une capacité ou une exactitude plus profonde, et pour être possible à manipuler en ajustant un modèle spécifiquement vers la distribution d'utilisateurs de la plateforme.
LLM comme juge
Une approche plus récente utilise un LLM pour évaluer les sorties d'un autre, en notant les réponses pour leur exactitude, leur utilité ou leur adhésion à une grille d'évaluation, car l'évaluation humaine est lente et coûteuse à grande échelle. Les méthodes LLM-as-judge peuvent approximer raisonnablement le jugement humain sur de nombreuses tâches et permettent à l'évaluation de s'étendre à bien plus d'exemples que ce que des évaluateurs humains pourraient couvrir, mais elles héritent des biais et des angles morts de leur propre modèle, y compris une tendance à favoriser les réponses plus longues ou formulées avec plus d'assurance, et peuvent être exploitées si un modèle évalué apprend à produire des sorties qui trompent le juge plutôt que de s'améliorer réellement.
Évaluations spécifiques au domaine et à la sécurité
Au-delà de la capacité générale, l'évaluation couvre de plus en plus des propriétés plus étroites : les taux de hallucination sur des questions factuelles, la susceptibilité aux jailbreaks et à l'injection de prompt, les biais entre groupes démographiques, et les évaluations de capacités dangereuses pertinentes pour la sécurité de l'IA, comme la capacité d'un modèle à aider de manière significative à des cyberattaques ou à la synthèse d'armes biologiques. Des laboratoires comme Anthropic et OpenAI mènent de telles évaluations dans le cadre de tests pré-déploiement liés à leurs engagements de mise à l'échelle responsable, et des organismes tiers, y compris les instituts gouvernementaux de sécurité de l'IA formés après la Déclaration de Bletchley, réalisent des évaluations indépendantes des versions de pointe.
Défis
L'évaluation fait face à des difficultés persistantes : les benchmarks et les arènes peuvent être manipulés une fois qu'un laboratoire sait ce qui est mesuré, une version de la loi de Goodhart appliquée au développement de modèles ; la contamination sape la validité des scores statiques ; et aucun chiffre unique ne capture les qualités multiples, parfois contradictoires, que les utilisateurs recherchent, comme l'utilité, l'honnêteté et l'innocuité. Cela a poussé le domaine vers des portefeuilles d'évaluation combinant plusieurs méthodes, des « benchmarks vivants » continus qui rafraîchissent leurs questions, et une plus grande importance accordée aux évaluations réelles, basées sur des tâches et agentiques qui reflètent mieux l'utilisation déployée que le question-réponse isolé.
Importance
Parce que les evals façonnent quels modèles sont perçus comme les meilleurs, et alimentent de plus en plus directement la formation via des techniques comme le RLHF et la modélisation des récompenses, la conception de la méthodologie d'évaluation est devenue un moteur significatif, bien que moins visible, du comportement réel des modèles de pointe du domaine.