Un benchmark en IA est un ensemble de données, une tâche ou une suite de tâches standardisé utilisé pour mesurer et comparer les performances des systèmes d'IA, fournissant un étalon commun qui permet aux chercheurs et au public de comparer les modèles entre laboratoires et au fil du temps. Les benchmarks ont joué un rôle central dans les progrès de l'IA depuis au moins la compétition ImageNet, qui a contribué à catalyser l'ère de l'apprentissage profond, et restent aujourd'hui l'outil principal utilisé dans l'évaluation des LLM.
Types de benchmarks
Les benchmarks varient considérablement selon ce qu'ils mesurent. Les benchmarks de connaissances et de raisonnement, tels que MMLU, testent une large capacité factuelle et de raisonnement à travers des sujets académiques. Les benchmarks de codage, comme HumanEval et SWE-bench, mesurent la capacité d'un modèle à écrire ou corriger du code. Les benchmarks de raisonnement abstrait, tels que ARC-AGI, visent à résister à la mémorisation en testant la résolution de nouveaux puzzles plutôt que le rappel. Les benchmarks multimodaux testent la compréhension d'images ou de vidéos, et les benchmarks de sécurité sondent les sorties nuisibles, la susceptibilité au jailbreak ou les biais. Au-delà des ensembles de données statiques, des plateformes de préférences humaines comme LMArena classent les modèles via des comparaisons par paires issues du crowdsourcing plutôt que par des ensembles de tests fixes.
Saturation
Un schéma récurrent est la saturation des benchmarks : à mesure que les modèles s'améliorent, la performance sur un benchmark donné grimpe vers le plafond, dépassant souvent la performance humaine bien calibrée, point auquel le benchmark cesse de différencier utilement les modèles. MMLU, introduit en 2020, a vu les principaux modèles dépasser 90 % de précision en quelques années, incitant à la création de successeurs plus difficiles. Ce cycle - un benchmark introduit, largement adopté, saturé, puis remplacé - s'est répété dans presque tous les grands domaines de capacité, et c'est l'une des raisons pour lesquelles les suites de benchmarks sont fréquemment actualisées ou complétées par des variantes plus difficiles.
Contamination
Un problème connexe et sérieux est la contamination des données : parce que les grands modèles de langage sont entraînés sur d'immenses extractions de l'internet, y compris Common Crawl, les questions et réponses des benchmarks peuvent fuir dans les données d'entraînement, soit directement, soit par le biais de discussions en ligne sur le benchmark, gonflant la performance mesurée d'un modèle sans refléter une capacité réelle. Détecter la contamination est difficile, et certains benchmarks, y compris ARC-AGI, ont été spécifiquement conçus avec une génération de problèmes novatrice pour y résister. Les préoccupations concernant la contamination ont rendu certains acteurs du domaine sceptiques quant aux scores de benchmarks auto-déclarés par les laboratoires sans vérification indépendante.
Autres critiques
Les benchmarks peuvent également être contournés ou optimisés directement, une forme de détournement de récompense dans le processus de développement plus large, où un laboratoire ajuste un modèle pour bien performer sur des benchmarks populaires sans gains proportionnels en utilité réelle. Les benchmarks statiques peuvent aussi échouer à capturer les capacités agentiques, multi-étapes ou à long horizon pertinentes pour une utilisation réelle, motivant un déplacement vers des évaluations plus dynamiques et basées sur des tâches, y compris l'utilisation par SWE-bench de vrais problèmes GitHub, et vers des modèles de raisonnement gourmands en calcul au moment du test évalués sur des ensembles de problèmes plus difficiles et non divulgués.
Rôle dans le domaine
Malgré leurs limites, les benchmarks restent centraux dans la manière dont les progrès de l'IA sont rapportés, commercialisés et débattus, apparaissant dans presque chaque annonce de sortie de modèle et dans les discussions politiques sur les seuils de capacité. Leurs limites ont suscité un intérêt croissant pour des méthodes d'évaluation complémentaires, y compris les plateformes de préférences humaines, les approches LLM-comme-juge, et des évaluations plus étroites et organisées par des experts, moins susceptibles à la contamination et à la saturation.