BBH 2025 est la dernière version de BIG-Bench Hard (BBH), une suite de benchmarks conçue pour évaluer les capacités de raisonnement des grands modèles de langage (LLM) sur des tâches difficiles pour les modèles mais relativement faciles pour les humains. Initialement introduit en 2022 comme sous-ensemble de l'effort plus large BIG-Bench, BBH se compose de 23 tâches sélectionnées car les modèles de langage standard obtenaient des performances inférieures ou égales à celles des évaluateurs humains moyens. L'édition 2025 affine le benchmark original avec des instructions mises à jour, des formats de réponse et des procédures d'évaluation afin de mieux refléter l'état actuel des grands modèles de langage et de réduire les biais potentiels dans la notation.
Le benchmark se concentre sur des tâches nécessitant un raisonnement en plusieurs étapes, une compréhension du sens commun et une manipulation symbolique, plutôt qu'un simple rappel factuel. Parmi les exemples figurent des tâches comme « navigate » (suivre des instructions spatiales), « word sorting » (trier des mots selon un critère donné) et « causal judgment » (identifier des relations de cause à effet). BBH 2025 conserve le même ensemble de tâches centrales que l'original mais introduit des consignes plus claires et des méthodes de notation plus robustes, ce qui en fait un outil plus fiable pour comparer les performances des modèles à travers différentes architectures et régimes d'entraînement.
Objectif et Conception
BBH 2025 est conçu pour sonder les limites des systèmes d'IA actuels, en particulier les transformeurs et autres architectures de réseaux neuronaux utilisées dans les LLM modernes. Les tâches sont délibérément choisies pour dépasser la portée de la simple reconnaissance de motifs, exigeant des modèles qu'ils effectuent des déductions logiques, des opérations arithmétiques et une compréhension du langage dans des contextes nouveaux. La difficulté du benchmark garantit que même les modèles de pointe présentent des écarts mesurables, fournissant un signal utile pour les chercheurs développant de nouvelles techniques d'entraînement ou architectures de modèles.
Le projet original BIG-Bench, qui comprenait des centaines de tâches, était un effort collaboratif impliquant des chercheurs de plusieurs institutions. BBH a été créé en sélectionnant des tâches où les performances humaines dépassaient celles des meilleurs modèles de l'époque, garantissant que le benchmark resterait difficile pendant plusieurs années. La mise à jour 2025 reflète les retours de la communauté de recherche et intègre les leçons tirées de l'évaluation de modèles comme GPT-4 et Claude, qui se sont considérablement améliorés depuis 2022.
Méthodologie d'Évaluation
BBH 2025 utilise un protocole d'évaluation standardisé. Chaque tâche comprend un ensemble de questions à choix multiples ou à réponse libre, et les modèles sont notés sur la base d'une correspondance exacte ou d'un crédit partiel pour les étapes de raisonnement. La version 2025 introduit des instructions plus détaillées pour chaque tâche, réduisant l'ambiguïté qui pourrait conduire à des échecs injustifiés. De plus, la notation tient désormais compte de la confiance du modèle et fournit des ventilations par tâche, permettant aux chercheurs d'identifier les forces et faiblesses spécifiques.
Pour garantir l'équité, le benchmark est conçu pour être indépendant du modèle, ce qui signifie qu'il ne favorise aucune architecture ou approche d'entraînement particulière. Il a été utilisé pour évaluer des modèles de grands développeurs, notamment OpenAI, Anthropic et Google DeepMind, ainsi que des modèles open source. Les résultats de BBH 2025 sont souvent rapportés aux côtés d'autres benchmarks comme MMLU et GSM8K pour fournir une vue complète des capacités des modèles.
Relation avec d'Autres Benchmarks
BBH 2025 complète d'autres suites d'évaluation dans le domaine de l'intelligence artificielle. Alors que des benchmarks comme MMLU se concentrent sur une connaissance large dans de nombreux sujets, BBH met l'accent sur le raisonnement et la résolution de problèmes sous contraintes. Il est particulièrement utile pour évaluer les « capacités émergentes » des grands modèles, où les performances sur des tâches complexes s'améliorent de manière disproportionnée avec l'échelle. Le benchmark sert également de test de résistance pour des techniques comme le raisonnement en chaîne de pensée et le apprentissage par renforcement à partir de retours d'IA, conçues pour améliorer le raisonnement.
Par rapport aux versions antérieures, BBH 2025 inclut des clés de réponse mises à jour et clarifie les cas limites, réduisant le risque que les modèles exploitent l'évaluation. Il fournit également un classement public où les développeurs peuvent soumettre leurs résultats, favorisant la transparence et la concurrence. Cela en fait un point de référence standard pour la recherche académique et le développement industriel, similaire à ce qu'ImageNet a représenté pour la vision par ordinateur.
Limites et Critiques
Malgré son utilité, BBH 2025 présente des limites. Certains critiques soutiennent que les tâches, bien que difficiles, ne capturent pas pleinement le raisonnement dans le monde réel, qui implique souvent des questions ouvertes et des informations incomplètes. Le format à choix multiples du benchmark peut également être exploité par des modèles qui utilisent des régularités statistiques dans les options de réponse. De plus, à mesure que les modèles s'améliorent, le benchmark pourrait devenir saturé, nécessitant des mises à jour périodiques ou la création de nouvelles tâches.
Une autre préoccupation est que BBH 2025, comme de nombreux benchmarks, pourrait refléter involontairement des biais dans sa construction, tels que des hypothèses culturelles dans les tâches linguistiques. Les chercheurs ont appelé à des ensembles de tâches plus diversifiés et à l'inclusion de références de performances humaines pour contextualiser les scores des modèles. La mise à jour 2025 tente de répondre à certains de ces problèmes en fournissant des descriptions de tâches plus détaillées et en encourageant l'évaluation humaine, mais ces efforts sont en cours.
Orientations Futures
Le développement de BBH 2025 s'inscrit dans une tendance plus large vers une évaluation plus rigoureuse et dynamique en IA. Les versions futures pourraient intégrer des tests adaptatifs, où les tâches sont générées en fonction des performances du modèle, ou inclure des tâches nécessitant une interaction avec des outils externes. Les mainteneurs du benchmark ont également exprimé leur intérêt à étendre la couverture aux tâches multimodales, impliquant à la fois du texte et des images, reflétant les capacités croissantes des systèmes de IA générative.
À mesure que l'apprentissage automatique continue de progresser, des benchmarks comme BBH 2025 devront évoluer pour rester pertinents. L'édition 2025 représente un pas en avant pour garantir que les évaluations soient à la fois difficiles et équitables, fournissant une base pour mesurer les progrès vers une intelligence artificielle plus générale. Les chercheurs et développeurs sont encouragés à utiliser BBH 2025 comme outil standard, tout en contribuant à son amélioration grâce aux retours de la communauté et à la création de nouvelles tâches.