BIG-Bench Hard (BBH) est un benchmark permettant d'évaluer les grands modèles de langage sur des tâches de raisonnement complexes. Il a été introduit en 2022 par des chercheurs de Google DeepMind, OpenAI et d'autres institutions comme sous-ensemble du benchmark plus large BIG-bench. BBH se concentre sur 23 tâches où les performances humaines dépassent significativement celles des meilleurs modèles de l'époque, offrant une évaluation plus ciblée des capacités des modèles au-delà de la simple reconnaissance de formes.
Le benchmark a été créé pour répondre au besoin d'ensembles d'évaluation plus difficiles dans la recherche en intelligence artificielle. Bien que BIG-bench comprenne plus de 200 tâches, beaucoup étaient trop faciles pour les modèles de pointe, entraînant une saturation. BBH sélectionne des tâches qui exigent un raisonnement en plusieurs étapes, une compréhension du sens commun et des connaissances spécifiques à un domaine, ce qui en fait un outil précieux pour mesurer les progrès en apprentissage automatique.
Sélection et composition des tâches
Les 23 tâches de BBH ont été choisies parmi la suite originale BIG-bench sur la base d'un critère spécifique : les tâches où la performance humaine moyenne dépassait la meilleure performance des modèles par une marge significative. Ces tâches couvrent des domaines divers, notamment les puzzles logiques, le raisonnement mathématique, le jugement causal et la compréhension du langage. Des exemples incluent les expressions booléennes, le jugement causal, la compréhension des dates, la désambiguïsation et les formes géométriques.
Chaque tâche est formatée comme une question à choix multiples ou à réponse libre, avec un modèle de prompt standard pour garantir la cohérence entre les modèles. Les tâches sont conçues pour être résolubles par les humains sans formation spécialisée, mais elles exigent un raisonnement minutieux et impliquent souvent plusieurs étapes. Cela rend BBH particulièrement utile pour évaluer les capacités de raisonnement des modèles basés sur transformeurs.
Méthodologie d'évaluation
BBH est généralement utilisé pour évaluer les modèles en leur fournissant les instructions de la tâche et quelques exemples (apprentissage en quelques exemples). L'évaluation standard utilise une technique de prompt en chaîne de pensée, où le modèle est encouragé à produire des étapes de raisonnement intermédiaires avant de donner la réponse finale. Cette approche a montré qu'elle améliore significativement les performances sur les tâches BBH, en particulier pour les modèles plus grands.
Les résultats sont rapportés en pourcentages de précision, avec les performances humaines servant de référence. Dans l'article original, le meilleur modèle (PaLM 540B) a atteint une précision de 65,2 % avec un prompt en chaîne de pensée, contre 71,2 % pour les évaluateurs humains. Cet écart a mis en évidence les limites des modèles contemporains et a motivé des recherches supplémentaires sur les capacités de raisonnement.
Impact et utilisation
BBH est devenu un benchmark standard dans la communauté de l'IA générative, utilisé par les groupes de recherche académiques et industriels. Il est souvent inclus dans les suites d'évaluation de modèles aux côtés d'autres benchmarks comme MMLU et HellaSwag. De nombreuses architectures de réseaux de neurones, y compris les modèles de apprentissage profond, sont testées contre BBH pour évaluer leurs capacités de raisonnement.
Le benchmark a également influencé le développement de nouvelles techniques, telles que apprentissage par renforcement à partir de retours d'IA et apprentissage par curriculum, qui visent à améliorer les performances sur des tâches de raisonnement complexes. BBH est fréquemment cité dans les articles de recherche et est disponible dans le dépôt BIG-bench, permettant un accès facile pour la communauté de recherche.
Limites et critiques
Malgré son utilisation répandue, BBH a fait face à certaines critiques. Les tâches sont statiques, ce qui signifie qu'elles peuvent devenir saturées à mesure que les modèles s'améliorent, réduisant leur pouvoir discriminatoire au fil du temps. De plus, le benchmark teste principalement le raisonnement en anglais, ce qui peut ne pas se généraliser à d'autres langues ou contextes culturels. Certains chercheurs soutiennent que les tâches BBH ne sont pas représentatives des problèmes du monde réel, car elles sont souvent abstraites et manquent d'application pratique.
Une autre limitation est que BBH ne prend pas en compte la calibration ou l'incertitude des modèles, se concentrant uniquement sur la précision. Cela peut être trompeur, car un modèle peut deviner correctement sans compréhension réelle. Néanmoins, BBH reste un outil précieux pour suivre les progrès en raisonnement en IA, et ses tâches ont été intégrées dans des benchmarks plus complets comme BIG-bench Lite.
Directions futures
Alors que les grands modèles de langage continuent d'évoluer, des benchmarks comme BBH sont adaptés pour rester pertinents. Les chercheurs explorent des benchmarks dynamiques qui mettent à jour les tâches au fil du temps, ainsi que des variantes multilingues et multimodales. BBH a également inspiré la création de benchmarks spécialisés pour des domaines spécifiques, tels que le raisonnement médical et juridique, qui s'appuient sur sa méthodologie.
Le développement continu de BBH et de benchmarks similaires est crucial pour garantir que les systèmes d'IA sont rigoureusement évalués et que les progrès sont mesurés avec précision. En se concentrant sur des tâches difficiles, BBH aide à repousser les limites de ce que les modèles peuvent accomplir, stimulant l'innovation dans la recherche en intelligence artificielle.