BIG-bench, abréviation de Beyond the Imitation Game benchmark, est un benchmark collaboratif conçu pour évaluer les capacités et les limites des grands modèles de langage sur un large éventail de tâches. Introduit en 2021, il a été créé par une équipe internationale de plus de 450 chercheurs issus de plus de 130 institutions afin de répondre au besoin de tests plus complets et plus exigeants des performances des modèles, au-delà des simples métriques de mise à l'échelle. Le benchmark a notamment été hébergé par Google Research et a impliqué des contributions d'organisations telles que OpenAI, Anthropic, Google DeepMind et Stanford AI Lab, parmi de nombreuses autres.
Le nom du projet fait référence au concept de « jeu d'imitation » popularisé par Alan Perlis, mais se rapporte plus directement à la proposition originale d'Alan Turing sur l'intelligence machine. Le postulat du benchmark est que de nombreuses méthodes d'évaluation existantes à l'époque ne mesuraient que des tâches étroites telles que la classification de texte ou la réponse à des questions, sans sonder des capacités cognitives plus profondes comme le raisonnement, la résolution de problèmes mathématiques et la compréhension du sens commun. BIG-bench a été conçu pour fournir un terrain d'essai complet et standardisé capable de suivre les progrès dans de nombreux domaines de connaissance et de raisonnement.
Diversité des tâches et conception
BIG-bench comprend plus de 200 tâches individuelles, chacune créée par différents groupes de recherche. Les tâches vont de l'arithmétique simple et du tri de listes à des problèmes plus complexes tels que le raisonnement causal, la compréhension de code et l'inférence en langage naturel. Notamment, le benchmark inclut des tâches qui repoussent les limites des modèles, y compris celles nécessitant un raisonnement en plusieurs étapes, des connaissances de domaines spécialisés et le respect de contraintes logiques. Chaque tâche adhère à un format JSON standard, ce qui facilite la soumission et le traitement pour le scoring.
Le benchmark est organisé en deux sous-ensembles principaux : BIG-bench (la suite complète) et BIG-bench Lite, ce dernier étant un ensemble plus petit et moins coûteux en calcul de 24 tâches pour une évaluation rapide. Cette conception permet à la fois une analyse complète et une adoption pratique par la communauté de recherche. Les tâches imposent un cadre few-shot, où les modèles génèrent des prédictions à partir d'exemples commandés sans ajustement supplémentaire, garantissant une comparabilité cohérente entre différentes architectures.
Résultats clés et analyse
Lors de la publication initiale des résultats du benchmark, les organisateurs ont observé que la performance globale des modèles ne corrélait souvent pas avec la taille du modèle sur toutes les tâches, et que certaines tâches présentaient ce qu'ils appelaient des « capacités émergentes » - des gains de performance soudains et significatifs lorsque la taille du modèle dépassait une certaine échelle. Cette observation a été controversée, avec des discussions ultérieures de Joshua Tenenbaum et d'autres, par exemple, sur la nature des phénomènes émergents. L'étude a également souligné que certaines tâches, comme celles nécessitant la compréhension du langage naturel, montraient une mise à l'échelle régulière avec la taille du modèle, tandis que d'autres, comme certaines tâches de raisonnement logique ou spatial, posaient des défis même aux plus grands modèles testés, y compris ceux de la série GPT-3 de OpenAI.
L'article du benchmark, révisé plus tard dans une deuxième itération, incluait des références de performance humaine, montrant que les modèles étaient souvent en retard sur les tâches nécessitant des connaissances du monde ou du sens commun et surpassaient parfois les humains sur des requêtes factuelles obscures ou des tâches de raisonnement syntaxiquement riches. Notamment, BIG-bench permettait de mesurer la précision dans un régime de faible quantité de données ou few-shot, ce qui en faisait un outil précieux pour l'évaluation des risques et la sélection de modèles.
Impact et adoption
L'impact de BIG-bench dans la communauté du apprentissage automatique a été significatif. Il a inspiré la création de suites d'évaluation similaires, telles que le cadre HELM de Stanford et le BIG-bench Hard ou `BBH` à plus grande échelle, utilisé au sein de la communauté pour des sondages approfondis. Sa publication a encouragé les tests éthiques et de robustesse, et non seulement les performances spécifiques aux tâches. En 2022, les tâches de style T5 de Google et les modèles privés de OpenAI visaient souvent l'extrapolation de précision en utilisant la suite, et les soumissions au benchmark ont été archivées pour une étude longitudinale.
OpenAI, Google DeepMind et Anthropic ont chacun utilisé BIG-bench dans un ou plusieurs de leurs rapports d'évaluation de modèles publiés. En réponse, les créateurs du benchmark ont également souligné que ce rassemblement de tâches hétérogènes peut révéler des relations de loi de puissance : les taux d'erreur tendent à suivre un déclin linéaire avec la croissance du calcul et des paramètres observés, mais sans exceptions cohérentes.
Limites et critiques
Des critiques, y compris des chercheurs comme Melanie Mitchell et Brendan Lake, ont soutenu que les tâches de BIG-bench pourraient trop dépendre de schémas mémorisés ou de trivia, manquant de l'expérience ancrée que les humains acquièrent dans l'enfance. Une simple paraphrase en langage naturel dans les tests peut encore être trompée, et des occurrences incertaines d'incohérence logique subsistent. Le benchmark a également été critiqué pour son faible nombre moyen d'exemples de test par tâche (souvent moins de 1000), ce qui limite la puissance statistique.
Une autre limitation découle des tâches centrées sur l'anglais, avec peu de couverture multilingue malgré le travail de contributeurs multinationals. Bien que BIG-bench Lite réduise le calcul, les tâches restent à longue traîne. En 2023, un projet de suivi appelé ``BIG-bench Hard'' (ou BBH) a été introduit, ajoutant des tâches pour tester les limites de modèles plus récents comme GPT-4 et Claude localement, bien que hors de la soumission originale.
Héritage
BIG-bench a été parmi les premiers à créer une plateforme permettant au monde entier de soumettre ses propres problèmes de tâches pour évaluation. Son cadre de notation humaine et de méta-analyse a façonné la manière dont les benchmarks généralistes ultérieurs, comme MMLU ou SuperGLUE, sont construits, et il complète la clarification des articles pour les politiques de diffusion des modèles fondamentaux. Sur le plan éthique, il a également appelé à une conception prudente des risques dans les évaluations de modèles. Actuellement, en tant que point de référence pour l'évolution de l'intelligence artificielle, BIG-bench continue d'être une référence pour montrer comment les benchmarks peuvent représenter de nombreux esprits.
En résumé, BIG-bench a établi des approches fondamentales dans l'évaluation de l'IA, poussant les développeurs vers des tests plus larges et plus rigoureux des grands modèles au-delà de l'imitation de texte. Son utilisation d'un engagement largement bénévole de chercheurs et probablement son grand nombre de séparateurs en font un catalyseur pour des progrès plus transparents.
(Note : L'article de base original intitulé « Beyond the Imitation Game : Measuring and extrapolating capabilities in large models », a été publié en 2022 après des années de préparation.)