GSM8K 2021 est un ensemble de données de référence composé de 8 500 problèmes mathématiques de niveau primaire, de haute qualité et linguistiquement diversifiés. Il a été introduit par des chercheurs d'OpenAI en 2021 pour évaluer les capacités de raisonnement arithmétique des grands modèles de langage. L'ensemble de données est divisé en 7 500 problèmes d'entraînement et 1 000 problèmes de test, chacun étant associé à une solution en langage naturel qui décompose le problème en plusieurs étapes. Le nom signifie « Grade School Math 8K », reflétant le public cible et le nombre approximatif de problèmes.
L'objectif principal de GSM8K 2021 est de tester si les modèles peuvent effectuer un raisonnement mathématique en plusieurs étapes, et non pas seulement une correspondance de motifs. Contrairement aux références plus simples qui reposent sur l'arithmétique en une seule étape, GSM8K exige que les modèles comprennent l'énoncé du problème, identifient les quantités pertinentes et exécutent une séquence d'opérations. Les problèmes sont conçus pour être résolus par un élève brillant de collège, mais ils incluent souvent des éléments de distraction et nécessitent une déduction logique minutieuse. Cela fait de cet ensemble de données une norme difficile et largement utilisée pour mesurer les progrès en apprentissage automatique et en intelligence artificielle.
Construction et caractéristiques de l'ensemble de données
L'ensemble de données GSM8K 2021 a été créé par une équipe d'OpenAI, comprenant des contributeurs tels que Jakob Uszkoreit, Lukasz Kaiser et Niki Parmar, entre autres. Les problèmes ont été rédigés par des contractuels humains chargés de produire des problèmes de mots diversifiés et naturels avec des solutions claires étape par étape. Chaque solution est une séquence de phrases en langage naturel, avec des calculs intermédiaires explicitement présentés. L'ensemble de données a été conçu pour minimiser les biais, tels qu'une dépendance excessive à des nombres ou des mots-clés spécifiques, en variant les formes linguistiques de surface.
Une caractéristique notable de GSM8K est son haut niveau d'accord entre annotateurs : les créateurs ont rapporté que les solveurs humains atteignaient une précision quasi parfaite sur l'ensemble de test, établissant une référence solide pour les performances attendues. Les problèmes couvrent une gamme d'opérations arithmétiques, y compris l'addition, la soustraction, la multiplication, la division, les fractions, les pourcentages et l'algèbre simple. La longueur moyenne d'un problème est d'environ 30 mots, et la longueur moyenne d'une solution est d'environ 8 étapes, ce qui en fait une tâche de raisonnement compacte mais exigeante.
Évaluation et impact sur les modèles de langage
GSM8K 2021 est rapidement devenu une référence standard pour évaluer les réseaux de neurones et les modèles basés sur les transformeurs. Les premiers résultats ont montré que les modèles d'apprentissage profond standard avaient des difficultés, beaucoup atteignant une précision inférieure à 20 % sur l'ensemble de test. Cela a mis en évidence l'écart entre la compréhension du langage et le raisonnement mathématique. L'ensemble de données a stimulé la recherche sur des techniques telles que le apprentissage par curriculum, le renforcement par retour d'IA et le prompting par chaîne de pensée, où les modèles sont entraînés ou incités à générer des étapes de raisonnement intermédiaires avant de donner une réponse finale.
Dès 2022, des modèles plus grands et des méthodes d'entraînement améliorées ont commencé à atteindre des scores nettement plus élevés. Par exemple, des modèles affinés avec des approches basées sur des vérificateurs ou entraînés avec une supervision explicite étape par étape ont atteint des niveaux de précision supérieurs à 80 %. La référence a été utilisée par de nombreuses organisations, notamment Google DeepMind, Anthropic et des laboratoires académiques, pour comparer les capacités des modèles. Elle reste un point de référence pour mesurer le raisonnement arithmétique, bien que des références plus récentes et plus complexes aient depuis été introduites.
Limites et critiques
Malgré sa popularité, GSM8K 2021 présente des limites. Les problèmes sont relativement simples par rapport aux tâches mathématiques du monde réel, et l'ensemble de données est petit, ce qui peut entraîner un surapprentissage si les modèles sont entraînés directement dessus. Les critiques ont noté que les modèles peuvent parfois obtenir des scores élevés en mémorisant des motifs ou en utilisant des heuristiques plutôt qu'un raisonnement authentique. De plus, l'ensemble de données est uniquement en anglais, ce qui limite son applicabilité à l'évaluation multilingue. Les chercheurs ont également souligné que les solutions ne sont pas toujours les plus efficaces et que la référence ne teste pas la compréhension conceptuelle au-delà de l'arithmétique.
Pour remédier à certains de ces problèmes, des ensembles de données de suivi ont été créés, tels que des variantes de GSM8K avec des problèmes plus complexes ou dans différentes langues. Cependant, GSM8K 2021 reste un outil fondamental dans le domaine, souvent utilisé comme un test de cohérence pour les nouvelles architectures de modèles et les techniques d'entraînement. Sa simplicité et ses critères d'évaluation clairs en font un point de départ accessible pour les chercheurs.
Héritage et utilisation continue
En 2025, GSM8K 2021 est encore largement cité dans les articles de recherche sur les grands modèles de langage. Il est inclus dans de nombreuses suites d'évaluation, telles que celles utilisées par OpenAI et d'autres laboratoires d'IA, pour suivre les progrès au fil du temps. L'ensemble de données a également été utilisé pour étudier des phénomènes comme le élagage de modèles et la augmentation de données, où les chercheurs examinent comment les changements dans les données d'entraînement ou la structure du modèle affectent les performances de raisonnement. Son influence s'étend au-delà du monde académique, car il a été utilisé pour évaluer des modèles commerciaux et pour informer les discussions publiques sur les capacités de l'IA.
La création de GSM8K 2021 a marqué un tournant vers des références plus rigoureuses et spécifiques aux tâches dans la recherche en IA. Il a démontré l'importance de données de haute qualité annotées par des humains pour évaluer des compétences cognitives complexes. Bien que les références plus récentes puissent être plus difficiles, GSM8K 2021 occupe une place historique en tant que l'un des premiers tests largement adoptés pour le raisonnement arithmétique dans les modèles neuronaux.