MATH est un ensemble de données de référence conçu pour évaluer les capacités de raisonnement mathématique des systèmes d'intelligence artificielle, en particulier les grands modèles de langage. Introduit en 2021 par des chercheurs d'OpenAI, il comprend 12 500 problèmes mathématiques de niveau compétition, issus de sources telles que l'AMC 10, l'AMC 12, l'AIME et d'autres concours de type olympiade. Chaque problème est accompagné d'une solution détaillée étape par étape et est classé dans l'une des sept catégories suivantes : algèbre, probabilités et dénombrement, géométrie, algèbre intermédiaire, théorie des nombres, préalgèbre et précalcul. Ce jeu de données est largement utilisé pour évaluer les capacités de raisonnement des modèles d'IA, au-delà de la simple reconnaissance de motifs ou de la mémorisation.
Le jeu de données a été créé pour combler une lacune dans les méthodes d'évaluation existantes, qui se concentraient souvent sur des tâches comme la compréhension ou la génération de langage, sans exiger de déduction logique en plusieurs étapes. MATH a été conçu pour être difficile, même pour des experts humains, avec des problèmes exigeant une résolution minutieuse et une perspicacité mathématique. Il est devenu une référence standard dans le domaine, de nombreux développeurs de modèles rapportant leurs performances sur MATH comme indicateur clé de la solidité de leur raisonnement.
Format et difficulté des problèmes
Chaque problème de MATH est présenté sous forme de texte libre, sans choix multiples, obligeant le modèle à générer une réponse finale. Les réponses sont évaluées automatiquement en comparant la sortie du modèle à la réponse fournie, qui est souvent une valeur numérique ou une expression simplifiée. La difficulté varie, allant d'exercices relativement simples à des problèmes de concours très complexes. Le jeu de données inclut un niveau de difficulté pour chaque problème, permettant aux chercheurs d'analyser les performances à différents niveaux de défi.
Les solutions fournies dans le jeu de données sont détaillées et incluent souvent plusieurs approches, ce qui a été utilisé pour entraîner des modèles au raisonnement en chaîne. Cela a fait de MATH une ressource précieuse pour la recherche en IA générative et en apprentissage automatique, visant à améliorer la déduction logique et la résolution de problèmes étape par étape.
Impact sur le développement des modèles
MATH a eu un impact significatif sur le développement des systèmes d'IA. À sa sortie, les modèles les plus avancés ne parvenaient à résoudre qu'un faible pourcentage de problèmes, soulignant la difficulté des tâches. Les progrès ultérieurs en matière d'architecture de modèles, de données d'entraînement et de techniques de raisonnement ont conduit à des améliorations substantielles. Par exemple, les modèles qui intègrent des étapes de raisonnement explicites ou qui utilisent des outils externes ont obtenu des scores nettement plus élevés sur MATH. Ce jeu de données a stimulé la recherche dans des domaines tels que le deep learning et les réseaux de neurones, en particulier pour les architectures basées sur les transformeurs.
Les performances sur MATH sont souvent rapportées aux côtés d'autres références comme GSM8K, qui se concentre sur des problèmes de mathématiques de niveau scolaire. Ensemble, ces références offrent une vue complète des capacités mathématiques d'un modèle. En 2024, les principaux modèles d'organisations telles que Google DeepMind et Anthropic ont atteint des scores supérieurs à 80 % sur MATH, une amélioration spectaculaire par rapport aux résultats initiaux.
Limites et critiques
Malgré son utilisation répandue, MATH a fait l'objet de critiques. Certains chercheurs soutiennent que le jeu de données peut être contourné par des modèles qui mémorisent des problèmes similaires ou exploitent des particularités de formatage. Le système d'évaluation automatique, qui repose sur une correspondance exacte des chaînes de caractères, peut pénaliser des réponses correctes formulées différemment. De plus, le jeu de données est statique, ce qui signifie qu'à mesure que les modèles s'améliorent, il peut devenir moins discriminant au fil du temps. Des appels ont été lancés en faveur de références dynamiques capables de s'adapter aux capacités des modèles.
Une autre limite est que MATH teste principalement la résolution de problèmes procéduraux et algorithmiques, plutôt que la compréhension conceptuelle ou la créativité. Les critiques notent que des scores élevés sur MATH ne signifient pas nécessairement qu'un modèle possède une intuition mathématique authentique. Cela a conduit au développement de méthodes d'évaluation alternatives qui sondent des capacités de raisonnement plus profondes.
Références connexes et extensions
MATH a inspiré plusieurs extensions et jeux de données connexes. Le jeu de données MATH-SHEPHERD, par exemple, ajoute des étiquettes de supervision de processus pour aider à entraîner des modèles à vérifier chaque étape d'une solution. D'autres références, comme le jeu de données AMPS et GSM8K, complètent MATH en couvrant différents niveaux de difficulté et types de problèmes. Des versions multilingues de MATH ont également été créées pour évaluer les modèles dans différentes langues. Ces ressources forment collectivement un écosystème riche pour évaluer et améliorer le raisonnement mathématique en IA.
L'influence de MATH s'étend au-delà du monde universitaire, car il est fréquemment utilisé par l'industrie pour comparer les modèles. Il est devenu un composant standard des suites d'évaluation de modèles, aux côtés de tâches de compréhension du langage, de génération et de connaissances générales. Alors que l'IA continue d'évoluer, MATH reste un outil essentiel pour mesurer les progrès dans l'un des aspects les plus fondamentaux de l'intelligence : la capacité à résoudre des problèmes complexes par déduction logique.