MATH 2025 est un ensemble de données de référence conçu pour évaluer les capacités de raisonnement mathématique des grands modèles de langage (LLM). Publié en 2025, il se compose de 5 000 problèmes de type compétition couvrant l'algèbre, la géométrie, la théorie des nombres, la combinatoire et le calcul infinitésimal. Contrairement aux références antérieures, MATH 2025 inclut un ensemble de test caché qui n'est pas accessible publiquement, visant à réduire le surapprentissage et à fournir une mesure plus robuste de la généralisation. La référence est maintenue par un consortium de chercheurs académiques et industriels, avec un classement mis à jour trimestriellement pour suivre les progrès en matière de raisonnement IA.
L'ensemble de données a été introduit au début de l'année 2025 comme successeur de la référence MATH originale (2021), qui comptait 12 500 problèmes. MATH 2025 se concentre sur un ensemble plus restreint mais plus difficile, avec des problèmes issus de compétitions récentes de style olympiade et des contributions originales des institutions participantes. Chaque problème est associé à une solution étape par étape, permettant une analyse d'erreurs détaillée. L'ensemble de test caché est contrôlé via une API, empêchant l'accès direct et encourageant une évaluation équitable. Les modèles sont notés sur la précision de correspondance exacte, avec des points partiels pour les étapes intermédiaires correctes.
Composition des problèmes et difficulté
MATH 2025 comprend 1 000 problèmes par domaine thématique : algèbre, géométrie, théorie des nombres, combinatoire et calcul infinitésimal. Les niveaux de difficulté vont de l'olympiade de lycée au niveau undergraduate, avec un problème moyen nécessitant plusieurs étapes de raisonnement. Par exemple, un problème d'algèbre type demande : « Trouvez la somme de toutes les racines réelles de l'équation x^5 - 5x^3 + 4x = 0. » Un problème de géométrie implique de prouver une propriété de quadrilatère cyclique. Les problèmes sont conçus pour être sans ambiguïté, avec des réponses numériques uniques ou de forme courte.
Méthodologie d'évaluation
Les modèles sont évalués via l'API, qui renvoie un score basé sur la correspondance exacte des réponses. Le classement, mis à jour trimestriellement (mars, juin, septembre, décembre), classe les soumissions par précision globale. Au premier trimestre, le modèle le plus performant a atteint 72 % de précision, tandis que les références d'experts humains ont obtenu environ 85 %. La référence rapporte également des répartitions par sujet, révélant que la géométrie reste la catégorie la plus difficile, avec une précision moyenne inférieure de 15 % à celle de l'algèbre. Pour prévenir la contamination des données, l'ensemble de test est renouvelé tous les six mois, avec de nouveaux problèmes ajoutés à partir de compétitions en cours.
Impact sur la recherche en IA
MATH 2025 est devenu une référence standard pour évaluer le raisonnement dans les grands modèles de langage. Il a mis en évidence les limites des approches actuelles, en particulier dans la déduction multi-étapes et la manipulation symbolique. Plusieurs modèles OpenAI et Google DeepMind ont utilisé la référence pour guider l'entraînement, intégrant des techniques comme l'apprentissage curriculaire et RLHF pour améliorer les performances. La référence a également stimulé la recherche sur le prompting chaîne de pensée, qui améliore considérablement la précision sur les problèmes complexes.
Références connexes et orientations futures
La référence originale MATH 2021 reste largement utilisée, mais MATH 2025 offre un test plus rigoureux. D'autres évaluations connexes incluent GSM8K pour les mathématiques de niveau scolaire et Hendrycks Math pour les problèmes de compétition. Les versions futures de MATH 2025 prévoient d'inclure des problèmes plus ouverts et une vérification automatisée des preuves. Le consortium derrière la référence, qui comprend des chercheurs de MIT CSAIL et Stanford AI Lab, vise à étendre l'ensemble de données à 10 000 problèmes d'ici 2026, avec un accent accru sur le raisonnement interdisciplinaire.
Controverses et limites
Certains chercheurs ont critiqué l'ensemble de test caché pour son opacité, rendant difficile le diagnostic des erreurs des modèles. D'autres notent que la référence peut encore être susceptible de fuite de données par exposition indirecte. L'accès contrôlé par API soulève également des préoccupations concernant la reproductibilité, car tous les chercheurs ne peuvent pas se permettre des évaluations répétées. Malgré ces problèmes, MATH 2025 est largement considéré comme une avancée significative dans l'évaluation de l'IA, fournissant un test stimulant et dynamique de l'intelligence mathématique.