Math23K est un ensemble de données de référence largement utilisé dans le domaine de l'apprentissage automatique et de l'intelligence artificielle, spécifiquement conçu pour la tâche de résolution de problèmes mathématiques en mots. L'ensemble de données se compose de 23 162 problèmes mathématiques chinois de niveau élémentaire, chacun étant associé à son équation ou à sa réponse correspondante. Il a été introduit pour remédier à la rareté des ensembles de données à grande échelle non anglophones pour le raisonnement mathématique, qui était auparavant dominé par les ressources anglophones. Les chercheurs utilisent Math23K pour développer et tester des modèles capables d'analyser le langage naturel, d'extraire les relations numériques et de générer des expressions mathématiques correctes.
L'ensemble de données a été créé par une équipe de l'Académie chinoise des sciences et a été présenté pour la première fois dans un article de 2017 intitulé « A Goal-Driven Tree-Structured Neural Model for Math Word Problems ». Les problèmes couvrent une gamme d'opérations arithmétiques, notamment l'addition, la soustraction, la multiplication et la division, impliquant souvent des scénarios du monde réel tels que les achats, les voyages et les calculs d'âge. Chaque problème est annoté avec un modèle d'équation cible, permettant aux modèles d'être entraînés de manière supervisée. Math23K est devenu un ensemble d'évaluation standard pour les solveurs de problèmes mathématiques en mots chinois, complétant les références anglophones comme les ensembles de données MAWPS et ASDiv.
Structure de l'ensemble de données et annotation
Math23K contient 23 162 problèmes, répartis en ensembles d'entraînement, de validation et de test. La répartition standard, utilisée dans la plupart des recherches publiées, alloue 21 162 problèmes pour l'entraînement, 1 000 pour la validation et 1 000 pour le test. Chaque problème est une phrase ou un paragraphe chinois court, généralement de 20 à 50 caractères, suivi d'une équation de référence. Par exemple, un problème pourrait énoncer : « 小明有5个苹果，小红给了他3个，他一共有多少个？ » (Xiao Ming a 5 pommes, Xiao Hong lui en donne 3, combien en a-t-il au total ?), avec l'équation « 5+3=8 ».
Les annotations sont normalisées sous une forme canonique, où les nombres sont remplacés par des espaces réservés (par exemple, « n1 », « n2 ») pour créer des modèles d'équations. Cette conception permet aux modèles d'apprendre des modèles structurels indépendants des valeurs numériques spécifiques, améliorant ainsi la généralisation. L'ensemble de données comprend également des réponses à choix multiples dans certaines versions, mais le format principal est la génération d'équations en libre réponse.
Architectures de modèles et approches
Depuis sa publication, Math23K a été utilisé pour évaluer une variété d'architectures de réseaux de neurones. Les approches précoces reposaient sur des modèles séquence à séquence avec des structures encodeur-décodeur, qui traitaient le problème comme une tâche de traduction du texte vers les équations. Ces approches ont ensuite été améliorées avec des mécanismes d'attention et attention multi-têtes pour mieux aligner les mots avec les nombres. Une avancée notable est venue avec des modèles à structure arborescente qui représentent explicitement la nature hiérarchique des expressions arithmétiques, comme le modèle neuronal à structure arborescente orienté vers un objectif de l'article original.
Des travaux plus récents ont appliqué des modèles basés sur transformeurs, y compris des grands modèles de langage affinés sur Math23K. Ces modèles exploitent des représentations pré-entraînées à partir de corpus chinois et atteignent une précision de pointe, dépassant souvent 80 % sur l'ensemble de test. Cependant, l'ensemble de données reste difficile en raison de ses types de problèmes diversifiés et de la nécessité d'un raisonnement en plusieurs étapes. Les chercheurs ont également exploré des techniques de apprentissage curriculaire et de augmentation de données pour améliorer la robustesse.
Métriques d'évaluation et défis
La métrique principale pour Math23K est la précision des équations, qui mesure le pourcentage de problèmes où l'équation générée correspond exactement à l'équation de référence. Certaines études rapportent également la précision des réponses, qui considère le résultat numérique final. La difficulté de l'ensemble de données provient de plusieurs facteurs : un langage ambigu, des opérations implicites et la nécessité d'inférer des quantités à partir du contexte. Par exemple, les problèmes peuvent utiliser des mots comme « 多 » (plus) ou « 少 » (moins) pour indiquer une addition ou une soustraction, mais l'opération exacte dépend de la structure de la phrase.
Un autre défi est la présence d'informations non pertinentes ou redondantes, qui peuvent induire les modèles en erreur. De plus, Math23K inclut des problèmes avec plusieurs équations valides, mais la référence n'en fournit qu'une seule, rendant l'évaluation par correspondance exacte stricte. En conséquence, les modèles qui produisent des réponses correctes mais des formes d'équations différentes sont pénalisés, ce qui incite les chercheurs à développer des méthodes d'évaluation plus flexibles.
Impact et applications
Math23K a considérablement influencé la recherche en raisonnement mathématique dans le apprentissage profond. Il a été utilisé pour étudier les capacités de généralisation des modèles à travers différents types de problèmes et pour comparer l'efficacité de diverses stratégies d'entraînement. L'ensemble de données a également été intégré dans des références plus larges, comme le corpus chinois de problèmes mathématiques en mots, et a inspiré des ensembles de données similaires dans d'autres langues, notamment l'anglais et le japonais.
Dans les applications pratiques, les modèles entraînés sur Math23K sont utilisés dans la technologie éducative, comme les systèmes de tutorat intelligents et la correction automatisée des devoirs. Des entreprises comme Alibaba Cloud et des institutions de recherche ont exploré le déploiement de ces modèles dans des salles de classe réelles. Cependant, l'accent mis par l'ensemble de données sur l'arithmétique de niveau élémentaire limite son applicabilité aux mathématiques avancées, et des efforts sont en cours pour créer des ensembles de données plus complexes.
Limites et orientations futures
Malgré sa popularité, Math23K présente des limites connues. Les problèmes sont relativement simples, impliquant au plus deux ou trois opérations, et manquent de la complexité du raisonnement mathématique du monde réel. La langue chinoise introduit également des défis linguistiques spécifiques, comme l'utilisation de mots de mesure et un ordre des mots flexible, qui peuvent ne pas se transposer à d'autres langues. De plus, l'ensemble de données n'inclut pas d'informations visuelles ou multimodales, ce qui restreint son utilisation dans des tâches combinant texte et diagrammes.
Les recherches futures visent à étendre Math23K avec des types de problèmes plus diversifiés, des annotations plus riches et des chaînes de raisonnement en plusieurs étapes. Certains efforts l'intègrent avec des grands modèles de langage pour explorer l'apprentissage en quelques essais et sans essai, où les modèles sont sollicités avec quelques exemples au lieu d'être affinés. En 2025, Math23K reste une référence standard, mais de nouveaux ensembles de données comme Math23K-v2 et Chinese MathQA émergent pour remédier à ses lacunes.