MathVista est un ensemble de données de référence conçu pour évaluer les capacités de raisonnement mathématique des systèmes d'intelligence artificielle lorsqu'ils sont appliqués à des informations visuelles. Il a été introduit en 2023 par une équipe de chercheurs pour combler une lacune dans les outils d'évaluation existants, qui évaluaient généralement soit la compréhension visuelle, soit la résolution de problèmes mathématiques de manière isolée. L'ensemble de données comprend une collection diversifiée de problèmes qui exigent des modèles qu'ils interprètent des images, des diagrammes, des graphiques ou des figures géométriques, puis effectuent des opérations mathématiques ou un raisonnement logique pour parvenir à une réponse correcte.
L'objectif principal de MathVista est de fournir un test standardisé pour les grands modèles de langage et les systèmes multimodaux, en particulier ceux construits sur des architectures de transformeurs. Contrairement aux ensembles de données traditionnels de réponse à des questions visuelles (VQA) qui se concentrent sur la reconnaissance d'objets ou la description de scènes, MathVista met l'accent sur des tâches où le contenu visuel est essentiel pour la solution mathématique. Cela inclut des problèmes impliquant la géométrie, les fonctions, les statistiques et l'arithmétique, souvent présentés sous forme de diagrammes synthétiques, de photographies du monde réel ou de visualisations de données.
L'ensemble de données comprend plus de 6 000 questions, chacune associée à une image et à un format de réponse à choix multiples ou à réponse libre. Les questions sont classées en plusieurs types de tâches, tels que la réponse à des questions sur des figures, la résolution de problèmes de géométrie et le raisonnement basé sur des graphiques. Cette structure permet aux chercheurs d'identifier les forces et les faiblesses spécifiques des performances des modèles, guidant ainsi les développements futurs en intelligence artificielle et en apprentissage automatique.
Conception et composition
MathVista a été construit en collectant des problèmes provenant d'ensembles de données existants et en créant de nouveaux, garantissant une large gamme de difficultés et de contextes visuels. Les images proviennent de sources telles que des manuels scolaires, des supports pédagogiques en ligne et une génération synthétique. Chaque question est annotée avec une réponse correcte et, dans de nombreux cas, une explication du raisonnement. L'ensemble de données est divisé en ensembles d'entraînement, de validation et de test, l'ensemble de test étant conservé privé pour éviter le surapprentissage.
Les types de tâches sont définis pour couvrir des compétences cognitives distinctes : la perception visuelle (extraire des nombres ou des formes), le raisonnement mathématique (appliquer des formules ou une logique) et la compréhension compositionnelle (combiner plusieurs étapes). Par exemple, une question peut montrer un diagramme à barres et demander le pourcentage d'augmentation entre deux barres, nécessitant à la fois une lecture précise du graphique et un calcul arithmétique.
Méthodologie d'évaluation
Les modèles sont évalués sur la précision, mesurée comme le pourcentage de questions répondues correctement. Pour les réponses libres, la notation automatisée utilise la correspondance de chaînes ou la similarité sémantique, tandis que les questions à choix multiples sont notées directement. L'ensemble de données rapporte également les performances à travers différentes catégories de tâches, permettant une analyse fine. Depuis sa publication, MathVista est devenu une référence standard dans le domaine, de nombreux développeurs de grands modèles de langage l'utilisant pour comparer leurs systèmes à ceux de leurs concurrents.
Les résultats sur MathVista ont montré que même les modèles avancés rencontrent des difficultés avec certaines tâches visuelles-mathématiques, en particulier celles nécessitant un raisonnement spatial ou des calculs en plusieurs étapes. Cela a motivé des recherches pour améliorer les encodeurs visuels et les mécanismes de raisonnement au sein des réseaux neuronaux.
Impact et réception
L'introduction de MathVista a influencé le développement de benchmarks ultérieurs et de stratégies d'entraînement de modèles. Il a mis en évidence la nécessité de modèles multimodaux capables d'intégrer de manière transparente les informations visuelles et textuelles, un défi qui reste actif dans le domaine de l'apprentissage profond. Les chercheurs ont utilisé MathVista pour affiner des modèles, conduisant à des améliorations dans des tâches connexes telles que la compréhension de graphiques et la résolution de problèmes géométriques.
L'ensemble de données est disponible publiquement, et son classement est fréquemment mis à jour avec des soumissions de laboratoires académiques et industriels, y compris ceux associés à de grandes entreprises technologiques. Cette transparence favorise une concurrence saine et accélère les progrès dans la recherche en intelligence artificielle.
Limites et orientations futures
Bien que MathVista fournisse une évaluation robuste, il présente des limites. Les questions sont principalement en anglais et se concentrent sur des sujets mathématiques standard, ce qui peut ne pas couvrir tous les contextes culturels ou mathématiques avancés. De plus, l'ensemble de données repose sur des images statiques, alors que les applications du monde réel impliquent souvent des données visuelles dynamiques ou interactives. Les itérations futures pourraient incorporer des vidéos ou des scènes 3D, ainsi que des types de problèmes plus diversifiés.
Malgré ces contraintes, MathVista reste un outil précieux pour évaluer et guider le développement des systèmes d'IA. Son accent sur le raisonnement mathématique visuel s'aligne avec l'intérêt croissant pour la création de modèles capables d'assister dans l'éducation, la recherche scientifique et l'analyse de données.