AQuA-RAT (Algebra Question Answering with Rationales) est un ensemble de données à grande échelle de problèmes d'algèbre sous forme de texte, conçu pour évaluer et améliorer les capacités de raisonnement des systèmes d'intelligence artificielle. Publié en 2019, cet ensemble comprend 100 000 questions à choix multiples, chacune accompagnée d'une justification étape par étape expliquant le processus de résolution. Il sert de référence pour tester si les grands modèles de langage et autres systèmes de apprentissage automatique peuvent effectuer un raisonnement mathématique en plusieurs étapes plutôt que de s'appuyer sur la reconnaissance de motifs ou la mémorisation.
L'ensemble de données a été introduit par une équipe de chercheurs d'OpenAI et de l'Université d'Oxford, notamment Jakob Uszkoreit, Lukasz Kaiser et Niki Parmar, entre autres. Il a été présenté dans un article intitulé « AQuA-RAT: Towards an Efficient and Unbiased Reasoning Benchmark » lors de la conférence 2019 sur les méthodes empiriques en traitement du langage naturel (EMNLP). La création d'AQuA-RAT a été motivée par l'observation que les références de raisonnement existantes contenaient souvent des biais, permettant aux modèles de répondre correctement sans raisonnement authentique.
Structure de l'ensemble de données
Chaque instance d'AQuA-RAT se compose d'un problème d'algèbre en langage naturel, de quatre à cinq choix de réponses et d'une justification détaillée qui décrit les étapes pour arriver à la bonne réponse. Les problèmes couvrent des sujets tels que les équations linéaires, les équations quadratiques, les suites arithmétiques et la géométrie de base. Les justifications sont rédigées dans un format lisible par l'homme, ce qui rend l'ensemble adapté à l'entraînement de modèles pour générer des explications ainsi que pour répondre à des questions.
Les questions proviennent d'une collection de problèmes de tests standardisés et ont été sélectionnées manuellement pour garantir leur clarté et leur exactitude. Les choix de réponses sont conçus pour inclure des distracteurs courants, tels que des résultats de calculs partiels ou des formules mal appliquées, ce qui augmente la difficulté et réduit la probabilité de deviner correctement.
Évaluation et références
AQuA-RAT est devenu une référence standard pour évaluer le raisonnement mathématique dans les modèles d'IA. Les chercheurs utilisent la précision sur l'ensemble de test comme métrique principale, mais l'ensemble prend également en charge l'évaluation de la qualité des justifications, bien que cela soit moins souvent rapporté. L'ensemble est divisé en ensembles d'entraînement, de validation et de test, l'ensemble de test contenant 2 000 problèmes qui ne sont pas publiés publiquement pour éviter le surapprentissage.
Les évaluations initiales ont montré que les modèles contemporains, y compris les premiers transformateurs et les architectures séquence à séquence, obtenaient de mauvais résultats, avec des précisions d'environ 30 à 40 %, à peine supérieures à un choix aléatoire (qui serait de 20 à 25 % pour cinq choix). Cela a mis en évidence l'écart entre la performance humaine, presque parfaite, et les capacités de raisonnement des machines.
Impact sur la recherche en IA
La publication d'AQuA-RAT a stimulé des recherches significatives sur l'amélioration du raisonnement mathématique en IA. Il a été l'un des premiers ensembles de données à souligner l'importance des justifications, conduisant au développement de techniques telles que le raisonnement en chaîne de pensée (bien que ce terme ait été inventé plus tard) et l'intégration de solveurs symboliques avec des réseaux neuronaux. L'ensemble a été utilisé pour entraîner et évaluer des modèles de diverses organisations, notamment Google DeepMind et Anthropic, et a influencé la conception de références ultérieures comme GSM8K et MATH.
AQuA-RAT a également contribué à une meilleure compréhension de la manière dont les réseaux neuronaux gèrent les tâches de raisonnement structuré. Il a exposé les limites des modèles à généraliser des données d'entraînement à de nouveaux types de problèmes, incitant à des recherches sur les stratégies de apprentissage progressif et de augmentation de données.
Limites et critiques
Malgré son utilité, AQuA-RAT a fait l'objet de critiques. Certains chercheurs notent que le format à choix multiples peut introduire des biais, car les modèles pourraient exploiter des motifs dans les choix de réponses. De plus, les justifications, bien que détaillées, ne sont pas toujours parfaitement alignées avec les étapes de résolution, et l'accent de l'ensemble sur l'algèbre limite sa portée à un domaine étroit de raisonnement. Les problèmes sont également relativement courts et ne nécessitent pas une planification complexe en plusieurs étapes, ce qui est une limitation pour évaluer un raisonnement avancé.
Un autre problème est que l'ensemble est statique, et à mesure que les modèles s'améliorent, ils pourraient éventuellement saturer les performances, nécessitant la création de références plus difficiles. Néanmoins, AQuA-RAT reste une ressource précieuse pour la communauté de l'IA, en particulier pour étudier l'intersection de la compréhension du langage naturel et du calcul mathématique.
Travaux connexes et héritage
AQuA-RAT fait partie d'une famille de références de raisonnement qui incluent des ensembles comme RACE (compréhension de lecture) et SWAG (situations avec générations adverses). Son accent sur les justifications a influencé le développement du apprentissage par renforcement à partir de retours d'IA et d'autres méthodes pour entraîner des modèles à produire des sorties explicables. L'ensemble est librement disponible à des fins de recherche et a été largement cité dans la littérature sur l'intelligence artificielle et l'apprentissage profond.
En 2024, AQuA-RAT continue d'être utilisé dans les évaluations des modèles de pointe, et ses problèmes sont souvent incorporés dans des corpus d'entraînement plus larges pour le raisonnement mathématique. Son héritage réside dans la démonstration que les références de raisonnement doivent être soigneusement conçues pour éviter les raccourcis et que le progrès en IA nécessite non seulement des modèles plus grands, mais aussi des cadres d'évaluation plus rigoureux.