Le benchmark AI2 Reasoning Challenge (ARC) est un ensemble de données de référence conçu pour évaluer les capacités de raisonnement des systèmes d'intelligence artificielle. Créé par l'Allen Institute for Artificial Intelligence (AI2), ARC se compose de questions à choix multiples en sciences, au niveau des tests standardisés de l'école primaire. L'ensemble de données est divisé en deux sous-ensembles : un ensemble facile et un ensemble difficile, ce dernier contenant des questions particulièrement difficiles pour les modèles d'IA existants. ARC est devenu un point de référence standard dans le domaine de l'intelligence artificielle pour mesurer les progrès en compréhension et en raisonnement machine.
ARC a été introduit en 2018 par une équipe de chercheurs d'AI2, dont Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick et Oyvind Tafjord. Le benchmark a été conçu pour remédier aux limites des ensembles de données antérieurs qui permettaient souvent aux modèles d'exploiter des indices statistiques plutôt qu'un raisonnement authentique. Les questions sont tirées d'examens de sciences de l'école primaire et couvrent des sujets tels que la physique, la chimie, la biologie et les sciences de la Terre. Chaque question comprend quatre choix de réponses, et la réponse correcte est fournie dans l'ensemble de données pour l'entraînement et l'évaluation.
L'ensemble difficile est l'objectif principal du benchmark. Il se compose de questions qui ne peuvent pas être facilement résolues par une simple récupération ou un appariement de motifs, nécessitant une inférence plus profonde et une compréhension des concepts scientifiques. Dans l'article original, les auteurs ont rapporté qu'un modèle neuronal puissant basé sur l'architecture Transformer (architecture) n'atteignait qu'environ 53 % de précision sur l'ensemble difficile, contre plus de 80 % sur l'ensemble facile. Cet écart a souligné la difficulté de l'ensemble difficile et a motivé des recherches ultérieures en apprentissage automatique et apprentissage profond.
Composition et construction de l'ensemble de données
ARC contient un total de 7 787 questions de sciences, avec 4 787 dans l'ensemble facile et 3 000 dans l'ensemble difficile. Les questions sont dérivées d'examens de sciences de l'école primaire accessibles au public, y compris ceux des examens Regents de l'État de New York et d'autres tests standardisés. L'ensemble de données comprend à la fois le texte de la question et les quatre choix de réponses, ainsi que la réponse correcte. Les questions sont conçues pour être répondables sans connaissances externes au-delà de ce qui est généralement enseigné dans les classes de sciences élémentaires et intermédiaires.
Le processus de construction a impliqué le filtrage des questions qui pouvaient être résolues par un simple appariement de mots ou une récupération, qui ont été assignées à l'ensemble facile. Les questions restantes, qui nécessitaient un raisonnement plus complexe, ont formé l'ensemble difficile. Les auteurs ont également fourni un ensemble de « faits de soutien » pour certaines questions, qui sont de courtes déclarations fournissant des connaissances de fond pertinentes, mais celles-ci ne sont pas toujours suffisantes pour répondre correctement à la question.
Évaluation et impact
ARC a été largement adopté comme benchmark pour évaluer les systèmes d'IA, en particulier dans les domaines de la réponse aux questions et du raisonnement. Il est souvent utilisé aux côtés d'autres benchmarks tels que SQuAD et GLUE pour évaluer les capacités des grands modèles de langage. L'ensemble difficile s'est avéré être un test difficile : même les modèles de pointe, y compris ceux basés sur des architectures réseaux de neurones et des transformeurs, ont eu du mal à dépasser la performance humaine, estimée à environ 90 % de précision. En 2024, les meilleurs systèmes sur l'ensemble difficile ont atteint une précision dans les hautes années 80, mais le benchmark reste un domaine de recherche actif.
ARC a également influencé le développement de nouvelles techniques en apprentissage automatique, telles que le apprentissage par curriculum et l'utilisation de la augmentation de données pour améliorer le raisonnement. Le benchmark a été utilisé pour évaluer des modèles de grandes organisations de recherche en IA, y compris OpenAI, Anthropic et Google DeepMind, et a été une métrique clé dans le développement des systèmes de IA générative.
Limites et critiques
Malgré sa popularité, ARC a fait face à des critiques. Certains chercheurs soutiennent que l'ensemble de données est trop étroit, se concentrant uniquement sur les sciences de l'école primaire, et peut ne pas se généraliser à d'autres domaines. D'autres ont noté que l'ensemble difficile peut être « contourné » par des modèles qui exploitent des régularités statistiques dans les choix de réponses, bien que l'ensemble de données ait été conçu pour minimiser de tels raccourcis. De plus, les faits de soutien fournis pour certaines questions ne sont pas toujours complets, ce qui peut rendre difficile l'évaluation de savoir si un modèle raisonne réellement ou mémorise simplement des motifs.
Une autre limite est que ARC ne nécessite pas de raisonnement en plusieurs étapes ou l'intégration de connaissances externes au-delà du texte de la question, ce qui limite sa capacité à mesurer des capacités de raisonnement plus avancées. Par conséquent, certains chercheurs ont proposé des benchmarks plus difficiles, tels que l'ensemble de données MMLU (Massive Multitask Language Understanding), qui couvre une gamme plus large de sujets et de niveaux de difficulté.
Orientations futures
ARC reste un outil précieux pour la communauté de recherche en IA, et il est probable qu'il continuera à être utilisé comme référence pour évaluer de nouveaux modèles et techniques. Les travaux futurs pourraient impliquer l'expansion de l'ensemble de données pour inclure des types de questions plus diversifiés ou l'incorporation d'explications pour les réponses afin de mieux évaluer le raisonnement. Le benchmark sert également de rappel de l'écart entre le raisonnement humain et machine, motivant des efforts continus en intelligence artificielle pour combler cet écart.
En résumé, ARC est un benchmark fondamental dans la recherche en IA, fournissant un test difficile pour les capacités de raisonnement. Ses ensembles facile et difficile offrent une vue nuancée de la performance des modèles, et son influence s'étend au développement de nouveaux algorithmes et architectures dans le domaine.