ARC-Challenge est un sous-ensemble de l'AI2 Reasoning Challenge (ARC), un ensemble de données de référence pour la réponse aux questions, introduit par l'Allen Institute for Artificial Intelligence (AI2) en 2018. L'ensemble de données ARC se compose de questions de sciences à choix multiples de niveau primaire, tirées de tests standardisés et de matériel pédagogique. L'ensemble Challenge est spécifiquement sélectionné pour ne contenir que des questions difficiles pour les algorithmes basés sur la récupération et la co-occurrence, ce qui en fait un test rigoureux de la capacité d'un système d'IA à effectuer un raisonnement en plusieurs étapes, une inférence de sens commun et une application des connaissances scientifiques.
L'ensemble de données ARC complet est divisé en deux partitions : l'ensemble Easy et l'ensemble Challenge. L'ensemble Challenge, communément appelé ARC-Challenge, contient environ 2 590 questions, tandis que l'ensemble Easy en contient environ 5 190. La séparation a été créée en évaluant la performance de modèles statistiques et de récupération simples sur chaque question ; celles qui déconcertaient ces modèles ont été placées dans l'ensemble Challenge. Cette conception garantit qu'une performance élevée sur ARC-Challenge ne peut pas être obtenue en mémorisant des motifs ou en s'appuyant sur des indices lexicaux superficiels, poussant le domaine vers des capacités de raisonnement plus robustes.
Contexte historique et motivation
La création d'ARC-Challenge a été motivée par l'observation que de nombreux ensembles de données de référence existants pour la réponse aux questions arrivaient à saturation, les modèles atteignant des performances quasi humaines en exploitant les biais des ensembles de données. L'équipe d'AI2, dirigée par des chercheurs tels que Peter Clark et Oren Etzioni, visait à fournir une référence qui resterait pertinente pendant des années et encouragerait le développement de systèmes qui comprennent réellement les concepts scientifiques. Les questions d'ARC-Challenge nécessitent non seulement un rappel factuel, mais aussi la capacité de combiner plusieurs faits, d'appliquer des règles logiques et de raisonner sur des phénomènes quotidiens. Par exemple, une question pourrait demander pourquoi une cuillère en métal semble plus froide qu'une cuillère en bois à la même température, nécessitant une compréhension de la conductivité thermique et du transfert de chaleur.
Caractéristiques de la référence et évaluation
Les questions d'ARC-Challenge sont à choix multiples avec quatre options de réponse, et elles couvrent des sujets en sciences de la Terre, biologie, physique et chimie. Les questions sont conçues pour être répondables par un élève de collège bien éduqué, mais elles impliquent souvent des distinctions subtiles et nécessitent une lecture attentive. L'évaluation est généralement rapportée en termes de précision (pourcentage de questions correctement répondues). Depuis sa publication, ARC-Challenge est devenu une référence standard dans la communauté de l'Artificial intelligence, utilisé aux côtés d'autres tests de raisonnement comme le Winograd Schema Challenge et l'ensemble de données OpenBookQA. La référence est publiquement disponible et a été largement adoptée dans les articles de recherche, avec des classements suivant les progrès de divers modèles.
Performance des systèmes d'IA modernes
Initialement, les modèles de pointe en 2018 atteignaient environ 30 à 40 % de précision sur ARC-Challenge, à peine au-dessus du niveau de base de devinette aléatoire de 25 %. L'avènement des modèles à grande échelle basés sur Transformer (architecture), en particulier les Large language model, a apporté des améliorations significatives. Par exemple, des modèles comme GPT-3, introduit par OpenAI en 2020, ont atteint des niveaux de précision d'environ 55 à 60 % sur l'ensemble Challenge. Des systèmes plus récents, tels que GPT-4 et Claude 3, ont rapporté une précision dépassant 90 %, approchant ou dépassant souvent la performance humaine sur cette référence. Cependant, les chercheurs avertissent que des scores élevés sur ARC-Challenge n'impliquent pas nécessairement un raisonnement robuste, car les modèles peuvent encore s'appuyer sur des données d'entraînement mémorisées ou des heuristiques. La référence reste un outil utile pour mesurer les progrès, mais elle est souvent complétée par des évaluations plus adverses et dynamiques.
Limites et critiques
La principale critique d'ARC-Challenge est qu'il pourrait ne plus être suffisamment difficile pour la dernière génération de modèles d'IA, conduisant à un « effet de saturation » où les améliorations ne sont plus significatives. De plus, comme les questions sont dérivées de matériel éducatif public, elles pourraient avoir été incluses dans les corpus d'entraînement de nombreux grands modèles, soulevant des préoccupations concernant la contamination des données. Pour résoudre ces problèmes, les chercheurs ont proposé des variantes et des extensions, telles que ARC-Challenge avec des perturbations adverses ou les tâches connexes ARC-DA (Domain Adaptation). Malgré ces limites, ARC-Challenge continue de servir de référence précieuse pour évaluer les capacités de raisonnement, et ses principes de conception ont influencé la création de références plus récentes comme MMLU et BIG-bench.
Références connexes et orientations futures
Le succès d'ARC-Challenge a inspiré une famille de références de raisonnement. L'ensemble de données OpenBookQA, également d'AI2, se concentre sur le raisonnement à livre ouvert avec un petit ensemble de faits de base. La référence CommonsenseQA teste les connaissances de sens commun, tandis que l'ensemble de données RiddleSense cible les énigmes et la pensée latérale. Dans le contexte du Machine learning et du Deep learning, ARC-Challenge est souvent utilisé en conjonction avec ces références pour fournir une évaluation complète des capacités de raisonnement d'un modèle. Les travaux futurs pourraient impliquer la création de références dynamiques qui sont automatiquement générées et mises à jour pour prévenir la saturation, ainsi que des références nécessitant un raisonnement multimodal, combinant texte et images ou diagrammes, ce qui est une frontière actuelle dans l'évaluation de l'IA.