ARC-AGI, acronyme d'Abstraction and Reasoning Corpus for Artificial General Intelligence, est un référentiel créé par Francois Chollet, le créateur du framework d'apprentissage profond Keras, et publié pour la première fois en 2019. Il se compose de grilles visuelles sous forme de puzzles dans lesquels un solveur doit déduire une règle de transformation abstraite à partir d'un petit nombre de paires d'exemples d'entrée-sortie, puis appliquer correctement cette règle à une nouvelle grille de test.
Objectif
ARC-AGI a été explicitement conçu en réponse au constat que de nombreux référentiels d'IA, aussi difficiles soient-ils, pouvaient être largement résolus par un appariement de motifs ou une mémorisation à grande échelle plutôt que par un véritable raisonnement ou une généralisation. Chollet a soutenu, dans un article d'accompagnement intitulé « On the Measure of Intelligence », que l'intelligence devrait être mesurée par l'efficacité d'acquisition de compétences sur des tâches nouvelles plutôt que par la performance brute sur une compétence fixe et apprenable. Il a conçu les puzzles d'ARC-AGI pour que chacun exige une abstraction distincte et généralisable, s'appuyant sur des concepts que les humains acquièrent tôt, tels que la symétrie, le comptage, le confinement et la permanence des objets, délibérément choisis pour être difficiles à contourner par des motifs mémorisés.
Difficulté pour les systèmes d'IA
Pendant des années après sa publication, ARC-AGI s'est révélé remarquablement résistant à la fois à l'apprentissage automatique classique et aux premiers grands modèles de langage, même les modèles de la classe GPT-4 les plus performants ne résolvant qu'une petite fraction de l'ensemble d'évaluation public, tandis que la plupart des humains, y compris les enfants, résolvent la majorité des puzzles sans formation particulière. Cet écart entre les bonnes performances sur des référentiels conventionnels comme MMLU et les faibles performances sur ARC-AGI a souvent été cité comme preuve que la seule mise à l'échelle, sans capacité de raisonnement qualitativement différente, ne suffisait pas à atteindre une généralisation de type humain.
Progrès avec les modèles de raisonnement
L'écart s'est considérablement réduit avec l'émergence des modèles de raisonnement qui utilisent un calcul au moment de l'inférence étendu et une recherche de type chaîne de pensée, notamment o1 d'OpenAI et ses successeurs, qui ont affiché des scores ARC-AGI nettement supérieurs à ceux des modèles non-rationnels antérieurs, bien qu'à un coût d'inférence souvent plus élevé par puzzle. Certains y ont vu une preuve que la recherche et la délibération au moment de l'inférence, plutôt que la seule mise à l'échelle du pré-entraînement, constituaient une voie prometteuse vers un raisonnement plus général, tandis que d'autres ont mis en garde contre le fait que ces progrès reflétaient en partie l'apprentissage par les modèles de motifs de puzzles de type ARC-AGI à partir de données publiques de classement, plutôt qu'une amélioration pleinement générale du raisonnement.
Format et prix
Les puzzles d'ARC-AGI sont volontairement gardés partiellement privés, avec un ensemble d'évaluation non publié, afin de limiter les problèmes de contamination qui ont miné les référentiels statiques antérieurs. Un concours public associé, le prix ARC, offre des récompenses en espèces pour les systèmes qui obtiennent de bonnes performances sur l'ensemble non publié, attirant à la fois des participants académiques et industriels et publiant périodiquement des versions successives plus difficiles, notamment ARC-AGI-2, à mesure que les versions antérieures approchaient de la saturation.
Importance
ARC-AGI est fréquemment évoqué dans les débats sur les échéances de l'intelligence artificielle générale et sur la question de savoir si les approches actuelles d'apprentissage profond suffisent à atteindre l'intelligence générale, précisément parce que son objectif de conception, résister à la mémorisation tout en restant facile pour les humains, en fait un référentiel rare où d'importants écarts entre les performances humaines et celles de l'IA ont persisté bien après l'avènement des grands modèles de langage très performants. Il reste l'un des indicateurs les plus surveillés des progrès réels en matière de raisonnement, distinct des référentiels plus sensibles à la seule échelle et aux seules données.