ARC-AGI, abreviatura de Abstraction and Reasoning Corpus for Artificial General Intelligence, es un AI benchmark creado por Francois Chollet, el creador del marco de aprendizaje profundo Keras, y publicado por primera vez en 2019. Consiste en rompecabezas de cuadrículas visuales en los que un solucionador debe inferir una regla de transformación abstracta a partir de un pequeño número de pares de cuadrículas de entrada y salida de ejemplo, y luego aplicar esa regla correctamente a una nueva cuadrícula de prueba.
Propósito
ARC-AGI fue diseñado explícitamente como respuesta a la observación de que muchos benchmarks de IA, por difíciles que fueran, podían resolverse en gran medida mediante el reconocimiento de patrones a gran escala o la memorización, en lugar de un razonamiento o generalización genuinos. Chollet argumentó, en un artículo adjunto titulado "On the Measure of Intelligence", que la inteligencia debería medirse por la eficiencia en la adquisición de habilidades en tareas novedosas, en lugar de por el rendimiento bruto en cualquier habilidad fija y aprendible, y diseñó los rompecabezas de ARC-AGI para que cada uno requiriera una abstracción distinta y generalizable, basándose en conceptos que los humanos adquieren tempranamente, como la simetría, el conteo, la contención y la permanencia de objetos, elegidos deliberadamente para que sean difíciles de eludir con patrones memorizados.
Dificultad para los sistemas de IA
Durante años después de su publicación, ARC-AGI demostró ser notablemente resistente tanto para el aprendizaje automático clásico como para los primeros grandes modelos de lenguaje, con incluso modelos capaces de la clase GPT-4 resolviendo solo una pequeña fracción del conjunto de evaluación público, mientras que la mayoría de los humanos, incluidos los niños, resuelven la mayoría de los rompecabezas sin entrenamiento especial. Esta brecha entre el fuerte rendimiento en benchmarks convencionales como MMLU y el débil rendimiento en ARC-AGI se citaba con frecuencia como evidencia de que el escalado por sí solo, sin una capacidad de razonamiento cualitativamente diferente, era insuficiente para alcanzar una generalización similar a la humana.
Progreso con modelos de razonamiento
La brecha se redujo significativamente con la aparición de los modelos de razonamiento que utilizan cómputo en tiempo de prueba extendido y búsqueda estilo cadena de pensamiento, especialmente el o1 de OpenAI y sus sucesores, que obtuvieron puntuaciones de ARC-AGI sustancialmente más altas que los modelos no razonadores anteriores, aunque a menudo con un costo de inferencia significativamente mayor por rompecabezas. Este progreso fue interpretado por algunos como evidencia de que la búsqueda y la deliberación en el momento de la inferencia, en lugar del escalado del preentrenamiento por sí solo, eran un camino significativo hacia un razonamiento más general, mientras que otros advirtieron que las ganancias reflejaban en parte que los modelos aprendían patrones de rompecabezas similares a ARC-AGI a partir de datos públicos de tablas de clasificación, en lugar de una mejora completamente general del razonamiento.
Formato y premio
Los rompecabezas de ARC-AGI se mantienen intencionalmente parcialmente privados, con un conjunto de evaluación reservado que no se publica, específicamente para limitar los problemas de contaminación que socavaron los benchmarks estáticos anteriores. Una competencia pública asociada, el Premio ARC, ha ofrecido premios en efectivo para sistemas que logren un rendimiento sólido en el conjunto reservado, atrayendo tanto a participantes académicos como de la industria y publicando periódicamente versiones sucesoras más difíciles, incluida ARC-AGI-2, a medida que las versiones anteriores se acercaban a la saturación.
Importancia
ARC-AGI se invoca con frecuencia en debates sobre los plazos de la AGI y sobre si los enfoques actuales de aprendizaje profundo son suficientes para alcanzar la inteligencia general, precisamente porque su objetivo de diseño, resistir la memorización mientras sigue siendo fácil para los humanos, lo convierte en un benchmark raro donde las grandes brechas entre el rendimiento humano y el de la IA persistieron hasta bien entrada la era de los grandes modelos de lenguaje altamente capaces. Sigue siendo uno de los indicadores más observados del progreso genuino en el razonamiento, distinto de los benchmarks más susceptibles al escalado y los datos por sí solos.