ARC-AGI, abreviação de Abstraction and Reasoning Corpus for Artificial General Intelligence, é um benchmark criado por Francois Chollet, o criador do framework de aprendizado profundo Keras, e lançado pela primeira vez em 2019. Ele consiste em quebra-cabeças visuais em grade nos quais um solucionador deve inferir uma regra de transformação abstrata a partir de um pequeno número de pares de grade de entrada-saída de exemplo e, em seguida, aplicar essa regra corretamente a uma nova grade de teste.
Propósito
O ARC-AGI foi projetado explicitamente como uma resposta à observação de que muitos benchmarks de IA, por mais difíceis que fossem, poderiam ser substancialmente resolvidos por meio de correspondência de padrões em larga escala ou memorização, em vez de raciocínio genuíno ou generalização. Chollet argumentou, em um artigo complementar "On the Measure of Intelligence", que a inteligência deveria ser medida pela eficiência de aquisição de habilidades em tarefas novas, em vez do desempenho bruto em qualquer habilidade fixa e aprendível, e projetou os quebra-cabeças do ARC-AGI para que cada um exigisse uma abstração distinta e generalizável, baseando-se em conceitos que os humanos adquirem cedo, como simetria, contagem, contenção e permanência de objetos, deliberadamente escolhidos para serem difíceis de contornar com padrões memorizados.
Dificuldade para sistemas de IA
Por anos após seu lançamento, o ARC-AGI mostrou-se notavelmente resistente tanto ao aprendizado de máquina clássico quanto aos primeiros grandes modelos de linguagem, com até mesmo modelos capazes da classe GPT-4 resolvendo apenas uma pequena fração do conjunto de avaliação público, enquanto a maioria dos humanos, incluindo crianças, resolve a maioria dos quebra-cabeças sem treinamento especial. Essa lacuna entre o forte desempenho em benchmarks convencionais como MMLU e o fraco desempenho no ARC-AGI foi frequentemente citada como evidência de que a escala sozinha, sem uma capacidade de raciocínio qualitativamente diferente, era insuficiente para alcançar uma generalização semelhante à humana.
Progresso com modelos de raciocínio
A lacuna diminuiu significativamente com o surgimento de modelos de raciocínio que usam computação em tempo de teste estendida e busca estilo cadeia de pensamento, mais notavelmente o o1 da OpenAI e seus sucessores, que alcançaram pontuações substancialmente maiores no ARC-AGI do que modelos anteriores sem raciocínio, embora frequentemente a um custo de inferência significativamente maior por quebra-cabeça. Esse progresso foi interpretado por alguns como evidência de que a busca e a deliberação no momento da inferência, em vez da escala de pré-treinamento sozinha, eram um caminho significativo em direção a um raciocínio mais geral, enquanto outros alertaram que os ganhos refletiam parcialmente modelos aprendendo padrões de quebra-cabeça semelhantes aos do ARC-AGI a partir de dados públicos de leaderboard, em vez de uma melhoria totalmente geral no raciocínio.
Formato e prêmio
Os quebra-cabeças do ARC-AGI são intencionalmente mantidos parcialmente privados, com um conjunto de avaliação reservado não publicado, especificamente para limitar os problemas de contaminação que prejudicaram benchmarks estáticos anteriores. Uma competição pública associada, o ARC Prize, ofereceu prêmios em dinheiro para sistemas que alcançassem forte desempenho no conjunto reservado, atraindo participantes acadêmicos e da indústria e lançando periodicamente versões sucessoras mais difíceis, incluindo o ARC-AGI-2, à medida que versões anteriores se aproximavam da saturação.
Significância
O ARC-AGI é frequentemente invocado em debates sobre cronogramas de AGI e sobre se as atuais abordagens de aprendizado profundo são suficientes para alcançar a inteligência geral, precisamente porque seu objetivo de design, resistir à memorização enquanto permanece fácil para humanos, o torna um benchmark raro onde grandes lacunas entre o desempenho humano e o da IA persistiram bem na era dos grandes modelos de linguagem altamente capazes. Ele continua sendo um dos indicadores mais observados de progresso genuíno em raciocínio, distinto de benchmarks mais suscetíveis a escala e dados sozinhos.