ARC-AGI, 약자로 Abstraction and Reasoning Corpus for Artificial General Intelligence,는 Keras 딥러닝 프레임워크의 창시자인 Francois Chollet이 만든 AI benchmark이며, 2019년에 처음 공개되었다. 이는 시각적 격자 퍼즐로 구성되어 있으며, 풀이자는 소수의 예시 입력-출력 격자 쌍에서 추상적 변환 규칙을 추론한 다음, 그 규칙을 새로운 테스트 격자에 올바르게 적용해야 한다.
목적
ARC-AGI는 많은 AI 벤치마크가 아무리 어렵더라도 진정한 추론이나 일반화보다는 대규모 패턴 매칭이나 암기에 의해 상당 부분 해결될 수 있다는 관찰에 대한 응답으로 명시적으로 설계되었다. Chollet은 동반 논문 "지능의 측정에 관하여"에서 지능은 고정되고 학습 가능한 기술에 대한 단순한 성과가 아니라 새로운 작업에 대한 기술 습득 효율성으로 측정되어야 한다고 주장했으며, ARC-AGI의 퍼즐이 각각 뚜렷하고 일반화 가능한 추상화를 요구하도록 설계했다. 이는 대칭, 세기, 포함, 객체 영속성과 같은 인간이 일찍 습득하는 개념을 활용하며, 암기된 패턴으로 우회하기 어렵도록 의도적으로 선택되었다.
AI 시스템에 대한 난이도
공개 이후 수년 동안 ARC-AGI는 고전적 머신러닝과 초기 대규모 언어 모델 모두에 놀라울 정도로 저항력이 있는 것으로 입증되었으며, GPT-4급 모델조차 공개 평가 세트의 극히 일부만 해결했지만, 대부분의 인간(어린이 포함)은 특별한 훈련 없이 대부분의 퍼즐을 해결했다. MMLU와 같은 기존 벤치마크에서의 강력한 성과와 ARC-AGI에서의 약한 성과 사이의 이러한 격차는 질적으로 다른 추론 능력 없이 확장만으로는 인간과 유사한 일반화에 도달하기에 불충분하다는 증거로 자주 인용되었다.
추론 모델의 발전
격차는 테스트 시간 계산과 사고 사슬 스타일의 탐색을 사용하는 추론 모델의 등장으로 크게 줄어들었으며, 특히 OpenAI의 o1과 그 후속 모델은 이전의 비추론 모델보다 훨씬 높은 ARC-AGI 점수를 기록했지만, 종종 퍼즐당 추론 비용이 상당히 높았다. 이러한 진전은 일부에서는 추론 시간의 탐색과 심의가 사전 훈련 규모만으로는 아닌 더 일반적인 추론으로 가는 의미 있는 경로라는 증거로 받아들여졌지만, 다른 일부에서는 이러한 개선이 완전히 일반적인 추론 개선보다는 모델이 공개 리더보드 데이터에서 ARC-AGI 유사 퍼즐 패턴을 학습한 결과를 부분적으로 반영한다고 경고했다.
형식과 상금
ARC-AGI 퍼즐은 의도적으로 부분적으로 비공개로 유지되며, 공개되지 않은 비공개 평가 세트를 두어 초기 정적 벤치마크를 훼손한 데이터 오염 문제를 제한한다. 관련 공개 대회인 ARC Prize는 비공개 세트에서 강력한 성과를 내는 시스템에 현금 상금을 제공하며, 학계와 산업계 참가자를 모두 끌어들이고, 초기 버전이 포화 상태에 가까워짐에 따라 ARC-AGI-2를 포함한 더 어려운 후속 버전을 주기적으로 출시한다.
중요성
ARC-AGI는 AGI 타임라인과 현재 딥러닝 접근 방식이 일반 지능에 도달하기에 충분한지에 대한 논쟁에서 자주 언급된다. 그 이유는 암기를 저항하면서 인간에게는 쉬운 상태를 유지하는 설계 목표 덕분에, 강력한 대규모 언어 모델 시대까지 인간과 AI 성과 사이의 큰 격차가 지속된 드문 벤치마크이기 때문이다. 이는 규모와 데이터만으로 더 취약한 벤치마크와 구별되는, 진정한 추론 진전을 보여주는 가장 주목받는 지표 중 하나로 남아 있다.