ARC-Easy는 2019년 François Chollet이 추상적 추론 과제를 통한 기계 지능 측정을 위해 도입한 벤치마크인 Abstraction and Reasoning Corpus(ARC)의 선별된 하위 집합이다. 전체 ARC는 수천 개의 고유한 문제로 구성되며, 각 문제에서 AI는 몇 개의 입력-출력 그리드 예시로부터 변환 규칙을 추론하고 이를 새로운 테스트 그리드에 적용해야 한다. ARC-Easy는 이러한 문제 중 더 접근하기 쉬운 것으로 간주되는 일부를 선택하며, 종종 더 단순한 그리드 크기, 더 적은 색상, 또는 더 직관적인 변환을 포함하여 새로운 Artificial intelligence 모델을 테스트하는 연구자들의 일반적인 출발점이 된다.
ARC-Easy의 과제는 최소한의 지시만으로 인간이 해결할 수 있도록 설계되었지만, 통계적 패턴을 넘어선 일반화를 요구하기 때문에 많은 Machine learning 시스템에는 여전히 어려운 과제로 남아 있다. 각 문제는 데모로 소수의 입력-출력 쌍(일반적으로 2-3개)을 제시하며, 해결자는 객체 조작, 대칭, 계산, 또는 공간 추론을 포함할 수 있는 기본 규칙을 추론해야 한다. 대규모 데이터 세트에 의존하는 Deep learning 벤치마크와 달리, ARC-Easy는 퓨삿 러닝과 추상적 추론을 강조하여 모델이 암기보다는 구성적 및 인과적 이해를 개발하도록 유도한다.
전체 ARC 벤치마크와의 관계
ARC-Easy는 별도의 코퍼스가 아니라 원래 ARC 데이터 세트의 필터링된 버전이다. 전체 ARC는 800개의 훈련 과제와 800개의 평가 과제를 포함하며, 각 과제는 훈련 세트(데모용)와 테스트 세트(평가용)로 나뉜다. ARC-Easy는 일반적으로 수동 또는 알고리즘적으로 더 쉽다고 식별된 과제의 하위 집합을 포함하며, 종종 더 작은 그리드(예: 3x3 또는 5x5)와 더 적은 수의 고유 색상을 가진다. 이를 통해 연구자들은 다단계 추론과 추상적 개념 형성을 요구하는 더 복잡한 과제를 포함하는 전체 벤치마크를 다루기 전에 모델 아키텍처를 디버깅하고 반복할 수 있다.
쉬움과 어려움의 구분은 원래 ARC 논문에서 공식화되지 않았지만, 커뮤니티의 노력으로 인간의 해결률이나 계산 복잡성에 따라 과제를 분류해 왔다. 예를 들어, 단순한 회전, 반사, 또는 색상 교환을 포함하는 과제는 종종 쉬운 것으로 분류되는 반면, 재귀적 패턴이나 객체 상호작용을 요구하는 과제는 더 어려운 것으로 분류된다. 따라서 ARC-Easy는 특히 훈련 분포를 넘어선 일반화를 목표로 하는 모델을 위한 Neural network 설계의 점진적 진전을 평가하는 실용적인 도구 역할을 한다.
평가 및 채점
ARC-Easy에서는 전체 ARC와 마찬가지로 모델이 테스트 입력에 대한 출력 그리드를 올바르게 예측하는 능력으로 평가된다. 채점은 과제별로 이진적이다. 예측된 그리드가 모든 셀 값을 포함하여 예상 출력과 정확히 일치하는 경우에만 솔루션이 올바른 것으로 간주된다. 이 엄격한 기준은 부분 솔루션에 점수를 부여하지 않으므로 정밀한 규칙 추론의 필요성을 강조한다. ARC-Easy의 경우 2024년 기준 최첨단 모델의 일반적인 성공률은 50% 미만으로 유지되는 반면, 인간은 동일한 과제에서 거의 완벽한 정확도를 달성하여 현재 Large language model 기반 접근 방식과 인간과 유사한 추론 사이의 격차를 부각시킨다.
최근 여러 연구에서 Transformer (architecture) 아키텍처를 사용하여 ARC-Easy를 해결하려는 시도가 있었으며, 때로는 프로그램 합성이나 신경-기호적 방법과 결합되기도 했다. 예를 들어, 일부 연구자는 Sequence-to-Sequence (Seq2Seq) 모델을 사용하여 그리드 표현을 기호 프로그램으로 변환했고, 다른 연구자는 훈련 데이터를 늘리기 위해 Data Augmentation 기법을 사용했다. 그러나 이러한 접근 방식은 종종 특정 과제 유형에 과적합되고 새로운 문제에서는 실패하여 진정한 추상화를 달성하는 어려움을 강조한다.
과제 및 한계
ARC-Easy의 주요 과제 중 하나는 "쉬움"이라는 라벨이 주관적이며 모델 성능과 상관관계가 없을 수 있다는 점이다. 패턴 복사와 같이 인간이 사소하게 여기는 일부 과제는 그리드의 이산적 특성과 자연어 감독의 부족으로 인해 모델에게 어려울 수 있다. 반대로, 인간이 중간 정도로 어렵다고 여기는 과제는 검색 공간이 작다면 모델이 무차별 검색을 통해 해결할 수 있다. 이러한 불일치는 ARC-Easy를 Artificial intelligence의 진전을 측정하는 신뢰할 수 있는 벤치마크로 사용하는 것을 복잡하게 만든다.
또 다른 한계는 데이터 세트의 작은 크기이다. 쉬운 하위 집합에 수백 개의 과제만 있으므로, 개발 중에 훈련 세트에 접근할 수 있다면 모델이 솔루션을 쉽게 암기하여 점수가 부풀려질 수 있다. 이를 완화하기 위해 연구자들은 공개되지 않은 보류 과제에서 평가하는 경우가 많지만, 이는 재현성을 감소시킨다. ARC 커뮤니티는 숨겨진 테스트 세트 사용을 제안했지만, ARC-Easy는 접근성 때문에 내부 개발에 자주 사용된다.
응용 및 향후 방향
ARC-Easy는 학술 연구에서 새로운 아키텍처와 학습 패러다임을 테스트하는 데 자주 사용된다. 예를 들어, MIT CSAIL 및 Stanford AI Lab의 연구자들은 점진적으로 더 어려운 과제에 대해 모델을 훈련시키는 Curriculum Learning 전략을 탐구하는 데 이를 사용했다. 또한 대규모 사전 훈련에 의존하지 않고 시각적 패턴을 추론하는 것을 목표로 하는 Generative AI 시스템의 벤치마크 역할도 한다. OpenAI 및 Google DeepMind와 같은 기업은 ARC에 대한 결과를 발표했지만, 종종 쉬운 하위 집합보다는 전체 벤치마크에 초점을 맞춘다.
향후 작업은 ARC-Easy를 Reinforcement learning 또는 딥 러닝과 명시적 규칙 기반 추론을 결합한 신경-기호적 접근 방식과 통합하는 것을 포함할 수 있다. 2025년 현재 ARC-Easy에서 인간 수준의 성능을 달성한 모델은 없으며, 이는 추상화와 추론의 근본적인 과제가 여전히 해결되지 않았음을 나타낸다. 이 벤치마크는 few-shot learning 및 Meta-Learning에 대한 연구를 계속 고무하고 있으며, 쉬운 과제에서의 돌파구가 더 어려운 과제로 이어지기를 기대한다.
같이 보기
- Abstraction and Reasoning Corpus(전체 벤치마크)
- Few-shot learning
- 신경-기호적 AI
- 일반 인공 지능