AI2 Reasoning Challenge(ARC)은 인공지능 시스템의 추론 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. Allen Institute for Artificial Intelligence(AI2)가 만든 ARC는 초등학교 수준의 표준화 시험 수준의 과학 객관식 문제로 구성되어 있다. 데이터셋은 Easy 세트와 Challenge 세트의 두 하위 집합으로 나뉘며, 후자는 기존 AI 모델이 정확히 답하기 특히 어려운 질문을 포함한다. ARC는 기계 독해와 추론의 진전을 측정하는 Artificial intelligence 분야의 표준 참조점이 되었다.
ARC는 2018년 Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, Oyvind Tafjord를 포함한 AI2 연구팀에 의해 소개되었다. 이 벤치마크는 모델이 진정한 추론보다 통계적 단서를 이용할 수 있게 했던 초기 데이터셋의 한계를 해결하기 위해 설계되었다. 질문은 초등학교 과학 시험에서 가져온 것으로 물리학, 화학, 생물학, 지구 과학과 같은 주제를 다룬다. 각 질문에는 네 가지 답변 선택지가 있으며, 정답은 훈련 및 평가 목적으로 데이터셋에 제공된다.
Challenge 세트는 벤치마크의 주요 초점이다. 단순한 검색이나 패턴 매칭으로 쉽게 답할 수 없는 질문으로 구성되어 있으며, 과학 개념에 대한 더 깊은 추론과 이해가 필요하다. 원래 논문에서 저자들은 Transformer (architecture) 아키텍처에 기반한 강력한 신경 모델이 Challenge 세트에서 약 53%의 정확도만 달성한 반면, Easy 세트에서는 80% 이상을 기록했다고 보고했다. 이러한 격차는 Challenge 세트의 어려움을 강조했으며, 이후 Machine learning 및 Deep learning 연구를 촉진했다.
데이터셋 구성 및 구축
ARC는 총 7,787개의 과학 질문을 포함하며, Easy 세트에 4,787개, Challenge 세트에 3,000개가 있다. 질문은 뉴욕주 Regents 시험 및 기타 표준화 시험을 포함한 공개된 초등학교 과학 시험에서 파생되었다. 데이터셋에는 질문 텍스트와 네 가지 답변 선택지, 그리고 정답이 포함된다. 질문은 초등학교 및 중학교 과학 수업에서 일반적으로 가르치는 내용 이상의 외부 지식 없이 답할 수 있도록 설계되었다.
구축 과정은 간단한 단어 매칭이나 검색으로 답할 수 있는 질문을 필터링하여 Easy 세트에 할당하는 것을 포함했다. 더 복잡한 추론이 필요한 나머지 질문은 Challenge 세트를 형성했다. 저자들은 또한 일부 질문에 대해 관련 배경 지식을 제공하는 짧은 진술인 "지원 사실"을 제공했지만, 이는 질문에 정확히 답하는 데 항상 충분하지는 않다.
평가 및 영향
ARC는 특히 질문 응답 및 추론 영역에서 AI 시스템을 평가하는 벤치마크로 널리 채택되었다. SQuAD 및 GLUE와 같은 다른 벤치마크와 함께 Large language model의 능력을 평가하는 데 자주 사용된다. Challenge 세트는 어려운 시험으로 입증되었다. Neural network 아키텍처와 Transformer (architecture)에 기반한 모델을 포함한 최첨단 모델조차도 약 90% 정확도로 추정되는 인간 성능을 능가하는 데 어려움을 겪고 있다. 2024년 기준으로 Challenge 세트에서 가장 우수한 성능을 보이는 시스템은 높은 80%대의 정확도를 달성했지만, 벤치마크는 여전히 활발한 연구 영역이다.
ARC는 또한 Curriculum Learning 및 Data Augmentation 사용과 같은 Machine learning의 새로운 기술 개발에 영향을 미쳤다. 이 벤치마크는 OpenAI, Anthropic, Google DeepMind를 포함한 주요 AI 연구 조직의 모델을 평가하는 데 사용되었으며, Generative AI 시스템 개발의 핵심 지표가 되었다.
한계 및 비판
인기에도 불구하고 ARC는 비판에 직면했다. 일부 연구자들은 데이터셋이 초등학교 과학에만 초점을 맞춰 너무 좁으며 다른 영역으로 일반화되지 않을 수 있다고 주장한다. 다른 이들은 Challenge 세트가 답변 선택지의 통계적 규칙성을 이용하는 모델에 의해 "속임수"될 수 있다고 지적했지만, 데이터셋은 그러한 지름길을 최소화하도록 설계되었다. 또한 일부 질문에 제공된 지원 사실이 항상 완전하지 않아 모델이 진정으로 추론하는지 아니면 단순히 패턴을 암기하는지 평가하기 어려울 수 있다.
또 다른 한계는 ARC가 다단계 추론이나 질문 텍스트를 넘어선 외부 지식의 통합을 요구하지 않아 더 고급 추론 능력을 측정하는 데 제한적이라는 점이다. 결과적으로 일부 연구자들은 더 넓은 범위의 주제와 난이도를 다루는 MMLU(Massive Multitask Language Understanding) 데이터셋과 같은 더 도전적인 벤치마크를 제안했다.
향후 방향
ARC는 AI 연구 커뮤니티에 여전히 가치 있는 도구로 남아 있으며, 새로운 모델과 기술을 평가하는 기준선으로 계속 사용될 가능성이 높다. 향후 작업은 더 다양한 질문 유형을 포함하도록 데이터셋을 확장하거나 추론을 더 잘 평가하기 위해 답변에 대한 설명을 통합하는 것을 포함할 수 있다. 이 벤치마크는 또한 인간과 기계 추론 사이의 격차를 상기시키며, Artificial intelligence에서 그 격차를 좁히기 위한 지속적인 노력을 촉진한다.
요약하면, ARC는 AI 연구의 기초적인 벤치마크로, 추론 능력에 대한 도전적인 시험을 제공한다. Easy 및 Challenge 세트는 모델 성능에 대한 미묘한 관점을 제공하며, 그 영향은 이 분야의 새로운 알고리즘과 아키텍처 개발로 확장된다.