CLEVR(Compositional Language and Elementary Visual Reasoning)는 2017년에 도입된 벤치마크 데이터셋으로, 인공지능 시스템의 시각적 추론 능력을 평가하기 위해 설계되었다. 이 데이터셋은 단순한 3D 모양의 렌더링된 이미지 100,000장과 이에 대응하는 질문 853,554개로 구성되며, 계산, 비교, 속성 식별, 공간 관계와 같은 특정 추론 기술을 분리하고 측정하도록 설계되었다. 이 데이터셋은 스탠포드 대학의 연구자들(저스틴 존슨, 바라트 하리하란, 페이페이 리 포함)이 개발했으며, 기존의 시각적 질문 응답 벤치마크가 진정한 이해보다는 통계적 편향에 의존하는 경우가 많다는 한계를 해결하기 위해 만들어졌다.
CLEVR의 이미지에는 세 가지 모양(큐브, 구, 원통), 두 가지 크기(대형, 소형), 두 가지 재질(고무, 금속), 여덟 가지 색상(회색, 파란색, 갈색, 노란색, 빨간색, 녹색, 보라색, 청록색)을 가진 객체가 포함된다. 각 장면에는 3D 환경에 무작위로 배치된 3~10개의 객체가 있다. 질문은 90개의 서로 다른 기능적 템플릿에서 생성되어 존재, 계산, 비교, 속성 질의, 그리고 왼쪽, 오른쪽, 앞, 뒤와 같은 공간 관계에 대한 추론을 테스트하는 변형을 만든다. 통제된 생성 과정은 답변이 장면과 질문에 의해 고유하게 결정되도록 보장하여 모호성을 제거하고 정밀한 오류 분석을 가능하게 한다.
설계 목표와 진단 가치
CLEVR의 주요 목적은 Artificial intelligence 연구, 특히 Deep learning 및 Neural network 아키텍처를 사용하는 시스템을 위한 진단 도구로 사용되는 것이다. 실제 세계 데이터셋과 달리 CLEVR은 시각적 잡음, 조명 변화, 배경 혼란을 제거하여 인지 연산을 분리한다. 연구자들은 장면과 질문을 체계적으로 변형하여 모델의 특정 실패 모드를 식별할 수 있으며, 예를 들어 여러 객체를 계산하지 못하거나 공간 전치사 간의 혼동과 같은 문제를 발견할 수 있다. 이러한 세분화된 피드백은 오류가 일반적인 성능 저하가 아닌 특정 추론 단계로 추적될 수 있기 때문에 모델 설계의 반복적 개선을 가속화한다.
모델 개발에 미치는 영향
CLEVR은 구성적 추론을 위한 Machine learning 접근법을 발전시키는 데 중요한 역할을 했다. 초기 결과는 표준 컨볼루션 및 순환 네트워크가 복잡한 질문에서 우연 수준에 가까운 성능을 보인 반면, 인간의 정확도는 92%를 초과했음을 보여주었다. 이러한 격차는 객체 간의 쌍별 상호작용을 명시적으로 모델링하는 Relation Network와 질문을 추론 단계로 분해하는 MAC(Memory, Attention, and Composition) 네트워크와 같은 특수 아키텍처의 개발을 촉진했다. 이러한 모델은 CLEVR에서 98% 이상의 정확도를 달성하여 명시적 구조적 사전 지식이 초기 실패를 극복할 수 있음을 입증했다. 이 데이터셋은 또한 계산이나 비교와 같은 특정 기능을 처리하는 별도의 모듈을 사용하는 모듈식 네트워크와 질문을 실행 가능한 코드로 변환하는 프로그램 생성기에 대한 연구를 촉진했다.
한계와 비판
성공에도 불구하고 CLEVR은 일반성에 대한 비판에 직면한다. 합성적 특성과 제한된 객체 유형은 모델이 좁은 분포에 과적합되어 CLEVR에서는 잘 수행되지만 OpenAI 또는 Google DeepMind 제품 평가에서 발견되는 실제 세계 작업에서는 성능이 저하될 수 있음을 의미한다. Brendan Lake 및 Joshua Tenenbaum을 포함한 연구자들은 높은 정확도가 반드시 새로운 구성에 대한 강력한 일반화를 의미하지는 않는다고 지적했다. 이 데이터셋은 또한 인간 언어에서 흔한 모호성이 부족하며, 행동이나 시간적 역학에 대한 추론을 테스트하지 않는다. 이러한 비판은 가상 장면, 동적 이벤트, 더 복잡한 객체 유형을 도입하여 원래 범위를 넘어서는 CLEVR-Hyp, CLEVRER, Compositional CLEVR과 같은 파생 벤치마크로 이어졌다.
벤치마킹과 표준화
CLEVR 데이터셋은 Computer vision 및 Natural language processing 커뮤니티에서 표준 벤치마크가 되었으며, 수많은 연구 논문과 리더보드에 등장한다. 통제된 설계는 연구자들이 모델의 구성 요소를 체계적으로 제거하여 기여도를 측정하는 절제 연구에 적합하게 만든다. 데이터셋의 코드와 생성 도구는 오픈소스로 제공되어 특정 실험에 맞게 사용자 정의할 수 있다. Amazon Web Services 및 Google Cloud와 같은 주요 클라우드 제공업체는 머신 러닝 튜토리얼에 CLEVR을 포함하며, MIT CSAIL 및 Carnegie Mellon University와 같은 기관의 학술 과정은 학생 프로젝트에 이를 사용한다. 이 벤치마크의 수명은 명확한 지표, 복제 용이성, 오류 해석 가능성 덕분이며, 이는 새로운 데이터셋이 등장하더라도 여전히 가치가 있다.
향후 방향
진행 중인 작업은 진단 명확성을 유지하면서 CLEVR의 원리를 더 현실적인 영역으로 확장하는 것을 목표로 한다. 예를 들어, CLEVR-X는 외부 지식 그래프를 도입하고, CLEVR-Ref는 지시 표현을 추가한다. Large language model 및 Transformer (architecture) 아키텍처의 부상으로 인해 이러한 모델이 장면을 텍스트 설명으로 변환하여 명시적 시각 처리 없이 CLEVR 스타일 질문을 해결할 수 있는지 테스트가 이루어졌다. 초기 결과는 GPT-4와 같은 모델이 중간 수준의 정확도를 달성할 수 있지만 다단계 공간 추론에서는 여전히 어려움을 겪으며, 이는 Generative AI 접근법이 구조화된 추론 모듈과의 통합을 필요로 함을 시사한다. 따라서 이 데이터셋은 차세대 AI 시스템의 핵심 과제인 구성적 일반화를 평가하는 활발한 영역으로 남아 있다.