RefCOCOg는 컴퓨터 비전과 자연어 처리 분야의 과제인 지시 표현 이해를 위한 데이터셋으로, 시스템이 텍스트 설명을 바탕으로 이미지에서 특정 객체를 찾아내는 작업을 다룬다. 이 데이터셋은 이전의 RefCOCO 데이터셋의 확장판으로 도입되었으며, 인간이 생성한 언어와 유사한 더 길고 서술적인 표현에 초점을 맞춘다. 데이터셋은 330,000개 이상의 이미지와 상세한 객체 주석을 포함하는 Microsoft COCO(Common Objects in Context) 이미지 컬렉션을 기반으로 구축되었다.
RefCOCOg의 주요 차별점은 설명에 있다. 이전 데이터셋이 종종 짧고 템플릿 기반의 구문을 사용한 반면, RefCOCOg는 맥락 정보, 공간 관계, 속성 세부 사항을 포함하는 더 길고 자연스러운 문장을 제공한다. 예를 들어, 설명은 단순히 "그 남자"가 아니라 "빨간 차 옆에 서 있는 파란 셔츠를 입은 남자"일 수 있다. 이는 데이터셋을 시각적 내용과 언어적 뉘앙스를 모두 이해해야 하는 모델을 평가하는 데 더 도전적이고 현실적으로 만든다.
데이터셋 구축
RefCOCOg는 노스캐롤라이나 대학교 채플힐 캠퍼스의 연구자들에 의해 만들어졌으며, 2016년 논문에서 처음 발표되었다. 데이터셋은 크라우드소싱 플랫폼을 사용하여 구축되었으며, 작업자들은 COCO에서 이미지를 보여받고 이미지 내 특정 객체를 고유하게 식별하는 설명을 작성하도록 요청받았다. 지침은 사전 정의된 템플릿을 사용하기보다 자연스럽고 인간적인 구문을 생성하는 것을 강조했다. 이 과정을 통해 26,711개의 이미지에서 54,822개의 객체에 대해 약 104,560개의 지시 표현이 생성되었다.
데이터셋은 훈련, 검증, 테스트 세트로 분할된다. RefCOCOg-google로 불리는 일반적인 분할은 훈련과 검증에 90/10 비율을 사용하며, 별도의 테스트 세트를 둔다. 또 다른 분할인 RefCOCOg-umd는 메릴랜드 대학교 연구자들에 의해 나중에 제안되었으며, 분할 간 이미지의 더 균형 잡힌 분포를 제공한다. 분할 선택은 모델 평가에 상당한 영향을 미칠 수 있으며, 서로 다른 분할은 다양한 난이도를 가질 수 있다.
평가 및 지표
RefCOCOg의 표준 평가는 정확도 지표를 사용하며, 예측된 경계 상자가 실제 상자와의 교차-합집합 비율(IoU)이 일반적으로 0.5를 초과하는 경우 예측이 올바른 것으로 간주된다. 일부 평가는 0.75와 같은 더 높은 IoU 임계값에서의 정확도도 보고하여 위치 파악 정밀도를 평가한다. 이 작업은 종종 순위 문제로 구성되며, 모델은 객체 탐지기에 의해 생성된 후보 제안 세트에서 올바른 영역을 선택해야 한다.
AI 연구에 미치는 영향
RefCOCOg는 시각적 근거 및 다중 모달 이해를 위한 벤치마크가 되었다. 이는 Transformer (architecture) 아키텍처와 Large language model을 기반으로 하는 것을 포함하여 시각과 언어를 결합하는 모델을 평가하는 데 널리 사용된다. 데이터셋은 영역 수준 캡셔닝, 시각적 질문 응답, 지시 표현 생성과 같은 영역에서의 진전을 이끌었다. 많은 현대적 접근 방식은 Deep learning 기술, 특히 Residual Network (ResNet) 백본과 Multi-Head Attention 메커니즘을 사용하여 데이터셋의 더 긴 설명이 제기하는 과제를 해결한다.
데이터셋은 또한 지시 표현 분할과 같은 관련 작업의 기반이 되며, 여기서 목표는 경계 상자가 아닌 픽셀 수준의 마스크를 생성하는 것이다. 연구자들은 시간적 또는 상호작용적 요소를 포함한 새로운 벤치마크를 만들기 위해 RefCOCOg를 확장했지만, 원래 데이터셋은 여전히 표준 참조 지점으로 남아 있다.
한계 및 과제
유용성에도 불구하고 RefCOCOg는 알려진 한계가 있다. 설명은 이전 데이터셋보다 길지만, 완전한 자연어 단락에 비해 여전히 상대적으로 짧다. 데이터셋은 또한 COCO에서 비롯된 편향, 예를 들어 일반적인 객체 범주의 과대 대표와 일상적인 장면에 대한 초점을 상속받는다. 또한 크라우드소싱된 설명은 모호하거나 항상 시각적으로 명확하지 않은 맥락에 의존할 수 있어, 일부 경우 인간 주석자에게도 작업을 어렵게 만든다.
또 다른 과제는 평가 프로토콜 자체이다. 고정된 IoU 임계값을 사용하는 것은 특히 작은 객체나 불규칙한 모양의 객체에 대해 모델의 위치 파악 품질을 완전히 포착하지 못할 수 있다. 최근 몇 년 동안 연구자들은 더 견고한 지표와 평가 프레임워크를 제안했지만, 원래의 정확도 지표가 여전히 가장 일반적으로 보고된다.
향후 방향
RefCOCOg는 새로운 AI 방법을 위한 테스트베드로서 계속 관련성을 유지하고 있다. Generative AI와 다중 모달 모델의 부상과 함께, 데이터셋은 이러한 시스템이 언어를 시각적 내용에 얼마나 잘 근거할 수 있는지 조사하는 데 자주 사용된다. 향후 작업은 더 다양한 설명으로 데이터셋을 확장하거나, 비디오 또는 3D 장면을 통합하거나, 다른 벤치마크와 통합하여 더 포괄적인 평가 제품군을 만드는 것을 포함할 수 있다. RefCOCOg에서 얻은 교훈은 실제 세계 언어와 시각의 복잡성을 더 잘 반영하는 차세대 시각적 근거 데이터셋 개발에 정보를 제공할 가능성이 높다.