COCO Captions는 이미지 캡셔닝(image captioning)을 위한 널리 사용되는 벤치마크 데이터셋으로, 인공지능 분야에서 시스템이 이미지에 대한 자연어 설명을 생성하는 작업이다. 이 데이터셋은 객체 탐지 및 분할을 위한 주석이 포함된 330,000개 이상의 이미지를 보유한 Microsoft Common Objects in Context(COCO) 데이터셋의 확장판으로 도입되었다. COCO Captions는 훈련 및 검증 분할에 포함된 약 150,000개의 각 이미지에 대해 5개의 독립적인 인간 작성 캡션을 제공하여 머신 러닝 모델의 훈련과 평가를 모두 가능하게 한다. 이 데이터셋은 모델이 시각적 콘텐츠를 이해하고, 관계와 맥락에 대해 추론하며, 유창하고 의미적으로 정확한 문장을 생성하는 능력을 테스트하도록 설계되었다.
COCO Captions의 캡션은 다양성과 자연스러움으로 유명하다. 종종 공식적이거나 템플릿 기반의 설명을 포함했던 초기 캡셔닝 데이터셋과 달리, COCO Captions는 행동, 상호작용 및 전반적인 장면에 대한 세부 사항을 포함하여 시력이 있는 사람이 하는 방식으로 이미지를 설명하라는 지침을 받은 인간 주석자들로부터 수집되었다. 그 결과 캡션은 스타일, 길이 및 초점이 다양하며, 눈에 띄는 객체와 더 넓은 맥락을 모두 포착한다. 예를 들어, 주방 이미지는 "카운터에서 음식을 준비하는 사람" 또는 "스테인리스 스틸 가전제품과 나무 테이블이 있는 현대적인 주방"으로 캡션될 수 있다. 이러한 풍부함은 모델이 정보의 우선순위를 정하고 정확할 뿐만 아니라 다양하고 인간과 유사한 캡션을 생성하는 방법을 학습해야 하므로 벤치마크를 어렵게 만든다.
평가 지표 및 일반적인 접근 방식
COCO Captions에 대한 표준 평가는 BLEU, METEOR, ROUGE 및 CIDEr와 같은 자동 지표를 사용하며, CIDEr(Consensus-based Image Description Evaluation)는 생성된 캡션과 참조 캡션 간의 일치도를 측정하므로 캡셔닝에 특히 적합하다. 이러한 지표는 n-gram 중복 및 의미적 유사성을 비교하지만, 인간의 판단을 포착하는 데 알려진 한계가 있다. 실제로 연구자들은 정성적 평가를 위해 인간 평가도 수행한다.
COCO Captions에 대한 초기 접근 방식은 이미지 특징 추출을 위한 합성곱 신경망(CNN)과 시퀀스 생성을 위한 순환 신경망(RNN, 종종 장단기 메모리(LSTM) 네트워크)을 결합한 신경망 아키텍처에 의존했다. 이러한 인코더-디코더 모델은 기준 성능을 설정했다. 트랜스포머 아키텍처와 비전-언어 사전 훈련과 같은 대규모 언어 모델 기반 방법의 도입은 상당한 개선을 가져왔다. CLIP 및 이후의 멀티모달 트랜스포머(예: OpenAI 및 Google DeepMind에서 개발된 모델)는 시각적 및 텍스트 표현을 공유 임베딩 공간에서 정렬하여 최첨단 결과를 달성했다.
데이터셋 구조 및 변형
COCO Captions는 훈련, 검증 및 테스트 분할로 구성되며, 테스트 분할은 공식 벤치마크 리더보드에 사용된다. 각 이미지는 5개의 캡션과 쌍을 이루며, 데이터셋에는 총 500,000개 이상의 캡션이 포함된다. 이미지는 사람, 차량, 동물 및 가정용품과 같은 일반적인 항목을 포함한 80개의 객체 범주를 다루며 일상적인 장면에서 수집된다. 이 데이터셋은 중국어 캡션을 위한 COCO-CN 변형과 새로운 객체 및 장면에 대한 일반화를 테스트하는 nocaps 벤치마크와 같은 여러 방식으로 확장되었다. 이러한 변형은 동일한 이미지 세트를 유지하지만 새로운 캡셔닝 과제를 도입한다.
주요 특징은 "thing" 범주(개별 객체) 외에도 하늘, 잔디 및 벽과 같은 배경 요소를 포함하는 "stuff" 범주이다. 이는 모델이 전경 객체만이 아니라 전체 장면을 설명하도록 장려한다. 주석 과정에는 Amazon Mechanical Turk의 크라우드 워커가 참여했으며, 지나치게 단순하거나 반복적인 설명을 피하기 위해 특정 지침이 제공되어 높은 변동성을 보장했다.
영향 및 한계
COCO Captions는 이미지 캡셔닝 시스템을 평가하는 사실상의 표준이 되었으며, 딥 러닝, 생성형 AI 및 멀티모달 이해 분야의 연구에 영향을 미쳤다. 수백 편의 출판된 논문에서 사용되었으며 주요 학회 및 대회에서 벤치마크로 활용된다. 이 데이터셋은 또한 풍부한 이미지-텍스트 쌍을 제공함으로써 시각적 질문 응답 및 텍스트-이미지 생성과 같은 관련 작업의 개발을 촉진했다.
그러나 이 데이터셋에는 주목할 만한 한계가 있다. 이미지는 서양의 일상적인 장면에 편향되어 있으며, 캡션은 주석자의 문화적 및 언어적 규범을 반영하여 모델이 고정관념을 학습할 수 있다. 평가 지표는 사실적 정확성이나 미묘한 오류와 같은 캡션 품질을 완전히 포착하지 못한다. 또한 이미지당 고정된 캡션 세트는 생성된 캡션의 다양성 평가를 제한할 수 있다. 연구자들은 Flickr30k 데이터셋과 같은 보완 벤치마크를 제안했지만, COCO Captions는 규모와 표준화로 인해 가장 널리 사용되는 데이터셋으로 남아 있다.
최근 개발 및 향후 방향
대규모 비전-언어 모델의 부상으로 COCO Captions는 주요 훈련 소스보다는 미세 조정 또는 평가 세트로 자주 사용된다. Anthropic 및 Google DeepMind와 같은 기관의 웹 규모 데이터로 사전 훈련된 모델은 제로샷 또는 퓨샷 캡셔닝 능력을 측정하기 위해 COCO Captions에서 평가된다. 이 벤치마크는 또한 하위 집합이나 수정된 버전을 만들어 의료 영상이나 자율 주행과 같은 특정 도메인의 캡셔닝 평가에 적응되었다.
향후 작업은 인간의 판단과 일치하는 더 강력한 평가 지표 개발, 더 다양하고 포용적인 이미지로의 확장, 모델 능력에 따라 진화할 수 있는 동적 벤치마크 생성 등 데이터셋의 한계를 해결하는 데 초점을 맞추고 있다. 2020년대 중반 현재 COCO Captions는 이 분야의 기초 자원으로 남아 있지만, 연구자들은 이미지 이해와 언어 생성의 경계를 넓히기 위해 점점 더 새로운 데이터셋과 평가 프레임워크로 이를 보완하고 있다.