MS COCO Captions은 이미지 캡셔닝 작업을 위한 기계 학습 및 인공 지능 분야에서 널리 사용되는 데이터셋이다. 이 데이터셋은 Microsoft의 연구자들과 학계 공동 연구자들이 Microsoft Common Objects in Context(COCO) 데이터셋의 이미지를 기반으로 구축했다. 이 데이터셋은 다수의 인간이 작성한 자연어 설명과 짝을 이루는 대규모 이미지 모음을 제공하여, 시각적 콘텐츠의 텍스트 설명을 생성하는 모델의 훈련 및 평가를 가능하게 한다.
MS COCO Captions의 주요 목적은 컴퓨터 비전과 자연어 처리를 연결하는 작업인 이미지 캡셔닝 연구를 지원하는 것이다. 데이터셋의 각 이미지에는 장면 내의 다양한 측면, 객체, 활동을 포착하는 최소 5개의 독립적인 인간 작성 캡션이 연결되어 있다. 이러한 캡션의 다양성은 인간의 인식과 언어의 다양성을 반영하도록 설계되었으며, 모델이 정확하고 다양한 설명을 생성할 수 있는 정도를 평가하기 위한 견고한 벤치마크를 제공한다.
데이터셋 구성 및 통계
MS COCO Captions 데이터셋은 2014년에 처음 공개된 COCO 데이터셋에서 파생되었다. COCO 데이터셋은 원래 328,000개의 이미지와 80개 범주에 걸친 250만 개의 레이블이 지정된 객체 인스턴스를 포함했다. 캡션 확장을 위해 주최측은 Amazon Mechanical Turk를 통해 인간 주석자들로부터 150만 개 이상의 캡션을 수집했다. 이미지는 훈련, 검증, 테스트 세트로 분할되며, 표준 분할은 훈련에 82,783개, 검증에 40,504개, 테스트에 40,775개의 이미지를 사용한다. 캡션은 일반적으로 길이가 10~12단어 정도이며, 전처리 후 어휘 크기는 약 10,000개의 고유 단어이다.
생성 및 주석 과정
데이터셋을 구축하기 위해 COCO 팀은 Amazon Mechanical Turk에서 크라우드소싱 작업자를 고용했다. 각 이미지는 5명의 다른 주석자에게 표시되었으며, 주석자들은 자연스럽고 사실적인 방식으로 이미지를 설명하는 단일 문장을 작성하도록 지시받았다. 그들은 장면에 존재하는 객체, 행동, 관계를 언급하도록 권장되었지만, 개인적인 의견이나 검증할 수 없는 세부 사항은 포함하지 않도록 했다. 주석 지침은 완전한 문장을 사용하고 지나치게 복잡하거나 모호한 표현을 피하는 것을 강조했다. 이 과정은 이미지당 다양한 캡션 세트를 생성했으며, 이는 데이터로 훈련된 모델의 견고성을 향상시키는 것으로 나타났다.
모델 개발에서의 역할
MS COCO Captions는 이미지 캡셔닝 연구의 표준 벤치마크가 되었다. 신경망 아키텍처와 트랜스포머 인코더 및 디코더를 기반으로 하는 초기 모델들은 이 데이터셋에서 자주 평가되었다. 이 데이터셋은 또한 BLEU, METEOR, ROUGE, CIDEr와 같은 지표를 계산하여 모델 성능을 비교하는 COCO 평가 서버와 함께 사용된다. 이러한 지표는 생성된 캡션과 참조 캡션 간의 중복을 측정하며, CIDEr는 이미지 캡셔닝 작업을 위해 특별히 설계되었다. 대규모 고품질 데이터셋의 가용성은 연구자들이 점점 더 정교한 모델을 개발하고 테스트할 수 있게 하여 해당 분야의 발전을 가속화했다.
확장 및 변형
MS COCO Captions의 성공은 여러 확장 및 변형으로 이어졌다. 주목할 만한 변형 중 하나는 COCO 이미지의 하위 집합에 대한 중국어 캡션을 제공하는 COCO-CN 데이터셋이다. 또 다른 예는 COCO에서 직접 파생되지는 않았지만 웹에서 대규모 이미지-텍스트 쌍을 수집하는 유사한 철학을 따르는 Conceptual Captions 데이터셋이다. 또한 원래 COCO 데이터셋은 객체 감지 및 분할과 같은 다른 작업에도 사용되어 컴퓨터 비전에서 다용도 자원이 되었다. 캡션은 또한 모델이 텍스트 설명에서 새 이미지를 생성하는 생성형 AI 연구에도 사용되었으며, 캡션은 풍부한 텍스트-이미지 대응 소스를 제공한다.
영향 및 한계
MS COCO Captions는 시각 장애인을 위한 보조 기술 및 자동 비디오 설명에 사용되는 시스템을 포함하여 이미지 캡셔닝 시스템 개발에 상당한 영향을 미쳤다. 그러나 데이터셋에는 한계가 있다. 이미지는 주로 소비자 사진으로, 모든 시각적 영역을 다루지 못할 수 있으며, 캡션은 가장 눈에 띄는 객체와 행동을 설명하는 경향이 있어 미묘하거나 맥락적인 정보를 놓칠 수 있다. 또한 주석 과정은 주석자가 특정 문화적 배경을 가진 영어 사용자가 대부분이었기 때문에 편향을 도입할 수 있다. 이러한 한계에도 불구하고 이 데이터셋은 해당 분야의 기초 자원으로 남아 있으며, 그 영향은 많은 후속 데이터셋과 모델에서 볼 수 있다.