COCO(Common Objects in Context)는 주로 객체 탐지, 분할, 이미지 캡셔닝을 위한 컴퓨터 비전 작업의 대규모 데이터셋이다. 2014년 마이크로소프트 연구진이 만든 이 데이터셋은 이전 데이터셋의 한계를 극복하기 위해 자연적 맥락 속의 객체, 즉 여러 객체와 복잡한 장면을 포함하는 비전형적 이미지에 초점을 맞추도록 설계되었다. 이 데이터셋은 33만 장 이상의 이미지로 구성되며, 그중 20만 장 이상이 레이블링되어 있고, 80개 객체 범주에 걸쳐 250만 개의 레이블링된 인스턴스가 있다. COCO는 Machine learning 모델을 비전 작업에서 평가하는 표준 벤치마크가 되었으며, Deep learning 아키텍처와 Neural network 설계의 발전을 촉진했다.
단일 중앙 객체를 특징으로 했던 이전 데이터셋과 달리, COCO는 맥락적 이해를 강조한다. 각 이미지는 일반적으로 여러 객체, 상호작용, 다양한 배경을 포함하여 탐지와 분할을 더 어렵게 만들고 실제 응용에 더 가깝게 한다. 주석에는 인스턴스별 분할 마스크, 경계 상자, 인간 포즈의 키포인트, 각 이미지의 자연어 캡션이 포함된다. 이러한 풍부함은 인스턴스 분할, 파놉틱 분할, 밀집 캡셔닝과 같은 작업에서 동시 훈련과 평가를 가능하게 한다.
데이터셋 구성 및 주석
COCO 데이터셋은 2014년, 2015년, 2017년의 세 가지 주요 버전으로 출시되었다. 가장 일반적으로 사용되는 2017년 버전에는 118,000개의 훈련 이미지, 5,000개의 검증 이미지, 41,000개의 테스트 개발 이미지가 포함된다. 주석에는 객체 인스턴스(다각형 분할 마스크 포함), 스터프 범주(예: 하늘, 잔디), 이미지 캡션, 사람 키포인트(17개 신체 관절)가 포함된다. 80개 객체 클래스는 사람, 자전거, 자동차, 개, 고양이, 가구 항목을 포함한 일상적인 객체에서 파생되었다. 주석 과정은 Amazon Mechanical Turk를 통해 크라우드소싱되었으며 엄격한 품질 관리를 거쳤다. 각 이미지는 여러 작업자에 의해 주석이 달리고 결과는 병합 및 검증되어 높은 레이블 일관성을 보장한다. 이미지당 평균 인스턴스 수는 7.7개이며, 각 이미지에는 약 3.5개의 서로 다른 범주가 포함되어 실제 세계의 복잡성을 반영한다.
평가 지표
COCO는 현대 비전 연구에서 광범위하게 사용되는 표준 평가 지표를 도입했다. 주요 지표는 IoU(Intersection over Union) 임계값에서의 Average Precision(AP)이며, IoU 0.5에서 0.95까지 0.05 간격으로 집계된다. 이 "COCO AP" 지표는 정밀한 위치 파악을 보상한다. 보조 지표에는 IoU 0.5 및 0.75에서의 AP와 소형, 중형, 대형 객체에 대한 AP가 포함되어 규모 견고성을 평가한다. 분할 작업의 경우 AP는 박스 IoU가 아닌 마스크 IoU를 사용하여 계산된다. 공식 평가 서버는 테스트 개발 및 테스트 챌린지 분할에서 순위를 제공하며, 이는 탐지기 성능의 빠른 개선을 주도했다. 2015년부터 COCO는 연례 워크숍과 챌린지도 개최하며, Carnegie Mellon University, Stanford AI Lab, BAIR (Berkeley AI Research)의 팀을 포함한 학계와 산업계의 최고 연구 그룹을 끌어모았다.
컴퓨터 비전 연구에 미친 영향
COCO는 객체 탐지와 분할을 발전시키는 데 중요한 역할을 했다. Faster R-CNN(2015), Mask R-CNN(2017), YOLO 변형을 포함한 많은 획기적인 아키텍처가 COCO에서 벤치마킹되었다. 데이터셋의 복잡성은 필드를 더 견고한 모델로 밀어붙였으며, 특징 피라미드 네트워크, 앵커 프리 탐지기, 주의 기반 메커니즘의 개발을 장려했다. COCO는 또한 2020년에 도입된 DETR(Detection Transformer)과 같은 Transformer (architecture) 기반 비전 모델의 부상에 기여했으며, 이는 탐지를 집합 예측 문제로 취급한다. 데이터셋은 수백만 번의 모델 반복을 위한 훈련 및 평가 기반으로 사용되어 학술 논문에서 동료 비교의 사실상 표준이 되었다. 탐지 외에도 COCO의 캡셔닝 주석은 비전-언어 모델 연구를 자극했으며, 이는 이후 Generative AI 및 Large language model 발전과 함께 진화했다. 키포인트의 가용성은 포즈 추정 연구를 촉진하여 인간-컴퓨터 상호작용과 로봇 공학과 같은 분야에 영향을 미쳤다.
확장 및 커뮤니티 리소스
COCO에서 여러 파생 데이터셋과 도구가 등장했다. COCO-Stuff 데이터셋(2017)은 91개 스터프 클래스에 대한 픽셀 수준 주석을 추가하여 파놉틱 분할을 가능하게 한다. 키포인트 주석은 다중 인물 포즈 추정 작업을 위해 확장되었다. COCO의 형식은 LVIS(Large Vocabulary Instance Segmentation) 및 Open Images와 같은 많은 다른 데이터셋에 채택되어 상호 운용성을 촉진했다. COCO API는 주석을 로드, 시각화, 평가하기 위한 Python 및 MATLAB 도구 상자로 표준 유틸리티가 되었다. 또한 COCO에서의 사전 훈련은 다른 비전 영역의 전이 학습에 일반적이다. 2023년의 Segment Anything Model(SAM)과 같은 최근 작업은 훈련 데이터의 일부로 COCO를 활용하여 지속적인 관련성을 입증했다. 2025년 현재 COCO는 여전히 초석 벤치마크로 남아 있지만, 더 많은 범주나 더 높은 이미지 해상도를 가진 최신 데이터셋이 때때로 이를 보완한다.
한계 및 비판
성공에도 불구하고 COCO에는 한계가 있다. 80개 범주는 제한적이며 서양 맥락에 편향되어 있어 문화적으로 특정한 많은 객체가 누락되어 있다. 데이터셋은 정적이며 2014년에 수집된 이미지를 포함하여 현대 장면을 반영하지 않는다. 주석 오류가 존재하지만 다중 작업자 합의로 인해 상대적으로 낮다. 클래스 분포는 불균형하여 '사람'과 '자동차'와 같은 일반적인 객체를 희귀한 객체보다 선호한다. 밀집 주석 요구 사항은 노동 비용으로 인해 더 많은 범주로 확장하는 것을 비싸게 만든다. 연구자들은 이를 해결하기 위해 능동 학습과 자동 주석을 제안했지만 비용은 여전히 높다. 또한 COCO의 지표는 위치 파악 정확도에 초점을 맞추어 의미적 오류와 공간적 오류를 혼동할 수 있다. 이러한 문제에도 불구하고 COCO의 영향력은 지속되며, 새로운 아키텍처를 평가하는 첫 번째 벤치마크로 자주 사용되어 지속적인 비교 결과의 흐름을 보장한다.
향후 방향
COCO의 벤치마크로서의 미래는 더 많은 범주나 이미지를 제공하는 Objects365(2019) 및 Open Images V6(2019)와 같은 최신 데이터셋의 등장과 함께 진화하고 있다. 그러나 COCO의 유산은 평가 관행을 정의하는 역할로 확보되어 있다. 자율 주행 차량과 증강 현실을 구동하는 현대 Artificial intelligence 시스템은 여전히 COCO 훈련 모델을 Neural network 인식에 의존한다. 데이터셋의 설계 원칙 - 맥락적 객체, 밀집 주석, 엄격한 지표 - 은 자율 주행을 위한 nuScenes 및 LVIS 챌린지와 같은 후속 벤치마크에 영향을 미쳤다. 또한 COCO의 주석 파이프라인은 Generative AI 훈련 세트의 데이터 수집에 정보를 제공했다. 필드가 개방 어휘 탐지와 기반 모델로 이동함에 따라 COCO는 여전히 중요한 검증 세트로 남아 있지만, 연구자들은 제로샷 일반화를 테스트하기 위해 사용자 지정 하위 집합도 사용한다. 데이터셋의 재현 가능한 과학에 대한 기여는 깊으며 수백만 건의 실험에 공통 기반을 제공한다.
같이 보기
Category:Computer vision datasets