COCO-Stuff 164K은 의미론적 분할과 장면 이해를 위한 대규모 데이터셋으로, Microsoft Common Objects in Context(COCO) 데이터셋의 확장판으로 구축되었다. 이 데이터셋은 'stuff' 클래스(하늘, 잔디, 도로와 같은 무정형 배경 영역)와 'thing' 클래스(사람, 자동차, 개와 같은 셀 수 있는 객체) 모두에 대한 조밀한 픽셀 수준의 주석을 제공한다. 데이터셋은 164,000개의 이미지를 포함하며, 각 이미지는 172개의 의미론적 범주 중 하나로 주석이 달려 있어 의미론적 분할, 인스턴스 분할, 장면 파싱과 같은 컴퓨터 비전 작업에서 모델을 훈련하고 평가하기 위한 가장 포괄적인 자원 중 하나로 꼽힌다.
이 데이터셋은 2018년 프라이부르크 대학의 연구자들(Holger Caesar, Jasper Uijlings, Vittorio Ferrari 포함)에 의해 소개되었으며, 'COCO-Stuff: Thing and Stuff Classes in Context'라는 논문으로 발표되었다. 이는 10,000개의 이미지를 가진 원래 COCO-Stuff 데이터셋을 기반으로, 전체 COCO 훈련 및 검증 분할로 확장한 것이다. 172개의 클래스는 80개의 thing 클래스(COCO의 thing 범주와 동일)와 92개의 stuff 클래스(자연 및 인공 배경 요소 포함)로 나뉜다.
구축 및 주석
COCO-Stuff 164K의 주석 과정은 자동 및 수동 단계를 모두 포함한다. 초기 stuff 주석은 딥러닝 모델과 인간의 정제 작업을 결합하여 생성되었다. 데이터셋은 크라우드 워커가 만든 thing 클래스에 대한 기존 COCO 주석을 활용하고, stuff 클래스에 대한 픽셀 수준 마스크를 추가한다. 최종 주석은 164,000개의 이미지 전반에 걸쳐 일관성과 정확성을 보장하기 위해 일련의 품질 관리 검사를 통해 검증되었다.
데이터셋의 각 이미지는 픽셀당 단일 레이블로 주석이 달리며, 주석은 저장 공간 요구 사항을 줄이기 위해 압축된 런-렝스 인코딩 형식으로 제공된다. 데이터셋은 118,000개의 이미지로 구성된 훈련 세트와 5,000개의 이미지로 구성된 검증 세트로 나뉘며, 나머지 이미지는 테스트용으로 예약되어 있다(테스트 세트의 주석은 공개적으로 배포되지 않는다).
딥러닝에서의 응용
COCO-Stuff 164K은 의미론적 분할의 표준 벤치마크가 되었으며, 이는 기계 학습 및 딥러닝에서 모델이 이미지의 모든 픽셀에 클래스 레이블을 할당하는 작업이다. 이 데이터셋은 잔차 네트워크 및 U-Net 기반 모델을 포함한 신경망 아키텍처와 트랜스포머 기반 접근 방식의 성능을 평가하는 데 널리 사용된다. 데이터셋의 stuff 및 thing 클래스의 다양성은 모델이 세밀한 객체 경계와 대규모 맥락 영역을 모두 이해하도록 도전한다.
이 데이터셋은 또한 의미론적 분할과 인스턴스 분할을 통합하여 모델이 stuff 및 thing 레이블을 동시에 예측하도록 요구하는 작업인 패놉틱 분할에도 사용된다. 이는 단일 순방향 패스에서 두 유형의 클래스를 처리할 수 있는 통합 아키텍처에 대한 연구를 촉진했다.
벤치마크 및 평가 지표
COCO-Stuff 164K의 주요 평가 지표는 평균 Intersection over Union(mIoU)으로, 모든 클래스에 걸쳐 평균화된 예측 및 실제 분할 마스크 간의 겹침을 측정한다. 연구자들은 또한 클래스별 IoU와 픽셀 정확도를 보고한다. 데이터셋의 공식 평가 서버는 모델의 공정한 비교를 가능하게 하며, 리더보드는 시간에 따른 최신 기술을 추적한다.
출시 이후, 이 데이터셋은 수백 개의 연구 논문에서 사용되었으며, 최고 성능의 모델은 검증 세트에서 50 이상의 mIoU 점수를 달성했고, 트랜스포머 기반 아키텍처와 어텐션 메커니즘의 발전에 힘입어 상당한 진전이 이루어졌다.
다른 데이터셋과의 관계
COCO-Stuff 164K은 COCO-Stuff 10K 및 원래 COCO 데이터셋을 포함한 COCO에서 파생된 데이터셋 계열의 일부이다. 이는 도시 주행 장면에 초점을 맞춘 Cityscapes와 더 넓은 범위의 실내 및 실외 장면을 다루는 ADE20K와 같은 다른 장면 이해 데이터셋을 보완한다. 데이터셋의 맥락 및 stuff 클래스에 대한 강조는 배경 영역을 이해하는 것이 객체 감지만큼 중요한 자율 주행, 로봇 공학, 증강 현실과 같은 응용 분야에서 특히 유용하다.
데이터셋은 연구 목적으로 공개적으로 제공되며 공식 COCO 웹사이트에서 호스팅된다. 이는 인공지능 연구소 및 클라우드 플랫폼의 사전 훈련된 모델과 함께 일반적으로 사용되며, 컴퓨터 비전 분야를 발전시키는 핵심 자원으로 남아 있다.