COCO test-dev는 COCO(Common Objects in Context) 데이터셋의 지정된 테스트 분할로, COCO 탐지 및 분할 챌린지에서 모델 평가를 위해 생성되었다. 표준 테스트 분할과 달리 test-dev는 "블라인드" 세트로, 해당 ground-truth 주석은 공개적으로 배포되지 않는다. 연구자들은 평가 서버에 모델 예측을 제출하며, 서버는 mean Average Precision(mAP)과 같은 지표를 계산하여 점수를 반환한다. 이 프로토콜은 테스트 세트에 대한 과적합을 방지하고 경쟁 방법 간의 공정한 비교를 보장하도록 설계되었다.
COCO 데이터셋은 2014년 Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, C. Lawrence Zitnick에 의해 소개되었다. 이 데이터셋은 80개 범주에 걸쳐 150만 개 이상의 객체 인스턴스가 레이블된 20만 개 이상의 이미지를 포함한다. 이 데이터셋은 객체 탐지, 인스턴스 분할, 키포인트 탐지와 같은 작업을 위한 컴퓨터 비전 연구에서 널리 사용된다. test-dev 분할에는 약 2만 개의 이미지가 포함되며, 이는 전체 테스트 세트(약 4만 개의 이미지)의 하위 집합이다. 나머지 테스트 이미지는 챌린지 평가를 위해 예약된 "test-challenge" 분할에 사용되며, 이 역시 공개 주석이 없다.
평가 프로토콜
2015년부터 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 개최된 COCO 탐지 챌린지와 같은 COCO 챌린지 참가자들은 test-dev 분할에 대한 결과를 제출한다. 평가 서버는 표준 지표를 계산한다: IoU 임계값 0.5에서 0.95까지 0.05 단계의 Average Precision(AP), IoU 0.5에서의 AP, IoU 0.75에서의 AP, 그리고 다양한 탐지 수에 대한 평균 재현율(AR). 주요 지표는 IoU 0.50:0.95에서의 AP로, 종종 COCO AP라고 불린다. 이 지표는 단일 IoU 임계값 0.5를 사용하는 전통적인 PASCAL VOC 지표보다 더 엄격하다.
test-dev의 블라인드 특성은 연구자들이 테스트 세트에서 직접 반복할 수 없음을 의미한다. 대신, 그들은 일반적으로 개발 및 하이퍼파라미터 튜닝을 위해 보류된 검증 세트(val2014 또는 val2017)를 사용한다. test-dev 분할은 최종 보고에만 사용되며, 이는 벤치마크의 무결성을 유지하는 데 도움이 된다. 수년에 걸쳐 COCO 평가 서버는 객체 탐지에서 머신 러닝 모델을 비교하는 표준이 되었으며, 많은 최첨단 시스템이 test-dev에서 성능을 보고한다.
역사적 배경
COCO는 객체 범주가 적거나 분류보다는 위치 파악에 초점을 맞춘 PASCAL VOC 및 ImageNet과 같은 초기 데이터셋의 한계를 해결하기 위해 만들어졌다. test-dev 분할은 챌린지 기반 평가를 지원하기 위해 데이터셋 설계의 일부로 도입되었다. 첫 번째 COCO 챌린지는 2015년에 개최되었으며, 이후 2020년까지 매년 개최되었고, 마지막 공식 챌린지는 2020년 ECCV 워크숍에서 열렸다. 이 기간 동안 test-dev는 탐지 및 분할 알고리즘을 비교하는 사실상의 벤치마크가 되었다.
데이터셋은 COCO 2014, COCO 2015, COCO 2017의 여러 버전을 거쳤다. test-dev 분할은 각 버전에 존재하지만, 2017년 버전이 최근 연구에서 가장 일반적으로 사용된다. 2017년 test-dev는 20,288개의 이미지를 포함하며, 해당 주석은 비공개로 유지된다. COCO 2017 평가 서버는 여전히 운영 중이며, 연구자들은 예측을 제출하고 지표를 얻을 수 있다.
연구에 미치는 영향
COCO test-dev는 객체 탐지 및 인스턴스 분할의 발전을 이끄는 데 중요한 역할을 해왔다. Faster R-CNN, Mask R-CNN, YOLO 변형을 포함한 많은 영향력 있는 모델이 이 분할에서 결과를 보고했다. 예를 들어, 2017년 Kaiming He와 동료들이 소개한 Mask R-CNN은 test-dev에서 37.1의 AP를 달성하여 당시 새로운 최첨단을 세웠다. 이후 EfficientDet 및 Swin Transformer와 같은 모델은 AP를 50 이상으로 끌어올렸다. 표준화된 블라인드 테스트 세트의 가용성은 공정한 비교를 가능하게 했으며, 특징 피라미드 네트워크, 앵커 프리 탐지기, 트랜스포머 기반 탐지기와 같은 기술의 개발을 가속화했다.
탐지 외에도 test-dev는 2018년에 도입된 의미 분할과 인스턴스 분할을 결합한 작업인 범주형 분할(panoptic segmentation) 평가에도 사용된다. COCO 범주형 챌린지는 80개의 사물 범주와 91개의 배경 범주를 가진 별도의 test-dev 분할을 사용한다. 이 확장은 벤치마크의 유용성을 넓혔다.
한계 및 대안
널리 사용됨에도 불구하고 test-dev에는 한계가 있다. 현대 데이터셋의 규모에 비해 적은 수의 이미지(약 2만 개)는 특히 희귀 범주에서 지표의 노이즈를 초래할 수 있다. 또한 블라인드 평가 프로토콜은 예측을 서버에 제출해야 하므로, 인터넷 접근이 없는 연구자나 로컬 하드웨어에서 평가하려는 연구자에게 장벽이 될 수 있다. 이러한 문제를 해결하기 위해 일부 연구자들은 더 큰 범주 세트와 다른 평가 프로토콜을 가진 LVIS(Large Vocabulary Instance Segmentation)와 같은 대체 벤치마크를 만들었다. 그러나 COCO test-dev는 이 분야에서 여전히 표준 참조점으로 남아 있다.
COCO 데이터셋 자체는 COCO 컨소시엄이 호스팅하며, 평가 서버는 미시간 대학 팀과 다른 기여자들이 유지 관리한다. 2025년 현재 서버는 여전히 활성 상태이지만 공식 챌린지는 중단되었다. 연구자들은 논문에서 결과를 보고하기 위해 test-dev를 계속 사용하며, 이는 딥 러닝 및 인공 지능 연구에서 여전히 일반적인 벤치마크로 남아 있다.