COCO Detection은 컴퓨터 비전에서 객체 감지 모델이 이미지 내의 객체를 식별하고 위치를 파악하는 능력을 평가하는 벤치마크 과제이다. 이 과제는 Common Objects in Context(COCO) 데이터셋으로 정의되며, 200,000개 이상의 이미지에 150만 개 이상의 객체 인스턴스가 경계 상자와 범주 레이블로 주석 처리되어 있다. 감지 과제는 특히 모델이 이미지에 존재하는 80개 정의 범주 각각의 객체 인스턴스에 대해 경계 상자와 클래스 레이블을 출력하도록 요구한다. 이는 객체 감지의 진전을 측정하는 가장 널리 사용되는 벤치마크 중 하나로, 동일한 기반 데이터셋을 사용하는 인스턴스 분할 및 키포인트 감지와 같은 과제와 함께 사용된다.
이 벤치마크의 평가 지표는 여러 Intersection-over-Union(IoU) 임계값에서 계산된 평균 정밀도(mAP)이다. 주요 지표는 종종 mAP@[0.5:0.95]로 표기되며, 0.5에서 0.95까지 0.05 간격의 IoU 임계값에서 정밀도를 평균한다. 이 엄격한 지표는 대략적인 감지뿐만 아니라 정확한 위치 파악을 보상한다. COCO 감지 챌린지는 2015년 도입 이후 딥러닝 기반 감지 아키텍처의 혁신을 주도하는 핵심 동력이었으며, 리더보드는 초기 합성곱 모델에서 현대 트랜스포머 기반 감지기로의 빠른 개선을 추적하고 있다.
데이터셋 및 주석
COCO 데이터셋은 2014년 Microsoft Research 팀이 Tsung-Yi Lin 등이 이끌어 처음 공개했다. 이는 PASCAL VOC와 같은 초기 데이터셋의 한계를 해결하기 위해 설계되었으며, 이미지당 더 많은 객체, 더 작은 객체, 그리고 맥락적 관계를 가진 더 복잡한 장면을 포함한다. 80개 객체 범주는 사람, 자전거, 자동차, 개, 컵과 같은 일상적인 항목과 교통 신호등, 소화전, 스노보드와 같은 더 구체적인 클래스를 포함한다. 주석은 축 정렬 경계 상자로 제공되며, 각 상자는 왼쪽 위 모서리 좌표, 너비, 높이로 정의된다. 데이터셋은 훈련(약 118,000개 이미지), 검증(5,000개 이미지), 테스트 세트로 분할되며, 테스트 세트 주석은 챌린지 평가를 위해 공개되지 않는다.
감지 모델의 진화
COCO Detection에서 초기 최첨단 접근 방식은 2015년 Shaoqing Ren, Kaiming He 등이 도입한 Faster R-CNN 계열과 같은 2단계 감지기에 의존했다. 이러한 모델은 먼저 Region Proposal Network를 사용하여 후보 영역을 제안한 다음 각 제안을 분류하고 정제한다. 2015년 ResNet 아키텍처의 도입은 특징 추출을 크게 개선한 백본을 제공하여 2017년까지 COCO mAP를 약 21%에서 37% 이상으로 끌어올렸다. YOLO 및 SSD와 같은 1단계 감지기는 속도 이점을 제공했지만 초기에는 정확도에서 뒤처졌다. 2017년 Feature Pyramid Networks(FPN)의 채택은 다중 스케일 특징 융합을 가능하게 하여 격차를 좁혔다. 2018년까지 Faster R-CNN의 확장인 Mask R-CNN과 같은 모델은 인스턴스 분할을 수행하면서 mAP 39% 이상을 달성했다.
트랜스포머 기반 감지기
2020년 Meta AI(당시 Facebook AI Research) 팀이 Detection Transformer(DETR)를 도입하면서 큰 변화가 일어났다. DETR은 객체 감지를 세트 예측 문제로 재구성하여 Transformer 인코더-디코더 아키텍처와 이분 매칭 손실을 사용하여 고정된 수의 예측을 직접 출력했다. 이는 앵커 상자 및 비최대 억제와 같은 수작업 구성 요소를 제거했다. DETR은 초기에 수렴 속도가 느렸지만, Deformable DETR(2021)과 같은 후속 변형은 훈련 효율성과 정확도를 개선했다. 2023년까지 DINO 및 RT-DETR과 같은 트랜스포머 기반 감지기는 COCO 벤치마크에서 합성곱 대응 모델을 지속적으로 능가하여 test-dev 세트에서 mAP 50% 이상을 달성했다. 이러한 모델은 다중 헤드 어텐션 메커니즘을 활용하여 전역 맥락을 포착하며, 이는 작고 가려진 객체를 감지하는 데 특히 유용하다.
훈련 및 데이터 증강
COCO Detection에서 높은 성능을 달성하려면 신중한 훈련 전략이 필요하다. 표준 관행은 ImageNet에서 사전 훈련된 가중치로 백본을 초기화한 다음 COCO에서 미세 조정하는 것이다. 데이터 증강은 중요한 역할을 하며, 일반적인 기법으로는 무작위 수평 뒤집기, 무작위 스케일링, 색상 지터가 있다. YOLOv4에서 대중화된 Mosaic 및 MixUp과 같은 고급 방법은 여러 이미지를 결합하여 견고성을 개선한다. 훈련은 일반적으로 Adam 또는 SGD 옵티마이저와 워밍업 및 코사인 감쇠를 포함한 학습률 스케줄을 사용한다. 배치 정규화는 합성곱 백본에서 표준이며, 레이어 정규화는 트랜스포머 기반 헤드에서 사용된다. 훈련 과정은 계산 집약적이며, 종종 여러 GPU를 며칠 동안 필요로 한다. 예를 들어, 일반적인 DETR 모델은 8개의 V100 GPU에서 훈련하는 데 약 3일이 걸린다.
영향 및 관련 벤치마크
COCO Detection은 객체 감지 연구를 평가하는 사실상의 표준이 되었으며, 수천 개의 논문이 검증 세트에서 결과를 보고하고 있다. 그 영향은 관련 과제로 확장된다. 동일한 데이터셋은 인스턴스 분할(COCO Segmentation), 키포인트 감지(COCO Keypoints), 범주형 분할을 지원한다. 이 벤치마크는 또한 정확한 위치 파악이 중요한 자율 주행, 로보틱스, 의료 영상과 같은 실용적 응용 분야를 주도했다. 머신 러닝 커뮤니티는 계속해서 COCO를 참조점으로 사용하지만, LVIS 및 Objects365와 같은 최신 데이터셋은 더 많은 범주 또는 더 큰 규모를 제공한다. 이 챌린지는 CVPR 및 ECCV와 같은 주요 학회의 연례 워크숍과 함께 활발히 유지되고 있으며, 리더보드는 학계 및 산업 연구 팀 모두의 공통 목표이다.
한계 및 비판
그 인기에도 불구하고 COCO Detection에는 알려진 한계가 있다. 80개 범주는 고정되어 있으며 많은 실제 객체를 다루지 않고, 데이터셋은 중앙에 잘 위치하고 명확하게 보이는 객체에 편향되어 있다. mAP 지표는 신뢰도 임계값의 작은 변화에 민감할 수 있으며, 테스트 세트 주석이 공개되지 않아 검증 세트에 과적합될 수 있다. 일부 연구자들은 COCO에서의 성능이 항상 항공 또는 수중 이미지와 같은 다른 도메인으로 전이되지 않는다고 지적했다. 또한 이 벤치마크는 추론 속도나 계산 비용을 명시적으로 측정하지 않지만, 많은 논문이 이를 별도로 보고한다. 이러한 문제는 Open Images 및 더 최근의 EgoObjects와 같은 대체 벤치마크의 생성을 촉진했으며, 이는 이러한 격차 중 일부를 해결하는 것을 목표로 한다.