COCO 2018은 학계와 산업계 연구자들로 구성된 컨소시엄이 컴퓨터 비전 분야의 최신 기법을 벤치마킹하기 위해 매년 개최하는 대회인 Common Objects in Context(COCO) 챌린지의 2018년 에디션을 가리킨다. 이 챌린지는 80개 객체 범주에 걸쳐 20만 장 이상의 라벨링된 이미지를 포함하는 COCO 데이터셋을 기반으로 하며, 객체 검출, 인스턴스 분할, 이미지 캡셔닝을 위한 모델을 평가하는 데 널리 사용된다. 2018년 에디션은 이전 해들의 전통을 이어가며 전 세계 연구 그룹들의 제출을 끌어모았고, 해당 분야의 진전을 위한 핵심 기준점 역할을 했다.
COCO 챌린지 시리즈는 2014년에 시작되어 매년 개최되었으며, 각 에디션마다 과제와 평가 지표에 개선이 도입되었다. COCO 2018은 복잡한 장면에서 객체를 검출하고 분할하는 핵심 과제를 유지하면서, 모델이 이미지에 대한 자연어 설명을 생성하는 캡셔닝 과제도 포함했다. 이 대회는 더 넓은 머신 러닝 분야, 특히 신경망에 의존하는 딥 러닝 접근법과 밀접하게 연결되어 있다. 2018년의 우승 솔루션들은 일반적으로 잔차 네트워크와 특징 피라미드 네트워크 같은 고급 아키텍처를 갖춘 합성곱 신경망을 채택했으며, 종종 배치 정규화와 데이터 증강 같은 기법으로 강화되었다.
과제와 평가
COCO 2018은 객체 검출, 인스턴스 분할, 이미지 캡셔닝의 세 가지 주요 과제를 특징으로 했다. 검출의 경우, 모델은 경계 상자로 객체를 위치 지정하고 80개 범주 중 하나로 분류해야 했다. 인스턴스 분할은 각 객체에 대해 픽셀 수준의 마스크를 요구하는 더 어려운 과제로, 세밀한 공간 이해를 시험했다. 캡셔닝은 이미지 내용을 설명하는 단일 문장을 생성하는 것을 포함했으며, CIDEr와 BLEU 같은 지표로 평가되었다.
검출과 분할을 위한 평가는 다양한 intersection-over-union(IoU) 임계값에서의 평균 정밀도(AP)를 포함한 표준 COCO 지표를 사용했으며, 주요 지표는 IoU 0.50:0.95에서의 AP였다. 이 챌린지는 모델 튜닝을 위한 검증 세트와 최종 순위를 위한 테스트 세트를 제공했고, 결과는 평가 서버에 제출되었다. 이 엄격한 프로토콜은 출품작 간의 공정한 비교를 보장했으며, 이러한 관행은 인공지능의 다른 벤치마크에도 영향을 미쳤다.
주목할 만한 결과와 경향
COCO 2018에서 최고 성능의 검출 모델들은 test-dev 세트에서 약 0.50의 AP를 달성했으며, 이는 이전 해들에 비해 상당한 개선이었다. 인스턴스 분할의 경우, 최고의 모델들은 0.42에 가까운 AP 값에 도달했다. 이러한 결과는 변형 가능한 합성곱과 다중 스케일 학습의 사용 같은 네트워크 설계의 혁신, 그리고 안정적인 학습을 위한 학습률 스케줄과 기울기 클리핑의 채택에 힘입은 것이었다.
이 대회는 비전 과제에서 트랜스포머의 성장하는 역할을 부각시켰지만, 그들의 지배력은 나중에 왔다. 2018년에는 대부분의 출품작이 합성곱 아키텍처를 기반으로 했으며, 캡셔닝을 위해 종종 시퀀스-투-시퀀스 모델과 결합되었다. COCO에서 인간의 성능과 기계의 성능 사이의 격차는 특히 작은 객체와 혼잡한 장면에서 여전히 상당했으며, 이는 어텐션 메커니즘과 모델 프루닝 같은 영역에서의 추가 연구를 촉진했다.
영향과 유산
COCO 2018 챌린지는 방법들을 비교하기 위한 공통 벤치마크를 제공함으로써 컴퓨터 비전의 빠른 발전에 기여했다. 그 데이터셋과 평가 도구는 이 분야의 표준 자원이 되었으며, 대회뿐만 아니라 학계와 산업 환경에서 모델을 학습하고 검증하는 데 사용되었다. 특징 피라미드 네트워크와 마스크 기반 분할 헤드 같이 챌린지 동안 개선된 많은 기법들은 나중에 자율 주행과 의료 영상 같은 응용을 위한 생산 시스템에 통합되었다.
이 챌린지는 또한 학계와 산업계 간의 협력을 촉진했으며, Google Cloud와 Amazon Web Services 같은 대학과 기업의 팀들이 참여했다. 그 결과는 더 큰 규모의 모델과 데이터셋의 개발에 정보를 제공했고, 후속 에디션과 비전에서 생성형 AI의 최종적인 부상을 위한 길을 열었다. 2025년 현재, COCO는 여전히 널리 인용되는 벤치마크이며, 2018년 에디션은 딥 러닝 방법이 객체 인식에서 지배력을 확고히 한 전환점으로 기억된다.
향후 방향
COCO 2018 이후, 커뮤니티는 더 많은 범주와 롱테일 분포를 포함하는 LVIS와 Open Images 같은 더 어려운 벤치마크로 이동했다. COCO 2018의 교훈, 특히 견고한 평가와 다양한 학습 데이터의 중요성은 컴퓨터 비전과 딥 러닝 연구를 계속 형성하고 있다. 이 챌린지는 또한 비디오 이해와 3D 장면 파싱을 포함한 다른 영역에서 유사한 노력에 영감을 주었으며, COCO 데이터셋의 원칙을 새로운 문제 설정으로 확장했다.