COCO Keypoints는 Microsoft Common Objects in Context(COCO) 데이터셋의 하위 집합으로, 인간 자세 추정 및 키포인트 감지 작업을 위해 특별히 설계되었습니다. 이 데이터셋은 코, 눈, 귀, 어깨, 팔꿈치, 손목, 엉덩이, 무릎, 발목을 포함한 17개의 신체 관절에 대한 상세한 주석을 다양한 실제 이미지의 사람 인스턴스에 제공합니다. 이 데이터셋은 컴퓨터 비전 및 인공지능 분야의 표준 벤치마크가 되었으며, 연구자들이 제약 없는 환경에서 인간 신체 부위를 위치화하는 모델을 훈련하고 평가할 수 있게 합니다.
COCO Keypoints 데이터셋은 2014년 Microsoft 연구자들이 주요 COCO 데이터셋과 함께 도입했습니다. 이 데이터셋은 118,000개 이상의 훈련 이미지와 5,000개의 검증 이미지에서 추출된 200,000개 이상의 키포인트 주석이 있는 사람 인스턴스를 포함합니다. 각 키포인트는 가시성 플래그(보임, 가려짐, 또는 레이블 없음)로 표시되어 모델이 부분적 가림을 처리할 수 있게 합니다. 주석은 키포인트가 일관된 순서로 정렬된 엄격한 형식을 따르며, 각 사람 인스턴스에는 경계 상자와 분할 마스크도 제공됩니다.
주석 형식 및 품질
COCO Keypoints의 각 사람 주석에는 (x, y, 가시성) 삼중항으로 표현된 17개의 키포인트 목록이 포함됩니다. 가시성 플래그는 0(레이블 없음), 1(레이블 있지만 가려짐), 2(레이블 있고 보임) 값을 취합니다. 이러한 세분화된 레이블링은 감지 정확도와 위치화 정밀도를 구분하는 평가 지표를 지원합니다. 데이터셋은 전문 주석자가 맞춤 도구를 사용하여 주석을 달았으며, 일관성을 보장하기 위한 품질 관리 프로세스가 적용되었습니다. 키포인트 순서는 고정된 해부학적 순서를 따르며, 이는 모델 출력 형식과 평가를 단순화합니다.
평가 지표
COCO Keypoints의 주요 평가 지표는 Object Keypoint Similarity(OKS)로, 예측된 키포인트와 실제 키포인트 간의 거리를 사람 규모로 정규화하여 측정합니다. 표준 지표는 여러 OKS 임계값(0.50, 0.75, 0.90)에서 계산된 평균 정밀도(AP)입니다. 이 지표는 사람 크기에 상대적인 키포인트 위치화의 어려움을 고려합니다. 2016년부터 2019년까지 매년 개최된 COCO Keypoints 챌린지는 많은 연구 팀을 끌어모았고 자세 추정 아키텍처의 상당한 발전을 이끌었습니다.
자세 추정 연구에 미친 영향
COCO Keypoints는 자세 추정을 위한 딥러닝 접근법을 발전시키는 데 중요한 역할을 했습니다. 초기 방법은 역컨볼루션 헤드를 가진 잔차 네트워크 백본을 사용했으며, 이후 접근법은 트랜스포머 아키텍처와 다중 스케일 특징 융합을 통합했습니다. 복잡한 배경, 다양한 조명, 여러 사람이 포함된 이미지를 포함한 데이터셋의 다양성은 모델을 단순한 통제된 설정을 넘어서게 했습니다. U-Net 변형 및 주의 메커니즘에 기반한 많은 최첨단 시스템이 이 데이터셋에서 벤치마킹되었습니다. 이러한 고품질 레이블 데이터의 가용성은 지도 학습에 중요했으며, 이러한 주석을 수동으로 생성하는 것은 비용이 많이 들고 시간이 많이 소요되기 때문입니다.
확장 및 관련 데이터셋
특수 작업을 위해 COCO Keypoints의 여러 확장이 개발되었습니다. COCO-WholeBody 데이터셋은 얼굴, 손, 발 주석을 포함한 133개의 키포인트를 추가합니다. CrowdPose 데이터셋은 여러 상호 작용하는 사람이 있는 혼잡한 장면에 초점을 맞춥니다. COCO Keypoints 주석은 반지도 학습을 위한 의사 레이블 생성 및 행동 인식 및 인간-컴퓨터 상호 작용과 같은 다른 자세 관련 작업을 위한 모델 사전 훈련에도 사용되었습니다. 이 데이터셋은 로봇 공학, 스포츠 분석, 의료 모니터링을 포함한 학술 연구 및 산업 응용 분야에서 널리 사용되고 있습니다.
가용성 및 사용
COCO Keypoints는 COCO 라이선스에 따라 연구 목적으로 무료로 제공됩니다. 주석은 JSON 파일로 배포되며, 이미지는 Flickr에서 가져옵니다. 데이터셋은 COCO 웹사이트에서 호스팅되며 다양한 머신러닝 프레임워크와 도구를 통해 접근할 수 있습니다. 많은 오픈 소스 라이브러리가 COCO Keypoints 데이터를 로드하고 처리하는 유틸리티를 제공하여 전 세계 연구자들이 접근할 수 있게 합니다. 이 데이터셋은 수천 개의 동료 검토 간행물에서 인용되었으며, 이는 자세 추정 알고리즘 개발에서 중심적인 역할을 반영합니다.