CUB-200-2011은 Caltech-UCSD Birds-200-2011 데이터셋으로도 알려져 있으며, 기계 학습 및 컴퓨터 비전 분야의 세밀한 시각적 분류 작업을 위한 벤치마크 데이터셋이다. 2011년 Caltech과 UC San Diego의 연구자들이 출시했으며, 알고리즘이 시각적으로 유사한 조류 종을 구별하도록 도전하여 일반 객체 인식을 넘어서도록 설계되었다.
이 데이터셋은 200종의 조류에 대한 11,788개의 이미지를 포함하며, 각 이미지에는 경계 상자, 이진 부위 분할 마스크, 그리고 15개의 주요 신체 부위(예: 부리, 날개, 꼬리)의 위치가 주석으로 표시되어 있다. 또한 각 이미지에는 312개의 이진 속성 레이블(예: "빨간 가슴", "날개 색: 파랑")과 텍스트 설명이 연결되어 있다. 이러한 풍부한 주석 구조는 CUB-200-2011을 미묘한 시각적 차이를 학습해야 하는 모델을 평가하는 표준 테스트베드로 만든다.
역사와 생성
CUB-200-2011은 200종의 6,033개 이미지를 가진 원래 CUB-200 데이터셋(2010)의 확장판으로 소개되었다. 2011년 버전은 더 많은 이미지, 부위 주석, 속성 레이블을 추가했다. 이 데이터셋은 Catherine Wah, Steve Branson, Peter Welinder, Pietro Perona, Serge Belongie가 만들었으며, 미국 국립과학재단과 해군 연구소의 자금 지원을 받았다. 이미지는 Flickr 및 기타 온라인 저장소에서 수집된 후, 크라우드소싱 플랫폼을 통해 인간 주석자들이 필터링하고 레이블을 붙였다.
구조와 주석
CUB-200-2011의 각 이미지에는 일련의 주석 파일이 함께 제공된다. 경계 상자는 조류의 밀착된 영역을 제공한다. 부위 위치는 정수리, 이마, 눈, 부리, 목, 가슴, 배, 날개, 꼬리를 포함한 15개 부위에 대한 (x,y) 좌표로 제공된다. 이진 분할 마스크는 어떤 픽셀이 조류에 속하는지를 나타낸다. 속성 레이블은 이진(0 또는 1)이며 색상 패턴, 형태, 행동을 다룬다. 데이터셋에는 또한 훈련/테스트 분할이 포함되어 있다: 훈련용 5,994개 이미지와 테스트용 5,794개 이미지로, 각 분할에 종의 약 절반이 포함된다.
세밀한 인식에서의 역할
CUB-200-2011은 객체를 하위 범주 수준(예: 종, 품종)으로 분류하는 것을 목표로 하는 컴퓨터 비전의 하위 분야인 세밀한 시각적 분류(FGVC)의 초석이다. 일반 객체 인식(예: 조류와 자동차 구별)과 달리 FGVC는 모델이 외관의 미묘한 차이에 집중하도록 요구한다. CUB-200-2011은 부위 기반 모델, 주의 메커니즘, 딥 러닝 아키텍처를 포함한 다양한 기술을 개발하고 평가하는 데 사용되었다. 이는 종종 Stanford Dogs 및 Oxford Flowers와 같은 다른 FGVC 데이터셋과 함께 사용된다.
딥 러닝 연구에 미친 영향
신경망의 부상과 함께 CUB-200-2011은 새로운 아키텍처를 테스트하는 인기 있는 벤치마크가 되었다. 예를 들어, 잔차 네트워크와 주의 기반 모델의 성능을 평가하는 데 사용되었다. 데이터셋의 부위 주석은 모델이 먼저 부위를 감지한 다음 해당 특징을 분류에 사용하는 부위 위치 파악 및 부위 기반 분류 연구를 가능하게 했다. 또한 세밀한 작업을 위해 특별히 설계된 데이터 증강 기술과 손실 함수의 테스트베드 역할을 한다. 2020년대 중반 기준, 최첨단 모델은 CUB-200-2011에서 90% 이상의 정확도를 달성하며, 초기 2010년대의 약 50-60% 정확도에서 크게 개선되었다.
한계와 확장
인기에도 불구하고 CUB-200-2011에는 한계가 있다. 이미지는 상대적으로 작으며(평균 해상도 약 500x500 픽셀), 데이터셋은 북미 조류 종에 편향되어 있다. 주석은 상세하지만 크라우드소싱으로 인해 불일치가 있을 수 있다. 이러한 문제를 해결하기 위해 연구자들은 추가 속성 주석이 있는 CUB-200-2011과 같은 확장판을 만들거나 교차 데이터셋 전이 학습에 사용했다. 데이터셋은 세밀한 인식 평가의 표준으로 남아 있으며, 그 설계는 iNaturalist와 같은 이후 데이터셋에 영향을 미쳤다.
같이 보기
참고 문헌
- Wah, C., Branson, S., Welinder, P., Perona, P., & Belongie, S. (2011). The Caltech-UCSD Birds-200-2011 Dataset. California Institute of Technology.
- Welinder, P., et al. (2010). Caltech-UCSD Birds 200. California Institute of Technology.