시맨틱 경계 데이터셋(Semantic Boundaries Dataset, SBD)은 컴퓨터 비전 작업, 특히 객체 경계 검출과 의미론적 분할을 위해 설계된 벤치마크 데이터셋이다. 2011년 캘리포니아 대학교 버클리 캠퍼스의 연구자들이 PASCAL VOC 2011 데이터셋의 확장판으로 도입했다. SBD는 11,355개의 이미지에 걸쳐 20개의 객체 클래스(예: 사람, 자동차, 비행기, 고양이)에 대한 밀집된 픽셀 수준 주석을 제공하며, 8,498개의 훈련 이미지와 2,857개의 검증 이미지로 분할된다. 이 데이터셋은 크라우드소싱 플랫폼을 통해 수동으로 주석을 달고 정제된 고품질 경계로 유명하며, 의미론적 분할 및 에지 검출 알고리즘을 평가하는 표준 벤치마크로 자리 잡았다.
SBD의 주요 목적은 이미지의 모든 픽셀에 클래스 레이블을 할당하는 의미론적 분할 연구를 촉진하는 것이다. 경계 상자나 조잡한 마스크를 제공한 초기 데이터셋과 달리, SBD는 정밀한 객체 경계를 제공하여 모델이 세밀한 공간적 세부 사항을 학습할 수 있게 한다. 주석은 색상으로 구분된 클래스 레이블이 있는 PNG 형식으로 저장되며, 데이터셋에는 인스턴스 분할 및 객체 검출과 같은 작업에 유용한 인스턴스 수준 분할 마스크도 포함된다. SBD는 딥러닝 커뮤니티에서 널리 채택되어 완전 합성곱 네트워크(FCN), U-Net 및 합성곱 신경망(CNN) 기반의 다양한 아키텍처와 같은 모델의 훈련 세트로 사용되고 있다.
데이터셋 구조 및 주석
SBD는 다양한 장면과 여러 객체를 포함하는 PASCAL VOC 2011 챌린지의 이미지로 구성된다. 각 이미지에는 20개의 객체 클래스 중 하나 또는 배경 클래스(클래스 0)가 각 픽셀에 할당된 분할 마스크가 함께 제공된다. 주석은 클래스 수준 마스크(각 픽셀에 단일 클래스 레이블이 있는 경우)와 인스턴스 수준 마스크(각 객체 인스턴스가 고유하게 식별되는 경우)의 두 가지 형식으로 제공된다. 데이터셋에는 분할 마스크에서 파생된 객체 간의 경계를 강조하는 경계 맵도 포함된다. 공식 웹사이트는 이미지, 마스크 및 메타데이터를 포함하는 단일 아카이브(약 1.2GB)로 데이터셋을 제공한다.
생성 및 방법론
이 데이터셋은 버클리 연구 그룹의 일환으로 Hariharan 등(2011)이 만들었다. 주석 과정은 자동 분할과 수동 정제의 조합을 포함했다. 처음에는 알고리즘을 사용하여 이미지를 분할하여 후보 영역을 제안했으며, 이후 주석자가 사용자 지정 인터페이스를 사용하여 수동으로 수정했다. 품질을 보장하기 위해 각 이미지는 여러 작업자가 주석을 달았고, 불일치는 투표 메커니즘을 통해 해결되었다. 최종 주석은 일관성을 유지하기 위해 원래 PASCAL VOC 레이블과 대조하여 검증되었다. 이 방법론은 객체 검출에 경계 상자를 사용한 원래 PASCAL VOC 데이터셋보다 더 정밀한 고품질 경계를 생성했다.
응용 및 영향
SBD는 의미론적 분할 모델을 평가하는 사실상의 표준이 되었다. SBD가 훈련 데이터로 사용되는 PASCAL VOC 분할 챌린지를 포함한 수많은 연구 논문과 대회에서 사용된다. 이 데이터셋은 복잡한 모델을 훈련할 수 있을 만큼 충분히 큰 말뭉치를 제공하여 분할을 위한 딥러닝 발전에 중요한 역할을 했다. 예를 들어, FCN(Long 등, 2015) 및 DeepLab(Chen 등, 2017) 아키텍처는 SBD에서 훈련되고 평가되었다. 또한 SBD는 전이 학습에 사용되어 SBD에서 사전 훈련된 모델이 Cityscapes 또는 COCO와 같은 다른 데이터셋에서 미세 조정된다. 데이터셋은 또한 HED(전체 중첩 에지 검출)와 같은 모델이 SBD의 경계 맵에서 훈련되는 경계 검출 연구를 지원한다.
한계 및 확장
유용성에도 불구하고 SBD에는 한계가 있다. 데이터셋은 200,000개 이상의 이미지를 가진 COCO 또는 Open Images와 같은 현대의 대규모 데이터셋에 비해 상대적으로 작다. 이미지는 또한 PASCAL VOC 범주로 제한되어 모든 실제 시나리오를 다루지 못할 수 있다. 또한 주석은 더 많은 클래스와 더 높은 해상도의 이미지를 포함하는 Cityscapes와 같은 최신 데이터셋만큼 밀집되지 않았다. 이러한 문제를 해결하기 위해 연구자들은 SBD를 다른 데이터셋과 결합하거나 데이터 증강 기술을 사용하여 확장했다. 예를 들어, SBD는 종종 PASCAL VOC 2012 데이터셋과 함께 사용되며, 훈련 세트는 모델 성능을 향상시키기 위해 SBD 이미지로 증강된다. 또한 일부 연구는 도메인 적응 연구를 위해 SBD의 합성 변형을 만들었다.
가용성 및 사용
SBD는 공식 프로젝트 페이지에서 연구 목적으로 무료로 제공된다. 데이터셋은 이미지(JPEG 형식), 분할 마스크(PNG) 및 훈련 및 검증 분할을 위한 이미지 ID 목록을 포함하는 ZIP 파일로 배포된다. 연구자들은 일반적으로 데이터셋을 다운로드하여 PyTorch 또는 TensorFlow와 같은 인기 있는 딥러닝 프레임워크와 함께 사용한다. 데이터셋은 또한 내장 데이터 로더를 제공하는 torchvision 및 GluonCV를 포함한 여러 오픈 소스 라이브러리에 통합되어 있다. SBD를 사용할 때는 2011년 국제 컴퓨터 비전 회의(ICCV)에서 발표된 Bharath Hariharan, Pablo Arbeláez, Lubomir Bourdev, Subhransu Maji 및 Jitendra Malik의 원본 논문 "Semantic Contours from Inverse Detectors"를 인용하는 것이 관례이다.
같이 보기
- PASCAL VOC
- 의미론적 분할
- 객체 검출
- 컴퓨터 비전
- 딥러닝
- 합성곱 신경망
- 완전 합성곱 네트워크
- U-Net
- Cityscapes
- COCO 데이터셋
- 에지 검출
- 인스턴스 분할
- 전이 학습
- PyTorch
- TensorFlow
- ICCV
- 버클리
- Hariharan
- Arbeláez
- Malik