ADE20K은 장면 파싱(scene parsing)을 위한 대규모 데이터셋으로, 이미지의 모든 픽셀을 '사람', '자동차', '벽', '하늘'과 같은 의미 범주로 라벨링하는 컴퓨터 비전 작업을 포함한다. 2016년 MIT 컴퓨터 과학 및 인공지능 연구소의 연구자들에 의해 공개된 이 데이터셋은 더 적은 객체 범주를 다루거나 더 거친 주석을 제공한 초기 데이터셋의 한계를 해결하기 위해 만들어졌다. ADE20K는 훈련용 이미지 20,000개 이상과 검증용 이미지 2,000개를 포함하며, 벤치마크 평가에 사용되는 추가 테스트 세트도 제공한다. 이미지는 주방, 거실과 같은 실내 환경과 거리, 공원, 해변과 같은 실외 환경을 포함한 다양한 실제 장면에서 수집되었다.
이 데이터셋은 150개의 의미 범주에 대한 밀집된 픽셀 수준 주석을 제공하며, 여기에는 '물질(stuff)' 클래스(예: 하늘, 도로, 잔디)와 '사물(thing)' 클래스(예: 사람, 의자, 개)가 모두 포함된다. 주석은 상세한 라벨링 프로토콜을 사용하여 인간 주석자에 의해 생성되었으며, 각 이미지는 동일한 범주의 여러 인스턴스를 포함할 수 있어 인스턴스 수준 분할도 가능하다. ADE20K는 또한 일부 객체에 대한 폐색 및 깊이 순서와 같은 추가 속성을 포함하여 더 고급 장면 이해 작업을 지원한다. 이 데이터셋은 의미 분할, 인스턴스 분할, 장면 파싱의 표준 벤치마크로 자주 사용되며, AI 커뮤니티의 연례 인식 경쟁 대회를 포함한 주요 컴퓨터 비전 챌린지에 통합되었다.
구축 및 주석
ADE20K 데이터셋은 LabelMe 데이터셋 및 기타 공개 이미지 저장소에서 수집된 이미지 모음으로 구축되었다. 주석 과정은 훈련된 주석자 팀이 맞춤형 웹 기반 도구를 사용하여 각 객체 주위에 다각형 경계를 그리고 의미 라벨을 할당하는 방식으로 진행되었다. 일관성을 보장하기 위해 데이터셋에는 150개 범주 각각을 정의하는 상세한 주석 지침이 포함되어 있으며, 모호한 사례와 경계 조건도 다룬다. 주석 작업 결과 훈련 및 검증 세트에 걸쳐 500,000개 이상의 라벨링된 객체 인스턴스가 생성되었다. 데이터셋은 학술 연구를 위한 허용적 라이선스로 공개되었으며, 이후 컴퓨터 비전 커뮤니티에서 널리 채택되었다.
장면 파싱 연구에서의 역할
장면 파싱은 개별 객체를 감지하는 것뿐만 아니라 이미지의 전체 맥락을 이해해야 하는 컴퓨터 비전의 기본 문제이다. ADE20K는 일반적인 객체와 배경 요소를 모두 포함하는 풍부한 범주 세트를 제공하여 이러한 목표를 지원하도록 설계되었다. 이 데이터셋은 초기 완전 컨볼루션 네트워크부터 현대의 트랜스포머 기반 아키텍처에 이르기까지 다양한 모델을 훈련하고 평가하는 데 사용되었다. 예를 들어, 2021년에 도입된 SegFormer 모델은 ADE20K에서 최첨단 성능을 보고했으며, 검증 세트에서 평균 교차-결합비(mIoU) 점수 51% 이상을 달성했다. 데이터셋은 또한 도메인 적응, 퓨샷 학습, 개방 어휘 분할을 연구하는 데 사용되었으며, 여기서 모델은 훈련 중에 보지 못한 객체를 분할해야 한다.
컴퓨터 비전에 미친 영향
ADE20K는 Cityscapes 및 COCO와 같은 다른 데이터셋과 함께 장면 파싱 알고리즘을 평가하는 사실상의 표준이 되었다. 많은 범주 수와 다양한 장면 유형은 모델 성능의 경계를 넓히는 도전적인 벤치마크로 작용한다. 데이터셋은 또한 장면 분류에 초점을 맞춘 ADE20K Places365 하위 집합과 다양한 방법을 비교하기 위한 리더보드를 제공하는 MIT 장면 파싱 벤치마크와 같은 관련 리소스의 개발에 영향을 미쳤다. 연구자들은 ADE20K를 사용하여 장면 맥락과 객체 인식 간의 관계를 연구했으며, 모델이 전역 장면 정보를 활용하여 지역 예측을 개선할 수 있는 방법에 대한 통찰력을 얻었다.
한계 및 확장
성공에도 불구하고 ADE20K에는 한계가 있다. 데이터셋은 더 최근의 대규모 데이터셋에 비해 상대적으로 작으며, 범주가 고정되어 있어 새로운 객체 유형에 대한 일반화를 제한할 수 있다. 주석 품질은 높지만, 특히 작거나 심하게 폐색된 객체의 경우 오류가 여전히 포함될 수 있다. 이러한 문제를 해결하기 위해 연구자들은 추가 이미지와 범주를 포함하는 ADE20K-Full과 비정상적인 객체 배치에 대한 모델 견고성을 테스트하는 ADE20K-OutOfContext와 같은 확장을 제안했다. 데이터셋은 또한 다른 작업에 미세 조정되는 모델의 사전 훈련 소스로 사용되어 장면 파싱을 넘어선 유용성을 입증했다.
향후 방향
2020년대 중반 현재 ADE20K는 여전히 관련성 있는 벤치마크이지만, 대규모 언어 모델 및 다중 모달 시스템 훈련에 사용되는 것과 같은 더 크고 다양한 데이터셋으로 분야가 이동하고 있다. 장면 파싱과 딥러닝 기반 이미지 생성 및 생성형 AI와 같은 다른 작업의 통합은 ADE20K를 시각 장면에 대한 모델 이해를 평가하는 테스트베드로 사용하는 새로운 경로를 열었다. 데이터셋이 학술 연구와 산업 응용에서 지속적으로 사용되는 것은 컴퓨터 비전의 기초 자원으로서의 중요성을 강조한다.
같이 보기
참고 문헌
ADE20K 데이터셋은 Bolei Zhou 등이 2017년에 발표한 논문 'Semantic Understanding of Scenes through the ADE20K Dataset'에서 소개되었다. 데이터셋은 MIT CSAIL 웹사이트에서 다운로드할 수 있으며, 공식 문서는 주석 지침 및 평가 프로토콜에 대한 자세한 정보를 제공한다.