Cityscapes는 도시 거리 장면의 의미론적 이해를 위해 설계된 대규모 데이터셋이다. 이 데이터셋은 독일과 인접 국가의 50개 도시에서 이동하는 차량으로부터 기록된 다양한 스테레오 비디오 시퀀스를 제공하며, 5,000개 프레임에 대한 고품질 픽셀 수준 주석과 추가 20,000개 프레임에 대한 더 거친 다각형 주석을 포함한다. 이 데이터셋은 2016년 Daimler AG, TU Darmstadt 및 기타 기관의 연구자들에 의해 소개되었으며, 자율 주행 및 컴퓨터 비전 연구에서 의미론적 분할, 인스턴스 분할, 그리고 범주적 분할과 같은 작업을 위한 표준 벤치마크가 되었다.
Cityscapes의 주요 목표는 실제 조건에서 차량의 시각적 환경을 이해할 수 있는 알고리즘의 개발과 평가를 가능하게 하는 것이다. 이 데이터셋은 다양한 기상 조건, 계절, 교통 상황을 포함한 도시 주행의 복잡성을 포착하여 도전적이고 현실적인 테스트베드를 제공한다. 주석은 8개 범주로 그룹화된 30개 클래스를 포함한다: 평평한 표면(도로, 보도), 인간(보행자, 탑승자), 차량(자동차, 트럭, 버스), 건설(건물, 벽), 물체(교통 표지판, 기둥), 자연(식생, 지형), 하늘, 그리고 무효(레이블이 없는 영역). 이러한 세분화된 분류 체계는 상세한 장면 분석을 지원하며 자율 주행 시스템에서 딥러닝 모델을 훈련하는 데 널리 사용된다.
데이터 수집 및 주석
데이터셋은 자동차에 장착된 스테레오 카메라 장비를 사용하여 초당 17프레임, 2048x1024 픽셀 해상도로 촬영되었다. 녹화 세션은 봄, 여름, 가을에 진행되었으며 맑음, 흐림, 비 조건을 포함하지만 겨울이나 야간 장면은 포함하지 않는다. 세밀하게 주석이 달린 5,000개 프레임은 27개 도시에서 선택되었고, 거친 주석이 달린 20,000개 프레임은 추가 23개 도시에서 가져와 지리적 다양성을 보장한다. 주석은 전문 팀에 의해 수행되었으며, 각 세밀한 이미지는 정확한 경계 묘사를 가능하게 하는 다각형 도구를 사용하여 레이블링하는 데 약 90분이 소요된다. 이미지당 약 7분이 걸리는 거친 주석은 더 적은 정점을 가진 다각형을 사용하며 사전 훈련이나 약한 지도 학습을 위해 설계되었다.
벤치마크 작업 및 지표
이 데이터셋은 주로 각 픽셀에 클래스 레이블을 할당하는 의미론적 분할에 사용된다. 표준 평가 지표는 모든 클래스에 걸친 평균 Intersection-over-Union(mIoU)이며, 훈련 및 평가에 사용되는 19개 클래스에 대해 별도로 보고된다('무효' 클래스는 제외). Cityscapes는 또한 인스턴스 분할(클래스 내 개별 객체, 예: 별도의 자동차 구분)과 범주적 분할(의미론적 및 인스턴스 분할 결합)을 지원한다. 벤치마크에는 연구자가 결과를 제출할 수 있는 공개 리더보드가 있으며, 초기 완전 합성곱 네트워크에서 segformer 및 mask2former와 같은 현대 트랜스포머 기반 아키텍처에 이르기까지 분할 모델의 상당한 발전을 이끌었다.
컴퓨터 비전에 미친 영향
Cityscapes는 수천 건의 인용과 학계 및 산업계에서의 광범위한 사용으로 컴퓨터 비전에서 가장 영향력 있는 데이터셋 중 하나가 되었다. Cityscapes에서 훈련된 모델은 종종 웨이모 또는 테슬라 오토파일럿 데이터와 같은 다른 도시 환경으로 일반화해야 하기 때문에 도메인 적응 기술의 발전을 촉진했다. 이 데이터셋은 또한 gta-v 및 carla와 같은 도구를 사용하여 추가 훈련 데이터를 생성한 다음 Cityscapes에서 미세 조정하는 합성 데이터 사용을 대중화했다. 그 주석은 의미론적 분할, 깊이 추정, 그리고 객체 탐지를 위한 모델을 훈련하는 데 사용되었으며, 신경망 및 딥러닝 패러다임에 기반한 새로운 아키텍처를 위한 표준 평가 도구로 남아 있다.
한계 및 확장
성공에도 불구하고 Cityscapes에는 알려진 한계가 있다. 이 데이터셋은 주로 독일의 유럽 도시만을 다루며, 이는 유럽의 도로 배치, 표지판, 차량 유형에 대한 편향을 도입한다. 데이터셋에는 야간 장면, 폭우, 또는 눈이 포함되지 않아 악천후 조건에 대한 적용 가능성이 제한된다. 이러한 공백을 해결하기 위해 연구자들은 야간 장면을 위한 cityscapes-dark와 안개, 비, 눈을 위한 acdc(악조건 데이터셋)와 같은 확장 및 보완 데이터셋을 만들었다. 또한 거친 주석은 덜 정밀하여 이를 기반으로 훈련된 모델에 영향을 줄 수 있다. 그럼에도 불구하고 Cityscapes는 여전히 기본 자원으로 남아 있으며, 그 벤치마크는 도시 장면 이해에서 최첨단 모델을 평가하는 데 계속 활발히 사용되고 있다.