NYU Depth V2는 2012년 뉴욕대학교 연구진이 공개한 대규모 RGB-D 데이터셋으로, 실내 장면 이해를 위해 설계되었다. 이 데이터셋은 Microsoft Kinect 센서로 촬영된 비디오 시퀀스로 구성되며, 컬러(RGB) 이미지와 정렬된 깊이 맵을 모두 포함한다. 단안 깊이 추정, 의미론적 분할, 장면 파싱과 같은 작업의 표준 벤치마크로 사용되며, 실내 인식을 위한 딥러닝 접근법 발전에 중요한 역할을 해왔다.
이 데이터셋은 1,449개의 밀집 라벨링된 RGB 및 깊이 이미지 쌍을 포함하며, 각 픽셀은 894개의 객체 범주(일반적인 벤치마크에서는 40개 클래스로 통합됨) 중 하나로 주석 처리된다. 또한 464개의 다양한 실내 장면에서 얻은 407,024개의 라벨링되지 않은 프레임을 제공하며, 침실, 거실, 사무실, 주방과 같은 공간을 포함한다. 장면은 1인칭 시점에서 촬영되어 사람이 공간을 이동하는 것을 모방하며, 이는 로봇공학 및 증강 현실 응용에 특히 적합하다.
획득 및 주석
원래 NYU Depth 데이터셋(V1)은 2011년에 공개되었지만, V2는 장면 수를 확장하고 주석 품질을 개선했다. RGB-D 데이터는 Kinect 센서를 사용하여 컬러 및 깊이 스트림 모두 640x480 픽셀 해상도로 기록되었다. 깊이 맵은 구조광(structured light)을 사용하여 캡처되었으며, 밀리미터 단위의 미터법 깊이 정보를 제공한다. 라벨링된 하위 집합을 만들기 위해 연구진은 비디오 시퀀스에서 프레임을 선택하고 사용자 정의 도구를 사용하여 각 픽셀에 의미론적 클래스를 수동으로 주석 처리했다. 주석 과정은 일관성을 보장하기 위해 여러 번의 패스를 거쳤으며, 최종 라벨은 인간 평가자에 의해 검증되었다.
벤치마크 작업
NYU Depth V2는 주로 깊이 추정과 의미론적 분할의 두 가지 작업에 사용된다. 깊이 추정의 경우, 모델은 단일 RGB 이미지에서 밀집 깊이 맵을 예측하도록 훈련되며, 평균 제곱근 오차(RMSE) 및 상대 오차와 같은 평가 지표가 사용된다. 의미론적 분할의 경우, 모델은 각 픽셀을 40개 클래스 중 하나로 분류하며, 픽셀 정확도 및 평균 교집합 대 합집합(mIoU)과 같은 지표가 사용된다. 이 데이터셋은 또한 모델이 깊이와 의미론을 동시에 예측하는 다중 작업 학습을 지원하며, 이는 현대 신경망 아키텍처에서 일반적이다.
연구에 미친 영향
공개 이후 NYU Depth V2는 실내 장면 이해의 초석이 되었다. 이 데이터셋은 잔차 네트워크 기반 인코더의 초기 연구부터 이후 트랜스포머 기반 모델에 이르기까지 수백 편의 논문에서 사용되었다. 데이터셋의 깊이 맵은 3D 재구성 및 장면 완성 작업에도 활용되었다. 인기의 이유는 현실적인 실내 환경과 밀집 라벨 및 대규모 비라벨 데이터의 가용성 덕분이며, 이는 준지도 및 자기지도 학습 기법을 가능하게 한다. 연구진은 또한 데이터 증강 및 대조 학습을 통한 모델 사전 훈련에 비라벨 프레임을 사용했다.
한계 및 확장
이 데이터셋은 반사 표면이나 어두운 표면에서의 깊이 맵 센서 노이즈, 주거용 실내 공간에 대한 편향과 같은 알려진 한계가 있다. 40개 클래스 라벨 집합은 거칠며, 많은 세분화된 범주를 병합한다. 이러한 문제를 해결하기 위해 개선된 라벨을 가진 NYU Depth V2 및 합성 데이터셋과 같은 확장이 제안되었다. 이러한 과제에도 불구하고 NYU Depth V2는 실내 인식 알고리즘 비교의 기준점으로 남아 있으며, 그 영향은 로봇공학 및 아마존 웹 서비스 클라우드 기반 비전 서비스의 상업적 응용까지 확장된다.