nuScenes는 2019년 Aptiv가 공개한 자율주행 연구용 대규모 공개 데이터셋이다. 도시 환경에서 운행되는 차량 함대에서 수집된 다중 모달 센서 데이터의 포괄적인 모음을 제공한다. 이 데이터셋은 Artificial intelligence 및 Machine learning 분야의 인식, 예측, 계획 작업을 위한 알고리즘을 훈련하고 평가하기 위해 연구자와 개발자들이 널리 사용한다. 주요 목표는 풍부한 주석과 다양한 주행 시나리오를 갖춘 표준화된 벤치마크를 제공하여 자율주행 기술의 발전을 가속화하는 것이다.
이 데이터셋은 각각 약 20초 동안 지속되는 1,000개의 주행 장면으로 구성되며, 23개 객체 클래스에 걸쳐 140만 개 이상의 주석 처리된 객체를 포함한다. 센서 구성은 360도 커버리지를 제공하는 6개의 카메라, 5개의 장거리 레이더, 1개의 라이다, 그리고 GPS 및 IMU 데이터를 포함한 전체 차량 상태 보고서로 이루어진다. 데이터는 보스턴(매사추세츠)과 싱가포르라는 두 개의 지리적으로 다른 도시에서 수집되어 다양한 교통 패턴, 도로 구조, 기상 조건을 포착했다. 이러한 다양성은 nuScenes를 다양한 환경 및 문화적 주행 맥락에서 모델의 견고성을 테스트하는 데 특히 유용하게 만든다.
주석 및 벤치마크 작업
nuScenes는 위치, 크기, 방향, 속도를 포함한 모든 객체에 대한 상세한 3D 경계 상자 주석을 제공한다. 각 객체는 프레임 간 추적되어 시간적 분석을 가능하게 한다. 이 데이터셋은 3D 객체 감지, 추적, 운동 예측과 같은 여러 핵심 벤치마크 작업을 지원한다. 감지의 경우, 주요 평가 지표는 nuScenes Detection Score(NDS)로, 평균 정밀도(mAP)와 변환, 스케일, 방향, 속도, 속성 분류의 오류에 대한 패널티를 결합한다. 추적 벤치마크는 AMOTA(평균 다중 객체 추적 정확도)를 사용하며, 예측 작업은 2초, 4초, 6초 시간 범위에 걸친 미래 궤적의 정확도를 평가한다.
센서 융합 및 설계
nuScenes의 독특한 특징은 센서 융합에 대한 강조이다. 주로 라이다나 카메라에만 의존했던 많은 초기 데이터셋과 달리, nuScenes는 모든 센서의 동기화된 데이터를 포함하여 연구자들이 다중 모달 접근 방식을 탐구할 수 있게 한다. 다른 벤치마크에서 종종 활용도가 낮았던 레이더 데이터는 완전히 주석 처리되고 통합되어 비용 효율적인 인식 시스템 연구를 가능하게 한다. 이 데이터셋은 또한 모든 센서에 대한 통합 좌표계와 캘리브레이션 파일을 제공하여 융합 알고리즘 개발을 단순화한다. 이러한 설계는 nuScenes를 Deep learning 아키텍처, 특히 Neural network 기반 감지기와 3D 인식을 위한 Transformer (architecture) 기반 모델을 비교하는 표준 테스트베드로 만들었다.
영향 및 채택
nuScenes의 출시는 자율주행 연구에서 더 현실적이고 도전적인 벤치마크로의 전환을 표시했다. KITTI와 같은 이전 데이터셋은 더 작고 통제된 환경에서 캡처되었지만, nuScenes는 더 큰 규모, 센서 다양성, 도시 복잡성을 제공했다. 이 데이터셋은 수천 편의 연구 논문에서 인용되었으며 학술 대회와 산업 평가에서 일반적인 선택이다. 또한 Waymo Open Dataset 및 Argoverse와 같은 후속 노력에 주석 세분성과 평가 프로토콜의 표준을 설정함으로써 영향을 미쳤다. 연구 라이선스 하의 공개 가용성은 고품질 주행 데이터에 대한 접근을 민주화하여 소규모 연구실과 스타트업이 최첨단 Machine learning 연구에 참여할 수 있게 했다.
확장 및 관련 도구
Aptiv와 연구 커뮤니티는 nuScenes에 대한 여러 확장을 출시했다. 오픈 소스 Python 라이브러리인 nuScenes-devkit은 데이터 로딩, 시각화, 평가를 위한 유틸리티를 제공하여 진입 장벽을 낮춘다. 2020년에는 nuScenes-lidarseg 벤치마크가 라이다 데이터에 대한 포인트별 의미론적 분할 주석을 추가하여 객체 감지 이상의 장면 이해로 범위를 확장했다. 이 데이터셋은 또한 상세한 차선 및 주행 가능 영역 정보를 포함한 지도 확장을 포함하여 경로 계획 및 행동 예측 연구를 지원한다. 이러한 리소스는 nuScenes를 단순한 정적 데이터셋이 아닌 자율주행 Artificial intelligence 개발을 위한 성장하는 생태계로 만들었다.
한계 및 비판
강점에도 불구하고 nuScenes에는 알려진 한계가 있다. 데이터는 주로 맑은 날씨 조건에서 수집되었으며 비, 눈, 야간 장면이 제한적이어서 악천후 조건에 대한 모델 일반화를 감소시킬 수 있다. 센서 구성은 포괄적이지만 32빔 라이다를 사용하며, 이는 다른 일부 데이터셋에서 사용되는 64빔 또는 128빔 센서보다 해상도가 낮다. 또한 주석 프로세스는 엄격하지만 밀집된 교통 또는 가려진 장면에서 오류를 도입할 수 있다. 연구자들은 이 데이터셋의 도시 중심 초점이 고속도로 또는 시골 주행 시나리오를 포착하지 못할 수 있어 모든 자율주행 맥락에 대한 적용 가능성을 제한한다고 지적했다. 이러한 요소는 nuScenes를 생산 준비 시스템의 유일한 벤치마크로 사용할 때 고려하는 것이 중요하다.
같이 보기
- Waymo - 또 다른 주요 자율주행 데이터셋 및 회사
- Cruise - 유사한 센서 구성을 사용하는 자율주행 차량 회사
- Tesla - nuScenes의 다중 센서 설계와 대조되는 비전 기반 자율주행 접근 방식
- Deep learning - nuScenes 벤치마크에서 사용되는 핵심 방법론