Waymo 오픈 데이터셋은 자율주행 기술 기업인 Waymo가 운영하는 자율주행 차량에서 기록한 센서 데이터의 공개 컬렉션이다. 2019년 8월에 공개된 이 데이터셋은 자율주행을 위한 인공지능 연구를 가속화하기 위해 설계되었으며, 연구자들이 자체 차량을 보유하지 않고도 사용할 수 있는 고품질의 실제 세계 데이터를 제공한다. 여기에는 라이다, 카메라, 레이더와 같은 여러 센서의 데이터가 포함되어 있으며, 객체 탐지, 추적, 운동 예측과 같은 작업을 위해 동기화되고 레이블이 지정되어 있다.
이 데이터셋은 동반 논문과 함께 소개되었으며 자율주행 연구 커뮤니티에서 표준 벤치마크가 되었다. 특히 딥러닝과 신경망에 기반한 머신러닝 모델을 훈련하고 평가하는 데 자주 사용된다. 이번 공개는 규모와 다양한 주행 시나리오로 주목을 받았으며, 여기에는 밀집된 도시 교통, 고속도로 주행, 보행자 및 자전거 이용자와의 상호작용이 포함된다.
센서 구성 및 데이터 형식
데이터 수집에 사용된 Waymo 차량 각각에는 5개의 라이다 센서, 5개의 카메라, 여러 개의 레이더가 장착되어 차량 주변의 360도 뷰를 제공한다. 라이다 센서는 고해상도 포인트 클라우드를 캡처했으며, 카메라는 초당 5프레임으로 동기화된 이미지를 기록했다. 레이더 데이터는 특히 저시정 조건에서 유용한 추가 속도 및 거리 정보를 제공했다.
데이터는 각각 20초의 연속 주행을 나타내는 세그먼트로 구성된다. 각 세그먼트에는 동기화된 센서 판독값, 차량 자세 정보, 관심 객체에 대한 3D 경계 상자 레이블이 포함된다. 레이블은 차량, 보행자, 자전거 이용자를 대상으로 하며 객체 ID, 속도, 가속도와 같은 속성을 포함한다. 데이터셋은 또한 3D 레이블이 투영된 2D 카메라 이미지를 제공하여 3D 및 2D 인식 연구를 모두 지원한다.
벤치마크 작업 및 평가 지표
Waymo 오픈 데이터셋은 여러 벤치마크 작업을 지원한다. 주요 작업은 3D 객체 탐지, 3D 객체 추적, 운동 예측이다. 탐지의 경우 모델은 라이다 및 카메라 데이터에서 3D 공간의 객체를 식별하고 위치를 파악해야 한다. 추적은 시간 프레임에 걸쳐 탐지를 연관시켜 일관된 객체 정체성을 유지해야 한다. 운동 예측은 탐지된 객체의 미래 궤적을 최대 8초의 수평선까지 예측하는 것을 포함한다.
평가 지표에는 탐지의 평균 정밀도, 추적의 다중 객체 추적 정확도, 예측의 최소 평균 변위 오차가 포함된다. 데이터셋에는 별도의 훈련, 검증, 테스트 분할이 포함되며 테스트 세트는 리더보드 제출에 사용된다. 연구자들은 공식 웹사이트에 결과를 제출하여 표준화된 방식으로 다른 모델과 비교할 수 있다.
자율주행 연구에 미친 영향
공개 이후 Waymo 오픈 데이터셋은 학계 및 산업 연구에서 널리 채택되었다. 이는 트랜스포머를 사용한 3D 객체 탐지, 데이터 증강을 위한 생성 모델, 주행 장면 이해에 적용된 대규모 언어 모델과 같은 주제에 대한 연구를 가능하게 했다. 원래 공개에서 1,000개 이상의 세그먼트를 포함하고 이후 더 많은 도시와 시나리오로 확장된 데이터셋의 규모는 강력한 인식 시스템을 훈련하는 데 핵심 자원이 되었다.
이 데이터셋은 또한 새로운 알고리즘과 아키텍처의 개발을 촉진했다. 예를 들어, 많은 최첨단 3D 탐지 방법이 이 데이터셋에서 벤치마킹되었으며, 라이다와 카메라 데이터의 다중 모드 융합을 탐구하는 데 사용되었다. 공개적으로 이용 가능함으로써 독점 자율주행 차량 플랫폼에 접근할 수 없는 연구자들의 진입 장벽을 낮추었고, 더 넓은 머신러닝 혁신 생태계에 기여했다.
다른 데이터셋과의 비교
Waymo 오픈 데이터셋은 nuScenes 및 KITTI와 같은 다른 자율주행 데이터셋과 자주 비교된다. 더 일찍 공개되고 규모가 작은 KITTI와 비교하여 Waymo는 더 다양한 시나리오와 더 높은 센서 해상도를 제공한다. 다른 회사에서 개발한 nuScenes는 유사한 센서 모달리티를 제공하지만 보스턴과 싱가포르의 도시 주행에 다른 초점을 둔다. Waymo의 데이터셋은 많은 수의 레이블이 지정된 객체와 모든 경쟁 데이터셋에 존재하지 않는 레이더 데이터의 포함으로 구별된다.
연구자들은 Waymo 오픈 데이터셋이 매우 동적인 장면과 폐색을 처리하는 것과 같은 독특한 과제를 제시한다고 지적했다. 이 벤치마크 리더보드는 ImageNet이 이미지 분류에 기여한 것과 유사하게 3D 인식의 진전을 측정하는 기준점이 되었다. 데이터셋은 계속 업데이트되며, 인간 자세 추정을 위한 2D 키포인트 작업 추가와 같은 새로운 데이터와 작업을 추가하는 주기적 공개가 이루어지고 있다.
향후 방향
자율주행 기술이 발전함에 따라 Waymo 오픈 데이터셋은 더 다양한 기상 조건, 야간 주행, 긴급 차량과의 상호작용을 포함하도록 더 확장될 것으로 예상된다. 또한 인식, 예측, 계획이 단일 신경망에 통합되는 엔드투엔드 주행 모델에 데이터셋을 사용하는 데 대한 관심도 있다. 이 데이터셋의 AI 연구에서의 역할은 분야가 더 복잡한 추론 및 의사 결정 작업으로 이동함에 따라 성장할 가능성이 높다.
이 데이터셋은 또한 다른 회사들의 유사한 공개를 촉진하여 자율주행 산업의 공개 데이터 추세에 기여했다. 평가를 위한 공통 기준을 제공함으로써 이 중요한 분야의 진전이 측정 가능하고 재현 가능하도록 보장한다. 연구자와 실무자는 더 안전하고 더 유능한 자율주행 시스템을 개발하기 위한 기초 자원으로 계속 의존하고 있다.