nuScenes是Aptiv于2019年发布的一个用于自动驾驶研究的大规模公共数据集。它提供了从在城市环境中运行的车队捕获的多模态传感器数据的全面集合。该数据集被研究人员和开发者广泛用于训练和评估人工智能和机器学习中的感知、预测和规划任务算法。其主要目标是通过提供带有丰富标注和多样化驾驶场景的标准化基准，加速自动驾驶技术的发展。
该数据集包含1,000个驾驶场景，每个场景持续约20秒，涵盖23个对象类别中的超过140万个标注对象。传感器套件包括六个提供360度覆盖的摄像头、五个远程雷达、一个激光雷达，以及带有GPS和IMU数据的完整车辆状态报告。数据在两个地理上不同的城市（马萨诸塞州波士顿和新加坡）收集，以捕捉多样化的交通模式、道路布局和天气条件。这种多样性使nuScenes在测试模型在不同环境和文化驾驶情境下的鲁棒性方面特别有价值。
标注与基准任务
nuScenes为所有对象提供详细的3D边界框标注，包括位置、大小、方向和速度。每个对象在帧间进行跟踪，从而实现时间分析。该数据集支持几个核心基准任务：3D对象检测、跟踪和运动预测。对于检测，主要评估指标是nuScenes检测分数（NDS），它结合了平均精度（mAP）与对平移、尺度、方向、速度和属性分类错误的惩罚。跟踪基准使用AMOTA（平均多对象跟踪精度），而预测任务评估未来轨迹在2、4和6秒时间范围内的准确性。
传感器融合与设计
nuScenes的一个显著特点是其对传感器融合的重视。与许多早期主要依赖激光雷达或摄像头的数据集不同，nuScenes包含来自所有传感器的同步数据，使研究人员能够探索多模态方法。雷达数据在其他基准中通常未被充分利用，但在nuScenes中得到了完整标注和集成，从而支持对成本效益感知系统的研究。该数据集还为所有传感器提供了统一的坐标系和校准文件，简化了融合算法的开发。这一设计使nuScenes成为比较深度学习架构的标准测试平台，包括基于神经网络的检测器和基于变换器的3D感知模型。
影响与采用
nuScenes的发布标志着自动驾驶研究向更真实和更具挑战性的基准转变。像KITTI这样的早期数据集规模较小且在受控环境中捕获；nuScenes提供了更大的规模、传感器多样性和城市复杂性。它已被数千篇研究论文引用，并且是学术竞赛和行业评估的常见选择。该数据集还影响了后续工作，如Waymo Open Dataset和Argoverse，通过设定标注粒度和评估协议的标准。其以研究许可证形式公开可用，使高质量驾驶数据的获取民主化，使较小的实验室和初创公司能够参与前沿的机器学习研究。
扩展与相关工具
Aptiv和研究社区已发布了nuScenes的多个扩展。nuScenes-devkit是一个开源Python库，提供数据加载、可视化和评估的实用工具，降低了入门门槛。2020年，nuScenes-lidarseg基准为激光雷达数据添加了逐点语义分割标签，将范围扩展到对象检测之外的场景理解。该数据集还包括带有详细车道和可行驶区域信息的地图扩展，支持路径规划和行为预测研究。这些资源使nuScenes不仅是一个静态数据集，而且是一个不断发展的自动驾驶人工智能开发生态系统。
局限性与批评
尽管有诸多优势，nuScenes仍存在已知的局限性。数据主要是在晴朗天气条件下收集的，雨、雪或夜间场景有限，这可能降低模型对恶劣条件的泛化能力。传感器套件虽然全面，但使用32束激光雷达，其分辨率低于某些其他数据集中使用的64束或128束传感器。此外，标注过程虽然严谨，但在密集交通或遮挡场景中可能引入错误。研究人员指出，该数据集的城市焦点可能无法捕捉高速公路或乡村驾驶场景，限制了其对所有自动驾驶情境的适用性。在将nuScenes作为生产级系统的唯一基准时，这些因素值得考虑。