KITTI基准测试是一组数据集和评估标准，专为自动驾驶和移动机器人研究而设计。它提供了一套标准化的传感器记录，来自一辆在城乡环境中行驶的车辆，使研究人员能够比较目标检测、跟踪和立体重建等任务的算法性能。该基准测试由卡内基梅隆大学和卡尔斯鲁厄理工学院联合项目建立，于2012年推出，此后已成为机器学习和计算机视觉研究领域广泛使用的标准。
数据采集与平台
该基准测试使用一辆配备传感器套件的旅行车创建，用于捕捉德国卡尔斯鲁厄市的真实驾驶条件。主要传感器配置包括两个高分辨率彩色相机和两个灰度相机，形成朝前的立体视觉系统。一个旋转激光扫描仪（Velodyne HDL-64E型）提供距离和反射信息，而全球定位系统和惯性导航系统记录车辆在各种行驶中的定位。
传感器记录以10 Hz频率采集，相机提供1.4百万像素的24位色深图像。数据集包括地面平面和校准相机参数。采集内容不仅涵盖城市街道，还包括乡村道路和高速公路路段。全部数据已分为训练和测试子集，并带有检测和跟踪任务的注释，通常由卡尔斯鲁厄理工学院的一个团队提供。
基准任务
KITTI定义了一系列特定任务，涵盖不同难度级别，从简单条件下的性能（基于边界框大小和遮挡）到更困难的条件。其中主要任务包括2D和3D目标检测（查找和框定车辆）、行人和骑行者检测，以及对这些对象（如移动的汽车和自行车）的跟踪。除目标识别外，该基准测试还包括立体匹配的评估套件，其中两个相机的像素被匹配以恢复场景深度，以及场景流估计，涉及逐像素位移和运动。
评估指标对于2D任务基于流程，并使用平均精度，或更高级的指标如立体D1误差。对于跟踪，采用基于CLEAR MOT协议的自定义指标，产生多目标跟踪精度和累积匹配等度量。每个任务还包括一个排行榜，参与者可以上传其算法以针对持续测试集进行测试，并获得自动反馈。
影响与使用
KITTI已成为自动驾驶感知领域众多突破的参考点。其标准化数据允许开发和验证传感器融合算法，从3D点云到2D图像。其车辆定位能力也用于其他领域，如机器人学，其中相机姿态的精确测量用于同步定位与地图构建。
该领域的许多有影响力的论文都在KITTI上进行了评估，从U-Net等分割模型到不同神经网络架构在目标检测中的应用，如基于区域的卷积网络或单次检测器。随着深度学习基础设施的成熟，KITTI的排行榜演变为跟踪这些模型进展和进行科学比较的中心场所。尽管后续基准测试如nuScenes和Waymo开放数据集扩展了标准化措施，KITTI在社区中仍保持显著影响力。
局限性与扩展
原始KITTI数据虽在密集环境中采集，但其位置和对交通流量的关注存在一定局限性。由于数据来自特定区域（卡尔斯鲁厄）的中型到较大规模驾驶环境，发现可能无法直接转移到其他地区或条件，如昼夜变化或恶劣天气。注释也预先限定在一组对象类别，且标记帧数量相对有限，对于某些任务通常约为7，481个训练帧。
为缓解这些问题，发布了KITTI-RAW等努力，这是一个包含连续相机和加速度计读数的未处理传感器读数集合。还进行了修改以适应数据到特定动作预期。尽管如此，KITTI仍是基准测试自动驾驶算法的标准入口。许多类似活动，如Waymo或Cityscapes和Virtual KITTI的增强，都以其核心结构为模板。对于许多工作，该基准测试不仅是评估工具，也是与自动驾驶堆栈接口的传感器门户。
展望
近年来，KITTI在不断发展的格局中的角色已发生转变。该领域的新工作通常使用KITTI的分割数据来适应传感器融合的新现实，或从该基准测试中衍生其任务。其持续相关性取决于其验证过程如何支持可复现、标准化且学术可信的AI解决方案。
由于KITTI基准测试从一开始就是一项公共资助的机器人研究公益事业，其未来与其维护密切相关。随着自动驾驶数据隐私和许可变得更加封闭，KITTI模式（不涉及缺失的光学凭证，而是获得许多聚合数据）可作为机器人领域开放科学的典范。其指标和协议不仅是过去成就的目录，也是可构建的基础，塑造精确的评估方式。