KITTIベンチマークは、自動運転と移動ロボティクスの研究のために設計されたデータセットと評価基準の集合体です。都市部および郊外環境を走行する車両からのセンサー記録の標準化されたセットを提供し、物体検出、追跡、ステレオ再構成などのタスクにおけるアルゴリズムの性能を研究者が比較できるようにします。カーネギーメロン大学とカールスルーエ工科大学の共同プロジェクトとして設立され、2012年に導入されて以来、機械学習およびコンピュータビジョン研究の分野で広く使用される標準となっています。
データ収集とプラットフォーム
このベンチマークは、ドイツのカールスルーエ市での実際の運転状況を捉えるために、一連のセンサーを装備したステーションワゴンを使用して作成されました。主要なセンサー構成には、前方を向いた立体視システムを形成する2台の高解像度カラーカメラと2台のグレースケールカメラが含まれていました。Velodyne HDL-64Eタイプの回転式レーザースキャナーが距離と反射情報を提供し、全地球測位システムと慣性航法システムがさまざまな走行中の車両の位置を記録しました。
センサー記録は10 Hzで取得され、カメラは24ビット色深度の1.4メガピクセル画像を提供しました。データセットには、地平面と較正されたカメラパラメータが含まれています。収集は市街地だけでなく、田園道路や高速道路区間も記録しました。データ全体はトレーニングとテストのサブセットに分割され、検出と追跡の両タスクのアノテーションが提供されており、多くの場合カールスルーエ工科大学のチームによって作成されています。
ベンチマークタスク
KITTIは、単純な条件（バウンディングボックスのサイズと遮蔽に基づく）での性能から、より困難な条件まで、さまざまな難易度レベルにわたる一連の特定タスクを定義しています。主なものには、2Dおよび3Dでの物体検出（車両の検出と境界付け）、歩行者および自転車の検出、そして移動する車や自転車などの追跡が含まれます。物体認識に加えて、ベンチマークには、2台のカメラからのピクセルをマッチングしてシーン深度を復元するステレオマッチング、およびピクセル単位の変位と動きを伴うシーンフロー推定の評価スイートが含まれています。
評価指標は、2Dタスクではパイプラインベースであり、平均精度（Average Precision）や、より高度なステレオD1エラーなどを使用します。追跡では、CLEAR MOTプロトコルに基づくカスタム指標が発行され、複数物体追跡精度や累積マッチなどの測定結果が得られます。各タスクにはリーダーボードも含まれており、参加者は進行中のテストセットに対してアルゴリズムをアップロードし、自動フィードバックを受け取ることができます。
影響と使用
KITTIは、自動運転認識における数多くの画期的な進歩の参照点となっています。その標準化されたデータにより、3Dポイントクラウドから2D画像までのセンサーフュージョンアルゴリズムの開発と検証が可能になりました。車両位置の能力は、ロボティクスなどの他の領域でも使用されており、カメラ姿勢の正確な測定が同時位置推定とマッピング（SLAM）に利用されています。
この分野の多くの影響力のある論文がKITTIで評価されており、U-Netのようなセグメンテーションモデルから、領域ベースの畳み込みネットワークやシングルショット検出器などの物体検出のためのさまざまなニューラルネットワークアーキテクチャの適用まで含まれます。深層学習インフラが成熟するにつれて、KITTIのリーダーボードは、これらのモデルの進捗を追跡し、科学的比較を行うための中心的な場所として進化しました。nuScenesやWaymo Open Datasetなどの後続のベンチマークが標準化された指標を拡張していますが、KITTIはコミュニティ内で大きな勢いを維持しています。
制限と拡張
元のKITTIデータは、密集した環境で収集されましたが、その場所と交通の状況への注目に関連する限界があります。データは特定の地域（カールスルーエ）の中規模から大規模な運転範囲からのものであるため、調査結果は他の地域や条件（昼夜や悪天候など）に直接転用できない場合があります。アノテーションは特定の物体クラスのセットに事前に限定されており、ラベル付きフレームの数は比較的限られており、いくつかのタスクでは約7,481のトレーニングフレームにすぎません。
これらの問題を軽減するために、KITTI-RAW（連続的なカメラと加速度計を備えた未処理のセンサー読み取りのコレクション）などの取り組みがリリースされました。また、データを特定のアクション期待に適応させるための変更も行われています。それでも、KITTIは自動運転アルゴリズムのベンチマーキングの標準的な入り口であり続けています。WaymoやCityscapesおよびVirtual KITTIの拡張などの多くの類似キャンペーンが、そのコア構造をテンプレートとして採用しています。多くの研究にとって、このベンチマークは評価だけでなく、自動運転スタックとインターフェースするセンサーへのポータルでもあります。
展望
近年、KITTIの進化する状況における役割は変化しています。この分野の新しい研究は、センサーフュージョンの新しい現実に合わせてKITTIから分割データを使用することが多く、またはベンチマークからタスクを派生させています。その継続的な関連性は、検証プロセスが再現可能で標準化され、学術的に信頼できるAIベースのソリューションを可能にする方法に依存しています。
KITTIベンチマークは当初からロボティクス研究の公共善のための公的資金による取り組みであったため、その未来は維持管理に結びついています。自動運転データのデータプライバシーとライセンスがより制限されるにつれて、光学的資格情報の欠如ではなく多くの集約が得られるKITTIモデルは、ロボティクス分野におけるオープンサイエンスのモデルとして機能する可能性があります。その指標とプロトコルは、過去の成果のカタログであるだけでなく、評価を精密に形成するための基盤でもあります。