Le benchmark KITTI est une collection de jeux de données et de critères d'évaluation conçue pour la recherche en conduite autonome et en robotique mobile. Il fournit un ensemble standardisé d'enregistrements de capteurs provenant d'un véhicule circulant dans des environnements urbains et ruraux, permettant aux chercheurs de comparer les performances d'algorithmes pour des tâches telles que la détection d'objets, le suivi et la reconstruction stéréo. Établi comme un projet conjoint entre Carnegie Mellon University et l'Institut de technologie de Karlsruhe, il a été introduit en 2012 et est depuis devenu une norme largement utilisée dans le domaine de la recherche en apprentissage automatique et en vision par ordinateur.
Collecte de données et plateforme
Le benchmark a été créé à l'aide d'un break équipé d'une suite de capteurs pour capturer des conditions de conduite réelles dans la ville de Karlsruhe, en Allemagne. La configuration principale des capteurs comprenait deux caméras couleur haute résolution et deux caméras en niveaux de gris, formant un système de vision stéréoscopique orienté vers l'avant. Un scanner laser rotatif, de type Velodyne HDL-64E, fournissait des informations de distance et de réflectance, tandis qu'un système de positionnement global et un système de navigation inertielle enregistraient le positionnement du véhicule lors de divers trajets.
Les enregistrements des capteurs ont été effectués à 10 Hz, les caméras fournissant des images de 1,4 mégapixel avec une profondeur de couleur de 24 bits. Le jeu de données comprend des plans de sol et des paramètres de caméra calibrés. La collecte n'a pas seulement enregistré des rues urbaines, mais aussi des routes rurales et des sections d'autoroute. L'ensemble des données a été divisé en sous-ensembles d'entraînement et de test, avec des annotations pour les tâches de détection et de suivi, souvent fournies par une équipe de l'Institut de technologie de Karlsruhe.
Tâches du benchmark
KITTI définit une série de tâches spécifiques à différents niveaux de difficulté, allant de performances inversées dans des conditions simples (basées sur la taille de la boîte englobante et l'occlusion) à des conditions plus difficiles. Parmi celles-ci, on trouve principalement la détection d'objets en 2D et en 3D (localisation et délimitation des véhicules), la détection des piétons et des cyclistes, ainsi que le suivi de ces mêmes éléments, comme les voitures et les vélos en mouvement. Au-delà de la reconnaissance d'objets, le benchmark comprend des suites d'évaluation pour la correspondance stéréo, où les pixels de deux caméras sont mis en correspondance pour récupérer les profondeurs de la scène, et pour l'estimation du flux de scène, qui implique le déplacement et le mouvement par pixel.
Les métriques d'évaluation sont à la fois basées sur des pipelines pour les tâches 2D et utilisent la précision moyenne, ou des métriques plus avancées comme l'erreur D1 stéréo. Pour le suivi, une métrique personnalisée basée sur le protocole CLEAR MOT est utilisée, ce qui donne des mesures telles que la précision de suivi multi-objets et les correspondances accumulées. Chaque tâche comprend également un classement où les participants peuvent soumettre leurs algorithmes sur un ensemble de test continu et recevoir des retours automatisés.
Impact et utilisation
KITTI a servi de référence pour de nombreuses avancées dans la perception en conduite autonome. Ses données standardisées ont permis le développement et la validation d'algorithmes pour la fusion de capteurs, des nuages de points 3D aux images 2D. Sa capacité de localisation de véhicules est également utilisée dans d'autres domaines, comme la robotique, où les mesures exactes des poses de caméra sont utilisées pour la localisation et la cartographie simultanées.
De nombreux articles influents dans le domaine ont été évalués sur KITTI, des modèles de segmentation comme U-Net à l'application de différentes architectures de réseaux de neurones pour la détection d'objets, telles que les réseaux de convolution basés sur les régions ou les détecteurs à un seul passage. À mesure que l'infrastructure de apprentissage profond a mûri, le classement de KITTI est devenu un lieu central pour suivre les progrès de ces modèles et pour des comparaisons scientifiques. Bien que des benchmarks ultérieurs tels que nuScenes et Waymo Open Dataset aient étendu les mesures standardisées, KITTI conserve une traction significative dans la communauté.
Limites et extensions
Les données originales de KITTI, bien que collectées dans des environnements denses, présentent des limites liées à son emplacement et à son attention portée à la flore du trafic. Étant donné que les données proviennent d'une région spécifique (Karlsruhe) dans une gamme de conduite de taille moyenne à plus grande, les résultats peuvent ne pas être directement transférables à d'autres régions ou conditions, comme le jour et la nuit, ou par mauvais temps. Les annotations sont également pré-localisées à un ensemble de classes d'objets, et le nombre de trames étiquetées est relativement limité, souvent de l'ordre de 7 481 trames d'entraînement pour quelques tâches.
Pour atténuer ces problèmes, des efforts comme KITTI-RAW, une collection de lectures de capteurs non traitées avec des caméras et des accéléromètres continus, ont été publiés. Des modifications ont également été apportées pour adapter les données à l'anticipation d'action. Néanmoins, KITTI reste le point d'entrée standard pour l'évaluation des algorithmes de conduite automatisée. De nombreuses campagnes similaires, comme Waymo ou l'augmentation de Cityscapes et Virtual KITTI, ont pris sa structure de base comme modèle. Pour de nombreux travaux, le benchmark n'est pas seulement une évaluation, mais aussi un portail vers les capteurs qui interfacent avec la pile de conduite autonome.
Perspectives
Ces dernières années, le rôle de KITTI dans le paysage en évolution a changé. Les nouveaux travaux dans le domaine utilisent souvent des données divisées de KITTI pour s'aligner sur la nouvelle réalité de la fusion de capteurs, ou ils ont dérivé leur tâche du benchmark. Sa pertinence continue repose sur la manière dont son processus de validation permet des solutions basées sur l'IA qui sont reproductibles, standardisées et académiquement crédibles.
Parce que le benchmark KITTI a été dès le départ une entreprise financée publiquement pour le bien public dans la recherche en robotique, son avenir est lié à sa maintenance. Alors que la confidentialité des données et les licences pour les données de véhicules autonomes deviennent plus restreintes, le modèle KITTI, qui n'implique pas de crédits optiques manquants mais plutôt de nombreux agrégats, pourrait servir de modèle pour la science ouverte dans le domaine de la robotique. Ses métriques et protocoles ne sont donc pas seulement un catalogue de réalisations passées, mais aussi une fondation sur laquelle construire - façonnant l'évaluation pour qu'elle soit précise.