Le Waymo Open Dataset est une collection accessible au public de données de capteurs enregistrées par des véhicules autonomes exploités par Waymo, une entreprise de technologie de conduite autonome. Publié en août 2019, ce jeu de données a été conçu pour accélérer la recherche en intelligence artificielle pour la conduite autonome en fournissant des données réelles de haute qualité que les chercheurs pouvaient utiliser sans avoir besoin de leurs propres flottes. Il comprend des données provenant de plusieurs capteurs, tels que le lidar, les caméras et le radar, synchronisées et annotées pour des tâches comme la détection d'objets, le suivi et la prédiction de mouvement.
Le jeu de données a été introduit avec un article compagnon et est devenu une référence standard dans la communauté de recherche sur la conduite autonome. Il est fréquemment utilisé pour entraîner et évaluer des modèles de apprentissage automatique, en particulier ceux basés sur le apprentissage profond et les réseaux de neurones. Sa publication a été remarquable par son ampleur et la diversité des scénarios de conduite, incluant le trafic urbain dense, la conduite sur autoroute et les interactions avec les piétons et les cyclistes.
Suite de capteurs et format des données
Chaque véhicule de la flotte Waymo utilisé pour la collecte de données était équipé de cinq capteurs lidar, de cinq caméras et de plusieurs radars, offrant une vue à 360 degrés autour du véhicule. Les capteurs lidar capturaient des nuages de points à haute résolution, tandis que les caméras enregistraient des images synchronisées à 5 images par seconde. Les données radar fournissaient des informations supplémentaires sur la vitesse et la distance, particulièrement utiles dans des conditions de faible visibilité.
Les données sont organisées en segments, chacun représentant 20 secondes de conduite continue. Chaque segment comprend des lectures de capteurs synchronisées, des informations de pose du véhicule et des étiquettes de boîtes englobantes 3D pour les objets d'intérêt. Les étiquettes couvrent les véhicules, les piétons et les cyclistes, et incluent des attributs tels que l'identifiant de l'objet, la vitesse et l'accélération. Le jeu de données fournit également des images 2D de caméras avec des étiquettes 3D projetées, permettant la recherche en perception 3D et 2D.
Tâches de référence et métriques
Le Waymo Open Dataset prend en charge plusieurs tâches de référence. Les tâches principales sont la détection d'objets 3D, le suivi d'objets 3D et la prédiction de mouvement. Pour la détection, les modèles doivent identifier et localiser des objets dans l'espace 3D à partir des données lidar et caméra. Le suivi nécessite d'associer les détections à travers les trames temporelles pour maintenir des identités d'objets cohérentes. La prédiction de mouvement implique de prévoir les trajectoires futures des objets détectés sur un horizon allant jusqu'à 8 secondes.
Les métriques d'évaluation incluent la précision moyenne pour la détection, la précision de suivi multi-objets pour le suivi et l'erreur de déplacement moyen minimal pour la prédiction. Le jeu de données comprend des divisions distinctes d'entraînement, de validation et de test, l'ensemble de test étant utilisé pour les soumissions au classement. Les chercheurs peuvent soumettre leurs résultats sur le site officiel pour comparer leurs modèles à d'autres de manière standardisée.
Impact sur la recherche en conduite autonome
Depuis sa publication, le Waymo Open Dataset a été largement adopté dans la recherche académique et industrielle. Il a permis des études sur des sujets tels que la détection d'objets 3D utilisant des transformeurs, des modèles génératifs pour l'augmentation de données et des grands modèles de langage appliqués à la compréhension de scènes de conduite. L'échelle du jeu de données - plus de 1 000 segments dans la version originale, ensuite étendue pour inclure plus de villes et de scénarios - en a fait une ressource clé pour entraîner des systèmes de perception robustes.
Le jeu de données a également stimulé le développement de nouveaux algorithmes et architectures. Par exemple, de nombreuses méthodes de détection 3D de pointe ont été évaluées sur celui-ci, et il a été utilisé pour explorer la fusion multimodale des données lidar et caméra. Sa disponibilité publique a abaissé la barrière à l'entrée pour les chercheurs sans accès à des plateformes propriétaires de véhicules autonomes, contribuant à un écosystème plus large d'innovation en apprentissage automatique.
Comparaison avec d'autres jeux de données
Le Waymo Open Dataset est souvent comparé à d'autres jeux de données de conduite autonome, tels que nuScenes et KITTI. Par rapport à KITTI, publié plus tôt et de plus petite échelle, Waymo offre des scénarios plus diversifiés et une résolution de capteurs plus élevée. NuScenes, développé par une autre entreprise, fournit des modalités de capteurs similaires mais avec un accent différent sur la conduite urbaine à Boston et Singapour. Le jeu de données de Waymo se distingue par son grand nombre d'objets annotés et l'inclusion de données radar, absentes de certains jeux de données concurrents.
Les chercheurs ont noté que le Waymo Open Dataset présente des défis uniques, tels que la gestion de scènes hautement dynamiques et des occlusions. Son classement de référence est devenu un point de repère pour mesurer les progrès en perception 3D, similaire à ce qu'ImageNet a représenté pour la classification d'images. Le jeu de données continue d'être mis à jour, avec des publications périodiques ajoutant de nouvelles données et tâches, comme l'ajout d'une tâche de points clés 2D pour l'estimation de pose humaine.
Orientations futures
À mesure que la technologie de conduite autonome évolue, le Waymo Open Dataset devrait s'étendre davantage, incluant potentiellement des conditions météorologiques plus diverses, la conduite de nuit et des interactions avec des véhicules d'urgence. Il existe également un intérêt pour utiliser le jeu de données pour des modèles de conduite de bout en bout, où la perception, la prédiction et la planification sont intégrées dans un seul réseau de neurones. Le rôle du jeu de données dans la recherche en IA est susceptible de croître à mesure que le domaine évolue vers des tâches de raisonnement et de prise de décision plus complexes.
Le jeu de données a également inspiré des publications similaires d'autres entreprises, contribuant à une tendance de données ouvertes dans l'industrie de la conduite autonome. En fournissant un terrain commun pour l'évaluation, il aide à garantir que les progrès dans ce domaine critique sont mesurables et reproductibles. Les chercheurs et les praticiens continuent de s'y appuyer comme ressource fondamentale pour développer des systèmes de conduite autonome plus sûrs et plus performants.