nuScenes est un jeu de données public à grande échelle pour la recherche sur la conduite autonome, publié par Aptiv en 2019. Il fournit une collection complète de données multimodales capturées par une flotte de véhicules opérant en environnements urbains. Ce jeu de données est largement utilisé par les chercheurs et les développeurs pour entraîner et évaluer des algorithmes de perception, de prédiction et de planification dans les domaines de l'intelligence artificielle et du apprentissage automatique. Son objectif principal est d'accélérer les progrès de la technologie de conduite autonome en offrant une référence standardisée avec des annotations riches et des scénarios de conduite diversifiés.
Le jeu de données comprend 1 000 scènes de conduite, chacune durant environ 20 secondes, ce qui donne plus de 1,4 million d'objets annotés répartis en 23 classes d'objets. La suite de capteurs comprend six caméras offrant une couverture à 360 degrés, cinq radars à longue portée, un lidar et un rapport complet sur l'état du véhicule avec des données GPS et IMU. Les données ont été collectées dans deux villes géographiquement distinctes - Boston, Massachusetts, et Singapour - afin de capturer des schémas de trafic, des configurations routières et des conditions météorologiques variés. Cette diversité rend nuScenes particulièrement précieux pour tester la robustesse des modèles dans différents contextes de conduite environnementaux et culturels.
Annotation et Tâches de Référence
nuScenes fournit des annotations détaillées de boîtes englobantes 3D pour tous les objets, y compris la position, la taille, l'orientation et la vitesse. Chaque objet est suivi à travers les images, ce qui permet une analyse temporelle. Le jeu de données prend en charge plusieurs tâches de référence principales : la détection d'objets 3D, le suivi et la prédiction de mouvement. Pour la détection, la métrique d'évaluation principale est le score de détection nuScenes (NDS), qui combine la précision moyenne (mAP) avec des pénalités pour les erreurs de translation, d'échelle, d'orientation, de vitesse et de classification d'attributs. La référence de suivi utilise l'AMOTA (précision moyenne de suivi multi-objets), tandis que la tâche de prédiction évalue la précision des trajectoires futures sur des horizons de 2, 4 et 6 secondes.
Fusion de Capteurs et Conception
Une caractéristique distinctive de nuScenes est son accent sur la fusion de capteurs. Contrairement à de nombreux jeux de données antérieurs qui reposaient principalement sur le lidar ou les caméras seuls, nuScenes inclut des données synchronisées de tous les capteurs, permettant aux chercheurs d'explorer des approches multimodales. Les données radar, souvent sous-utilisées dans d'autres références, sont entièrement annotées et intégrées, ce qui permet des études sur des systèmes de perception économiques. Le jeu de données fournit également un système de coordonnées unifié et des fichiers de calibration pour tous les capteurs, simplifiant le développement d'algorithmes de fusion. Cette conception a fait de nuScenes un banc d'essai standard pour comparer les architectures de apprentissage profond, y compris les détecteurs basés sur les réseaux de neurones et les modèles basés sur les transformeurs pour la perception 3D.
Impact et Adoption
La publication de nuScenes a marqué un tournant vers des références plus réalistes et plus difficiles dans la recherche sur la conduite autonome. Les jeux de données antérieurs comme KITTI étaient plus petits et capturés dans des environnements contrôlés ; nuScenes offrait une plus grande échelle, une diversité de capteurs et une complexité urbaine accrue. Il a été cité dans des milliers d'articles de recherche et est un choix courant pour les compétitions académiques et les évaluations industrielles. Le jeu de données a également influencé des efforts ultérieurs, tels que le Waymo Open Dataset et Argoverse, en établissant des normes pour la granularité des annotations et les protocoles d'évaluation. Sa disponibilité publique sous une licence de recherche a démocratisé l'accès à des données de conduite de haute qualité, permettant aux petits laboratoires et aux startups de participer à la recherche de pointe en apprentissage automatique.
Extensions et Outils Associés
Aptiv et la communauté de recherche ont publié plusieurs extensions de nuScenes. Le nuScenes-devkit, une bibliothèque Python open-source, fournit des utilitaires pour le chargement des données, la visualisation et l'évaluation, réduisant la barrière à l'entrée. En 2020, la référence nuScenes-lidarseg a ajouté des étiquettes de segmentation sémantique par point pour les données lidar, élargissant la portée pour inclure la compréhension de scène au-delà de la détection d'objets. Le jeu de données comprend également une extension cartographique avec des informations détaillées sur les voies et les zones praticables, soutenant la recherche sur la planification de trajectoire et la prédiction de comportement. Ces ressources ont fait de nuScenes non seulement un jeu de données statique, mais un écosystème en croissance pour le développement de l'intelligence artificielle en conduite autonome.
Limites et Critiques
Malgré ses forces, nuScenes présente des limitations connues. Les données ont été collectées principalement dans des conditions météorologiques claires, avec peu de scènes de pluie, de neige ou de nuit, ce qui peut réduire la généralisation des modèles à des conditions défavorables. La suite de capteurs, bien que complète, utilise un lidar à 32 faisceaux, qui a une résolution inférieure à celle des capteurs à 64 ou 128 faisceaux utilisés dans certains autres jeux de données. De plus, le processus d'annotation, bien que rigoureux, peut introduire des erreurs dans le trafic dense ou les scènes occluses. Les chercheurs ont noté que l'accent urbain du jeu de données peut ne pas capturer les scénarios de conduite sur autoroute ou en zone rurale, limitant son applicabilité à tous les contextes de conduite autonome. Ces facteurs sont importants à considérer lors de l'utilisation de nuScenes comme seule référence pour des systèmes prêts pour la production.
Voir Aussi
- Waymo - Un autre jeu de données majeur de conduite autonome et une entreprise
- Cruise - Entreprise de véhicules autonomes utilisant des configurations de capteurs similaires
- Tesla Autopilot - Une approche basée sur la vision pour la conduite autonome, contrastant avec la conception multi-capteurs de nuScenes
- Apprentissage profond - Méthodologie de base utilisée dans les références nuScenes