Cityscapes est un jeu de données à grande échelle conçu pour la compréhension sémantique des scènes de rue urbaines. Il fournit un ensemble diversifié de séquences vidéo stéréoscopiques enregistrées depuis un véhicule en mouvement dans 50 villes d'Allemagne et des pays voisins, avec des annotations de haute qualité au niveau du pixel pour 5 000 images et des annotations polygonales plus grossières pour 20 000 images supplémentaires. Le jeu de données a été introduit en 2016 par des chercheurs de Daimler AG, de l'Université technique de Darmstadt et d'autres institutions, et est devenu une référence standard pour des tâches telles que la segmentation sémantique, la segmentation d'instances et la segmentation panoptique dans la recherche sur la conduite autonome et la vision par ordinateur.
L'objectif principal de Cityscapes est de permettre le développement et l'évaluation d'algorithmes capables de comprendre l'environnement visuel d'un véhicule dans des conditions réelles. Le jeu de données capture la complexité de la conduite urbaine, y compris des conditions météorologiques variées, des saisons et des situations de trafic, ce qui en fait un banc d'essai réaliste et exigeant. Ses annotations couvrent 30 classes regroupées en huit catégories : surfaces planes (routes, trottoirs), humains (piétons, cyclistes), véhicules (voitures, camions, bus), construction (bâtiments, murs), objets (panneaux de signalisation, poteaux), nature (végétation, terrain), ciel et vide (zones non étiquetées). Cette taxonomie fine prend en charge une analyse détaillée des scènes et est largement utilisée pour l'entraînement de modèles de apprentissage profond dans les systèmes de conduite autonome.
Collecte des données et annotation
Le jeu de données a été capturé à l'aide d'un système de caméras stéréoscopiques monté sur une voiture, enregistrant à 17 images par seconde avec une résolution de 2048x1024 pixels. Les sessions d'enregistrement ont eu lieu au printemps, en été et en automne, couvrant des conditions ensoleillées, nuageuses et pluvieuses, mais pas les scènes hivernales ou nocturnes. Les 5 000 images finement annotées ont été sélectionnées dans 27 villes, tandis que les 20 000 images grossièrement annotées proviennent de 23 villes supplémentaires, garantissant une diversité géographique. L'annotation a été réalisée par une équipe professionnelle, chaque image fine nécessitant environ 90 minutes pour être étiquetée, à l'aide d'un outil polygonal permettant une délimitation précise des contours. Les annotations grossières, qui prennent environ 7 minutes par image, utilisent des polygones avec moins de sommets et sont destinées au pré-entraînement ou à l'apprentissage faiblement supervisé.
Tâches de référence et métriques
Le jeu de données est principalement utilisé pour la segmentation sémantique, où chaque pixel se voit attribuer une étiquette de classe. La métrique d'évaluation standard est l'Intersection sur Union moyenne (mIoU) sur toutes les classes, avec un rapport séparé pour les 19 classes utilisées pour l'entraînement et l'évaluation (la classe « vide » est exclue). Cityscapes prend également en charge la segmentation d'instances (distinguant les objets individuels au sein d'une classe, comme des voitures séparées) et la segmentation panoptique (combinant segmentation sémantique et segmentation d'instances). Le benchmark dispose d'un classement public où les chercheurs peuvent soumettre leurs résultats, et il a stimulé des progrès significatifs dans les modèles de segmentation, des premiers réseaux entièrement convolutifs aux architectures modernes basées sur les transformeurs comme SegFormer et Mask2Former.
Impact sur la vision par ordinateur
Cityscapes est devenu l'un des jeux de données les plus influents en vision par ordinateur, avec des milliers de citations et une utilisation répandue dans le monde académique et industriel. Il a favorisé le développement de techniques d'adaptation de domaine, car les modèles entraînés sur Cityscapes doivent souvent généraliser à d'autres environnements urbains, comme ceux des données Waymo ou Tesla Autopilot. Le jeu de données a également popularisé l'utilisation de données synthétiques, avec des outils comme GTA V et CARLA utilisés pour générer des données d'entraînement supplémentaires, ensuite affinées sur Cityscapes. Ses annotations ont été utilisées pour entraîner des modèles pour la segmentation sémantique, l'estimation de profondeur et la détection d'objets, et il reste une suite d'évaluation standard pour les nouvelles architectures, y compris celles basées sur les paradigmes réseau de neurones et apprentissage profond.
Limites et extensions
Malgré son succès, Cityscapes présente des limites connues. Il couvre uniquement des villes européennes, principalement en Allemagne, ce qui introduit un biais vers les tracés routiers, la signalisation et les types de véhicules européens. Le jeu de données n'inclut pas de scènes nocturnes, de fortes pluies ou de neige, limitant son applicabilité aux conditions météorologiques défavorables. Pour combler ces lacunes, les chercheurs ont créé des extensions et des jeux de données complémentaires, tels que Cityscapes-Dark pour les scènes nocturnes et ACDC (Adverse Conditions Dataset) pour le brouillard, la pluie et la neige. De plus, les annotations grossières sont moins précises, ce qui peut affecter les modèles entraînés sur celles-ci. Néanmoins, Cityscapes reste une ressource fondamentale, et son benchmark continue d'être activement utilisé pour évaluer les modèles de pointe dans la compréhension des scènes urbaines.
Voir aussi
- segmentation sémantique
- conduite autonome
- vision par ordinateur
- jeu de données