Cityscapes ist ein groß angelegter Datensatz, der für das semantische Verständnis urbaner Straßenszenen entwickelt wurde. Er bietet eine vielfältige Sammlung von Stereo-Videosequenzen, die aus einem fahrenden Fahrzeug in 50 Städten in Deutschland und Nachbarländern aufgenommen wurden, mit hochwertigen Pixel-genauen Annotationen für 5.000 Frames und gröberen polygonalen Annotationen für weitere 20.000 Frames. Der Datensatz wurde 2016 von Forschern der Daimler AG, der TU Darmstadt und anderen Institutionen eingeführt und hat sich zu einem Standard-Benchmark für Aufgaben wie semantische Segmentierung, Instanzsegmentierung und panoptische Segmentierung in der Forschung zu autonomen Fahren und Computervision entwickelt.
Das Hauptziel von Cityscapes ist es, die Entwicklung und Bewertung von Algorithmen zu ermöglichen, die die visuelle Umgebung eines Fahrzeugs unter realen Bedingungen verstehen können. Der Datensatz erfasst die Komplexität urbanen Fahrens, einschließlich wechselnder Wetterbedingungen, Jahreszeiten und Verkehrssituationen, und macht ihn zu einem anspruchsvollen und realistischen Testfeld. Seine Annotationen umfassen 30 Klassen, die in acht Kategorien gruppiert sind: ebene Flächen (Straßen, Gehwege), Menschen (Fußgänger, Radfahrer), Fahrzeuge (Autos, Lastwagen, Busse), Bauwerke (Gebäude, Mauern), Objekte (Verkehrsschilder, Pfosten), Natur (Vegetation, Gelände), Himmel und Leerraum (unbeschriftete Bereiche). Diese feinkörnige Taxonomie unterstützt eine detaillierte Szenenanalyse und wird häufig zum Training von Deep-Learning-Modellen in Systemen für autonomes Fahren verwendet.
Datenerfassung und Annotation
Der Datensatz wurde mit einer Stereo-Kameraanordnung auf einem Auto aufgenommen, die mit 17 Bildern pro Sekunde und einer Auflösung von 2048x1024 Pixeln aufzeichnete. Die Aufnahmesitzungen fanden im Frühling, Sommer und Herbst statt und umfassten sonnige, bewölkte und regnerische Bedingungen, jedoch keine Winter- oder Nachtszenen. Die 5.000 fein annotierten Frames wurden aus 27 Städten ausgewählt, während die 20.000 grob annotierten Frames aus weiteren 23 Städten stammen, was geografische Vielfalt gewährleistet. Die Annotation wurde von einem professionellen Team durchgeführt, wobei jedes feine Bild etwa 90 Minuten für die Beschriftung benötigte, unter Verwendung eines polygonalen Werkzeugs, das präzise Grenzziehungen ermöglicht. Die groben Annotationen, die etwa 7 Minuten pro Bild dauern, verwenden Polygone mit weniger Eckpunkten und sind für das Vortraining oder schwach überwachtes Lernen gedacht.
Benchmark-Aufgaben und Metriken
Der Datensatz wird hauptsächlich für die semantische Segmentierung verwendet, bei der jedem Pixel eine Klassenbezeichnung zugewiesen wird. Die Standard-Bewertungsmetrik ist der mittlere Intersection-over-Union (mIoU) über alle Klassen, mit separater Berichterstattung für die 19 Klassen, die für Training und Bewertung verwendet werden (die 'Leerraum'-Klasse ist ausgeschlossen). Cityscapes unterstützt auch die Instanzsegmentierung (Unterscheidung einzelner Objekte innerhalb einer Klasse, wie separater Autos) und die panoptische Segmentierung (Kombination von semantischer und Instanzsegmentierung). Der Benchmark verfügt über eine öffentliche Rangliste, auf der Forscher Ergebnisse einreichen können, und er hat bedeutende Fortschritte bei Segmentierungsmodellen vorangetrieben, von frühen vollständig konvolutionalen Netzwerken bis hin zu modernen Transformer-basierten Architekturen wie SegFormer und Mask2Former.
Einfluss auf die Computervision
Cityscapes ist zu einem der einflussreichsten Datensätze in der Computervision geworden, mit Tausenden von Zitationen und weit verbreiteter Nutzung in Wissenschaft und Industrie. Er hat die Entwicklung von Domänenanpassungstechniken angeregt, da Modelle, die auf Cityscapes trainiert wurden, oft auf andere urbane Umgebungen verallgemeinert werden müssen, wie jene in Waymo- oder Tesla-Autopilot-Daten. Der Datensatz popularisierte auch die Verwendung synthetischer Daten, wobei Werkzeuge wie GTA-V und CARLA verwendet werden, um zusätzliche Trainingsdaten zu generieren, die dann auf Cityscapes feinabgestimmt werden. Seine Annotationen wurden verwendet, um Modelle für semantische Segmentierung, Tiefenschätzung und Objekterkennung zu trainieren, und er bleibt eine Standard-Bewertungssuite für neue Architekturen, einschließlich solcher, die auf neuronalen Netzen und Deep-Learning-Paradigmen basieren.
Einschränkungen und Erweiterungen
Trotz seines Erfolgs hat Cityscapes bekannte Einschränkungen. Er deckt nur europäische Städte ab, hauptsächlich in Deutschland, was eine Verzerrung hin zu europäischen Straßenlayouts, Beschilderungen und Fahrzeugtypen einführt. Der Datensatz enthält keine Nachtszenen, starken Regen oder Schnee, was seine Anwendbarkeit auf widrige Wetterbedingungen einschränkt. Um diese Lücken zu schließen, haben Forscher Erweiterungen und ergänzende Datensätze erstellt, wie Cityscapes-Dark für Nachtszenen und ACDC (Adverse Conditions Dataset) für Nebel, Regen und Schnee. Darüber hinaus sind die groben Annotationen weniger präzise, was Modelle beeinträchtigen kann, die auf ihnen trainiert wurden. Dennoch bleibt Cityscapes eine grundlegende Ressource, und sein Benchmark wird weiterhin aktiv zur Bewertung modernster Modelle im Verständnis urbaner Szenen verwendet.
Siehe auch
- Semantische Segmentierung
- Autonomes Fahren
- Computervision
- Datensatz