Cityscapesは、都市景観のセマンティック理解のために設計された大規模データセットです。ドイツおよび隣接諸国の50都市で、移動する車両から撮影されたステレオビデオシーケンスの多様なセットを提供し、5,000フレームには高品質なピクセルレベルのアノテーションが、さらに20,000フレームには粗いポリゴンアノテーションが付与されています。このデータセットは2016年に、Daimler AG、TU Darmstadt、およびその他の研究機関の研究者らによって公開され、自動運転およびComputer vision研究におけるセマンティックセグメンテーション、インスタンスセグメンテーション、パノプティックセグメンテーションの標準ベンチマークとなっています。
Cityscapesの主な目的は、実世界の条件下で車両の視覚環境を理解するアルゴリズムの開発と評価を可能にすることです。このデータセットは、様々な気象条件、季節、交通状況を含む都市運転の複雑さを捉えており、挑戦的でありながら現実的なテストベッドを提供します。アノテーションは、平坦な路面（道路、歩道）、人間（歩行者、騎乗者）、車両（自動車、トラック）、建設（建物、壁）、物体（交通標識、ポール）、自然（植生、地形）、空、およびボイド（未ラベル領域）の8つのカテゴリにグループ化された30のクラスをカバーしています。この詳細な分類体系は、精密なシーン分析をサポートし、自動運転システムにおけるDeep learningモデルのトレーニングに広く使用されています。
データ収集とアノテーション
データセットは、車両に搭載されたステレオカメラリグを使用して、毎秒17フレーム、解像度2048x1024ピクセルで撮影されました。収録セッションは春、夏、秋に行われ、晴天、曇天、雨天の条件を網羅していますが、夜間や降雪時のシーンは含まれていません。5,000枚の高精細アノテーション付きフレームは27都市から選ばれ、追加の20,000枚の粗いアノテーション付きフレームはさらに23都市から提供され、地理的多様性を確保しています。アノテーションは専門チームによって実施され、高精細なフレーム1枚あたり約90分、粗いフレーム1枚あたり約7分の作業時間を要し、ポリゴンツールを使用して正確な境界線が描かれています。粗いアノテーションは、事前トレーニングや弱教師あり学習の用途を目的としています。
ベンチマークタスクと評価指標
このデータセットは主にセマンティックセグメンテーションに使用され、各ピクセルにクラスラベルが割り当てられます。標準的な評価指標は、全クラスにわたる平均Intersection-over-Union（mIoU）であり、トレーニングと評価に使用される19のクラス（ボイドクラスを除く）について個別に報告されます。Cityscapesはまた、インスタンスセグメンテーション（自動車などの個々のオブジェクトを区別する）やパノプティックセグメンテーション（セマンティックとインスタンスを組み合わせる）もサポートしています。公開リーダーボードにより、研究者は結果を提出して比較することができ、初期の完全畳み込みネットワークから、segformerやmask2formerなどの現代的なTransformer (architecture)ベースのアーキテクチャに至るまで、セグメンテーションモデルの進歩を促進してきました。
影響と拡張
Cityscapesは、数千の引用と学界・産業界での広範な使用を通じて、コンピュータビジョン分野で最も影響力のあるデータセットの1つとなっています。Cityscapesでトレーニングされたモデルは、WaymoやTeslaデータなどの他の都市環境への一般化が求められることが多く、ドメイン適応技術の発展を促しました。また、gta-vやcarlaなどのツールを使用した合成データの生成と、それに続くCityscapesでのファインチューニングというアプローチも普及させました。アノテーションはSemantic Segmentation、深度推定、Object Detectionのモデルトレーニングに利用され、Neural networkおよびDeep learningパラダイムに基づく新しいアーキテクチャの標準的な評価スイートとしての地位を維持しています。
限界と拡張データセット
Cityscapesには既知の限界もあります。主にドイツの都市を中心としたヨーロッパの都市のみをカバーしているため、道路レイアウト、標識、車両タイプにおいてヨーロッパへのバイアスが存在します。また、夜間シーン、豪雨、降雪を含まないため、悪天候下での適用性が制限されます。これらのギャップに対処するため、cityscapes-dark（夜間シーン用）やacdc（悪天候条件用）などの拡張データセットや補完データセットが作成されました。それにもかかわらず、Cityscapesは基礎的なリソースとして、都市景観理解における最先端モデルの評価に今もなお積極的に使用され続けています。
関連項目
- Semantic Segmentation
- autonomous-driving
- Computer vision
- dataset