Das Semantic Boundaries Dataset (SBD) ist ein Benchmark-Datensatz für Aufgaben der Computer Vision, der speziell für die Erkennung von Objektgrenzen und die semantische Segmentierung entwickelt wurde. Er wurde im Jahr 2011 von Forschern der University of California, Berkeley, als Erweiterung des PASCAL VOC 2011 Datensatzes eingeführt. SBD bietet dichte Pixel-genaue Annotationen für 20 Objektklassen (z. B., Person, Auto, Flugzeug, Katze) über 11,355 Bilder, mit einer Aufteilung von 8,498 Trainings- und 2,857 Validierungsbildern. Der Datensatz ist bekannt für seine hochwertigen Grenzen, die manuell annotiert und mithilfe einer Crowdsourcing-Plattform verfeinert wurden, was ihn zu einem Standard-Benchmark für die Bewertung von Algorithmen in der semantischen Segmentierungund der Kantenerkennung macht.
Der Hauptzweck von SBD ist es, Forschung in der semantischen Segmentierung zu ermöglichen, bei der das Ziel darin besteht, jedem Pixel in einem Bild eine Klassenbezeichnung zuzuweisen. Im Gegensatz zu früheren Datensätzen, die Begrenzungsrahmen oder grobe Masken bereitstellten, bietet SBD präzise Objektgrenzen, wodurch Modelle feine räumliche Details lernen können. Die Annotationen sind im PNG-Format mit farbcodierten Klassenbezeichnungen gespeichert, und der Datensatz enthält auch Instanzebenen-Segmentierungsmasken, die für Aufgaben wie Instanzsegmentierungund Objekterkennung nützlich sind. SBD wurde in der Deep-Learning-Gemeinschaft weitgehend übernommenund dient als Trainingssatz für Modelle wie Fully Convolutional Networks (FCNs, U-Net, und verschiedene Architekturen, die auf convolutional neural networks (CNNs) basieren.
Datensatzstruktur und Annotationen
SBD besteht aus Bildern aus der PASCAL VOC 2011 Herausforderung, die vielfältige Szenen mit mehreren Objekten umfasst. Jedes Bild wird von einer Segmentierungsmaske begleitet, bei der jedem Pixel eine von 20 Objektklassen oder einer Hintergrundklasse(Klasse 0) zugewiesen wird. Die Annotationen werden in zwei Formaten bereitgestellt: Klassenebenen-Masken(bei denen jedes Pixel eine einzelne Klassenbezeichnung hat) und Instanzebenen-Masken(bei denen jede Objektinstanz eindeutig identifiziert wird). Der Datensatz enthält auch Grenzkarten, die die Kanten zwischen Objekten hervorheben, die aus den Segmentierungsmasken abgeleitet werden. Die offizielle Website stellt den Datensatz als ein einzelnes Archiv(etwa 1.2 GB) bereit, das Bilder, Masken,und Metadaten enthält.
Erstellung und Methodik
Der Datensatz wurde von Hariharan et al. (2011) als Teil der Berkeley-Forschungsgruppe erstellt. Der Annotationprozess umfasste eine Kombination aus automatischer Segmentierungund manueller Verfeinerung. Zunächst wurden Bilder mithilfe eines Algorithmus segmentiert, um Kandidatenregionen vorzuschlagen, die dann von Annotatoren mithilfe einer benutzerdefinierten Schnittstelle manuell korrigiert wurden. Um Qualität zu gewährleisten, wurde jedes Bild von mehreren Arbeitern annotiert,und Meinungsverschiedenheiten wurden durch einen Abstimmungsmechanismus gelöst. Die endgültigen Annotationen wurden gegen die ursprünglichen PASCAL-VOC-Bezeichnungen validiert, um Konsistenz zu gewährleisten. Diese Methodik führte zu hochwertigen Grenzen, die präziser sind als die im ursprünglichen PASCAL-VOC-Datensatz, der Begrenzungsrahmen für die Objekterkennung verwendete.
Anwendungen und Auswirkungen
SBD ist zu einem De-facto-Standard für die Bewertung semantischer Segmentierungsmodelle geworden. Er wird in zahlreichen Forschungsarbeitenund Wettbewerben verwendet, einschließlich der PASCAL-VOC-Segmentierungsherausforderung, bei der SBD als Trainingsdaten dient. Der Datensatz war maßgeblich an der Förderung von Deep Learning für die Segmentierung beteiligt, da er einen ausreichend großen Korpus bietet, um komplexe Modelle zu trainieren. Zum Beispiel wurden die FCN(Long et al.,2015)und DeepLab(Chen et al.,2017) Architekturen auf SBD trainiertund bewertet. Darüber hinaus wurde SBD für Transfer Learning verwendet, bei dem auf SBD vortrainierte Modelle auf anderen Datensätzen wie Cityscapesoder COCO feinabgestimmt werden. Der Datensatz unterstützt auch Forschung in der Grenzerkennung, bei der Modelle wie HED(Holistically-Nested Edge Detection) auf SBDs Grenzkarten trainiert werden.
Einschränkungen und Erweiterungen
Trotz seiner Nützlichkeit hat SBD Einschränkungen. Der Datensatz ist relativ klein im Vergleich zu modernen groß angelegten Datensätzen wie COCO(mit über 200,000 Bildern)oder Open Images. Die Bilder sind auch auf die PASCAL-VOC-Kategorien beschränkt, die möglicherweise nicht alle realen Szenarien abdecken. Darüber hinaus sind die Annotationen nicht so dicht wie die in neueren Datensätzen wie Cityscapes, die mehr Klassenund höher auflösende Bilder umfassen. Um diese Probleme zu beheben, haben Forscher SBD erweitert, indem sie ihn mit anderen Datensätzen kombiniertenoder Datenaugmentierungstechniken verwendeten. Zum Beispiel wird SBD oft in Verbindung mit dem PASCAL-VOC-2012-Datensatz verwendet, bei dem der Trainingssatz mit SBD-Bildern augmentiert wird, um die Modellleistung zu verbessern. Darüber hinaus haben einige Arbeiten synthetische Variationen von SBD für Domänenanpassungsstudien erstellt.
Verfügbarkeit und Nutzung
SBD ist frei für Forschungszwecke von der offiziellen Projektseite verfügbar. Der Datensatz wird als ZIP-Datei verteilt, die die Bilder(JPEG-Format), Segmentierungsmasken(PNG,und eine Liste von Bild-IDs für Trainings- und Validierungsaufteilungen enthält. Forscher laden typischerweise den Datensatz herunterund verwenden ihn mit beliebten Deep-Learning-Frameworks wie PyTorchoder TensorFlow. Der Datensatz ist auch in mehrere Open-Source-Bibliotheken integriert, einschließlich torchvisionund GluonCV, die integrierte Datenlader bereitstellen. Bei der Verwendung von SBD ist es üblich, die ursprüngliche Arbeit zu zitieren: "Semantic Contours from Inverse Detectors" von Bharath Hariharan, Pablo Arbeláez, Lubomir Bourdev, Subhransu Maji,und Jitendra Malik, präsentiert auf der 2011 International Conference on Computer Vision(ICCV.
Siehe auch
- PASCAL VOC
- Semantische Segmentierung
- Objekterkennung
- Computer Vision
- Deep Learning
- Convolutional Neural Network
- Fully Convolutional Network
- U-Net
- Cityscapes
- COCO-Datensatz"
- Kantenerkennung"
- Instanzsegmentierung
- Transfer Learning
- PyTorch
- TensorFlow
- ICCV
- Berkeley
- Hariharan
- Arbeláez
- Malik