COCO-Stuff ist ein groß angelegter Datensatz für semantische Segmentierung und Szenenverständnis, der als Erweiterung des Microsoft Common Objects in Context (COCO)-Datensatzes erstellt wurde. Er ergänzt COCOs bestehende Annotationen für diskrete Objekte (als „Things“ bezeichnet) um dichte Pixel-Level-Labels für amorphe Hintergrundregionen (als „Stuff“ bezeichnet), wie Himmel, Gras, Straßen und Wände. Dieses duale Annotationsschema ermöglicht es Modellen, gleichzeitig zählbare Objekte und unzählbare Hintergrundmaterialien zu erkennen, was für Aufgaben wie autonomes Fahren, Robotik und Bildbeschriftung unerlässlich ist.
Der Datensatz wurde 2018 von Forschern der Universität Freiburg unter der Leitung von Alexander Kirillov eingeführt und ist seitdem ein Standard-Benchmark in der Computer Vision. Er baut auf den COCO-Trainings-/Validierungssplits von 2017 auf und fügt den ursprünglichen 80 Thing-Kategorien 172 Stuff-Kategorien hinzu, was insgesamt 182 semantische Klassen ergibt. Die Annotationen wurden durch eine Kombination aus automatisierten Algorithmen und menschlicher Verifikation erstellt, was hohe Qualität gewährleistet und gleichzeitig die Kosten der manuellen Beschriftung überschaubar hält.
Annotationsstruktur
COCO-Stuff bietet zwei Arten von Annotationen: Pixel-Level-Masken für jede Stuff-Kategorie und die ursprünglichen COCO-Instanzmasken für Things. Die Stuff-Kategorien sind hierarchisch organisiert, wobei 172 Klassen natürliche (z. B. Wasser, Berg) und vom Menschen geschaffene (z. B. Gebäude, Zaun) Hintergründe abdecken. Jedes Bild im Datensatz hat eine einzige Stuff-Maske, die jedem Pixel eine Klassen-ID zuweist, einschließlich eines „Void“-Labels für nicht beschriftete oder mehrdeutige Regionen. Diese Struktur ermöglicht sowohl semantische Segmentierung (bei der jedes Pixel klassifiziert wird) als auch panoptische Segmentierung (bei der Things und Stuff zu einer einheitlichen Ausgabe kombiniert werden).
Benchmark-Rolle
COCO-Stuff wird häufig als Benchmark zur Bewertung von Algorithmen zur semantischen Segmentierung verwendet. Die Standard-Bewertungsmetrik ist der mittlere Intersection over Union (mIoU) über alle 172 Stuff-Klassen, mit separater Berichterstattung für Thing-Klassen bei Verwendung des vollständigen 182-Klassen-Settings. Modelle, die auf COCO-Stuff trainiert wurden, dienen oft als vortrainierte Backbones für andere Aufgaben wie Instanzsegmentierung oder Szenengraphen-Generierung. Die Vielfalt des Datensatzes - 80 Objektkategorien und 172 Hintergrundtypen über 164.000 Bilder - macht ihn zu einem herausfordernden Test für die Generalisierung, da Modelle seltene Stuff-Klassen wie „Wolkenkratzer“ oder „Fluss“ verarbeiten müssen, die in wenigen Trainingsbeispielen vorkommen.
Beziehung zu anderen Datensätzen
COCO-Stuff ergänzt andere Segmentierungsdatensätze wie ADE20K und Cityscapes. Während ADE20K einen breiteren Satz von 150 Kategorien bietet (einschließlich Things und Stuff), bietet COCO-Stuff detailliertere Thing-Annotationen, die von COCO übernommen wurden. Cityscapes konzentriert sich auf städtische Fahrszenen mit 30 Klassen, während COCO-Stuff allgemeine Alltagsszenen abdeckt. Dies macht COCO-Stuff zu einem Mittelweg: Es hat den Umfang von COCO (mit über 200.000 Bildern), fügt aber das Hintergrundverständnis hinzu, das reinen Objekterkennungsdatensätzen fehlt. Forscher verwenden COCO-Stuff häufig, um Modelle zu trainieren, die später auf domänenspezifischen Datensätzen feinabgestimmt werden, wobei sie die vielfältige Hintergrundabdeckung nutzen.
Technische Auswirkungen
COCO-Stuff hat Fortschritte in mehreren Bereichen des Deep Learning vorangetrieben. Es war maßgeblich an der Entwicklung der panoptischen Segmentierung beteiligt, einer Aufgabe, die 2019 formalisiert wurde und semantische und Instanzsegmentierung vereinheitlicht. Architekturen wie U-Net-Varianten und ResNet-basierte Encoder werden häufig auf diesem Datensatz evaluiert. Der Datensatz unterstützt auch Forschung im Bereich des schwach überwachten Lernens, bei dem Modelle aus Bild-Level-Labels statt aus Pixelmasken lernen, sowie im Bereich der Domänenanpassung, bei der auf COCO-Stuff trainierte Modelle an realen Bildern aus unterschiedlichen Verteilungen getestet werden. Seine Annotationen wurden verwendet, um Modelle für künstliche Intelligenz-Anwendungen im autonomen Fahren und in der Robotik zu trainieren, wo das Verständnis von Objekten und ihrer Umgebung entscheidend ist.
Verfügbarkeit und Nutzung
COCO-Stuff ist für Forschungszwecke unter denselben Bedingungen wie der ursprüngliche COCO-Datensatz öffentlich verfügbar. Das offizielle Repository bietet Skripte zum Herunterladen und Vorverarbeiten der Annotationen sowie Evaluierungscode für mIoU. Der Datensatz wird auf der COCO-Website gehostet und auf akademischen Plattformen gespiegelt. Stand 2024 bleibt er einer der am häufigsten zitierten Datensätze in der Computer Vision mit über 2.000 Zitaten. Seine anhaltende Relevanz ist darauf zurückzuführen, dass seitdem kein vergleichbar großer Datensatz mit sowohl Thing- als auch Stuff-Annotationen veröffentlicht wurde, was ihn zu einem De-facto-Standard für die Bewertung von Szenenverständnismodellen macht. Forscher können auch eine Variante namens COCO-Stuff 164k abrufen, die sich auf den vollständigen Satz von 164.000 Bildern aus dem Split von 2017 bezieht, im Gegensatz zum kleineren Test-Subset mit 10.000 Bildern.
Zukünftige Richtungen
Der Erfolg von COCO-Stuff hat Bemühungen inspiriert, ihn um zusätzliche Modalitäten wie Tiefe oder Video zu erweitern. Stand 2025 wurde jedoch kein offizieller Nachfolger veröffentlicht. Zu den Einschränkungen des Datensatzes gehören eine Verzerrung hin zu westlichen Szenen und ein Mangel an feinkörnigen Stuff-Kategorien (z. B. verschiedene Vegetationstypen). Diese Lücken werden durch neuere Datensätze wie OpenPanoptic und Halcyon adressiert, aber COCO-Stuff bleibt der am weitesten verbreitete Benchmark. Seine Auswirkungen auf die Maschinenlern-Forschung zeigen sich in den vielen veröffentlichten Arbeiten, die Ergebnisse darauf berichten, und er dient weiterhin als Grundlage für das Training von Modellen, die reale Computer-Vision-Systeme antreiben.