COCO-Stuff 164K ist ein groß angelegter Datensatz für semantische Segmentierung und Szenenverständnis, der als Erweiterung des Microsoft Common Objects in Context (COCO)-Datensatzes aufgebaut wurde. Er bietet dichte Pixel-weise Annotationen sowohl für 'Stuff'-Klassen (amorphe Hintergrundregionen wie Himmel, Gras und Straße) als auch für 'Thing'-Klassen (zählbare Objekte wie Person, Auto und Hund). Der Datensatz enthält 164.000 Bilder, von denen jedes mit einer von 172 semantischen Kategorien annotiert ist, was ihn zu einer der umfassendsten Ressourcen für das Training und die Evaluierung von Modellen in Computer-Vision-Aufgaben wie semantischer Segmentierung, Instanzsegmentierung und Szenenparsing macht.
Der Datensatz wurde 2018 von Forschern der Universität Freiburg, darunter Holger Caesar, Jasper Uijlings und Vittorio Ferrari, eingeführt und im Paper 'COCO-Stuff: Thing and Stuff Classes in Context' veröffentlicht. Er baut auf dem ursprünglichen COCO-Stuff-Datensatz auf, der 10.000 Bilder umfasste, indem er auf die vollständigen COCO-Trainings- und Validierungs-Splits skaliert wird. Die 172 Klassen sind in 80 Thing-Klassen (identisch mit den Thing-Kategorien von COCO) und 92 Stuff-Klassen unterteilt, die natürliche und von Menschen geschaffene Hintergrundelemente umfassen.
Konstruktion und Annotation
Der Annotationsprozess für COCO-Stuff 164K umfasste sowohl automatische als auch manuelle Schritte. Die anfänglichen Stuff-Annotationen wurden mithilfe einer Kombination aus Deep-Learning-Modellen und menschlicher Verfeinerung generiert. Der Datensatz nutzt die vorhandenen COCO-Annotationen für Thing-Klassen, die von Crowdworkern erstellt wurden, und fügt Pixel-weise Masken für Stuff-Klassen hinzu. Die endgültigen Annotationen wurden durch eine Reihe von Qualitätskontrollprüfungen validiert, um Konsistenz und Genauigkeit über die 164.000 Bilder hinweg sicherzustellen.
Jedes Bild im Datensatz ist mit einem einzelnen Label pro Pixel annotiert, und die Annotationen werden in einem kompakten Run-Length-Encoding-Format bereitgestellt, um den Speicherbedarf zu reduzieren. Der Datensatz ist in einen Trainingssatz von 118.000 Bildern und einen Validierungssatz von 5.000 Bildern aufgeteilt, wobei die verbleibenden Bilder für Tests reserviert sind (Annotationen für den Testsatz werden nicht öffentlich freigegeben).
Anwendungen im Deep Learning
COCO-Stuff 164K ist zu einem Standard-Benchmark für semantische Segmentierung geworden, eine Aufgabe im maschinellen Lernen und Deep Learning, bei der ein Modell jedem Pixel in einem Bild eine Klassenbezeichnung zuweist. Es wird häufig verwendet, um die Leistung von neuralen Netzwerk-Architekturen zu evaluieren, einschließlich Modellen auf Basis von Residualnetzwerken und U-Net, sowie transformer-basierten Ansätzen. Die Vielfalt des Datensatzes an Stuff- und Thing-Klassen fordert Modelle heraus, sowohl feinkörnige Objektgrenzen als auch großflächige kontextuelle Regionen zu verstehen.
Der Datensatz wird auch für panoptische Segmentierung verwendet, eine Aufgabe, die semantische und Instanzsegmentierung vereinheitlicht, indem Modelle gleichzeitig Stuff- und Thing-Labels vorhersagen müssen. Dies hat die Forschung an vereinheitlichten Architekturen vorangetrieben, die beide Arten von Klassen in einem einzigen Vorwärtsdurchlauf verarbeiten können.
Benchmark und Evaluierungsmetriken
Die primäre Evaluierungsmetrik für COCO-Stuff 164K ist der mittlere Intersection over Union (mIoU), der die Überlappung zwischen vorhergesagten und Ground-Truth-Segmentierungsmasken über alle Klassen gemittelt misst. Forscher berichten auch die IoU pro Klasse und die Pixelgenauigkeit. Der offizielle Evaluierungsserver des Datensatzes ermöglicht einen fairen Vergleich von Modellen, und Leaderboards verfolgen den Stand der Technik im Laufe der Zeit.
Seit seiner Veröffentlichung wurde der Datensatz in Hunderten von Forschungspapieren verwendet, und die besten Modelle haben mIoU-Werte über 50 auf dem Validierungssatz erreicht, mit bedeutenden Fortschritten, die durch Entwicklungen bei Transformer-basierten Architekturen und Aufmerksamkeitsmechanismen vorangetrieben wurden.
Beziehung zu anderen Datensätzen
COCO-Stuff 164K ist Teil einer Familie von Datensätzen, die von COCO abgeleitet sind, einschließlich COCO-Stuff 10K und des ursprünglichen COCO-Datensatzes. Er ergänzt andere Szenenverständnis-Datensätze wie Cityscapes, das sich auf urbane Fahrszenen konzentriert, und ADE20K, das ein breiteres Spektrum an Innen- und Außenszenen abdeckt. Die Betonung des Datensatzes auf Kontext und Stuff-Klassen macht ihn besonders nützlich für Anwendungen im autonomen Fahren, in der Robotik und in der erweiterten Realität, wo das Verständnis von Hintergrundregionen ebenso wichtig ist wie die Erkennung von Objekten.
Der Datensatz ist für Forschungszwecke öffentlich verfügbar und wird auf der offiziellen COCO-Website gehostet. Er wird häufig in Verbindung mit vortrainierten Modellen aus KI-Forschungslabors und Cloud-Plattformen verwendet und bleibt eine wichtige Ressource für die Weiterentwicklung des Bereichs der Computer Vision.