COCO-Panoptic ist ein Benchmark-Datensatz und eine Evaluierungsmetrik für die panoptische Segmentierung, eine Aufgabe im Bereich der Computer Vision, die die semantische Segmentierung (Klassifizierung jedes Pixels in eine Kategorie) und die Instanzsegmentierung (Erkennung und Segmentierung einzelner Objektinstanzen) vereint. Als Erweiterung des Common Objects in Context (COCO)-Datensatzes eingeführt, bietet er eine standardisierte Möglichkeit, Modelle zu trainieren und zu evaluieren, die sowohl „Stuff" (amorphe Hintergrundregionen wie Himmel, Gras und Straße) als auch „Things" (zählbare Objekte wie Menschen, Autos und Tiere) in einer einzigen Ausgabe vorhersagen. Der Benchmark ist zu einem De-facto-Standard in diesem Bereich geworden und treibt Fortschritte im Verständnis von Szenen für Anwendungen wie autonomes Fahren, Robotik und erweiterte Realität voran.
Der Benchmark wurde im Paper „Panoptic Segmentation" von Alexander Kirillov, Kaiming He, Ross Girshick und Piotr Dollár aus dem Jahr 2019 vorgeschlagen und auf der IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) präsentiert. Die Autoren definierten die panoptische Segmentierung als neue Aufgabe und erstellten COCO-Panoptic, indem sie eine Teilmenge des bestehenden COCO-Datensatzes neu annotierten. Der Datensatz enthält 118.000 Trainingsbilder, 5.000 Validierungsbilder und 20.000 Testbilder, die aus den ursprünglichen COCO-Trainings-, Validierungs- und Testaufteilungen abgeleitet wurden. Er umfasst Annotationen für 80 „Thing"-Klassen (die ursprünglichen COCO-Objektkategorien) und 53 „Stuff"-Klassen, insgesamt also 133 Kategorien. Die Stuff-Annotationen wurden als dichte Pixel-für-Pixel-Labels für Regionen wie Wasser, Boden und Himmel hinzugefügt, die zuvor in den COCO-Instanzannotationen nicht beschriftet waren.
COCO-Panoptic führte eine einheitliche Evaluierungsmetrik namens Panoptic Quality (PQ) ein. PQ kombiniert Segmentierungsqualität und Erkennungsqualität in einem einzigen Wert, der als Produkt aus Detektionsqualität (DQ) und Segmentierungsqualität (SQ) berechnet wird. Für jede Klasse wird PQ berechnet, indem vorhergesagte und Ground-Truth-Segmente abgeglichen werden (mit einem IoU-Schwellenwert von 0,5), die Summe der True Positives gebildet und durch die Summe der True Positives plus die Hälfte der False Positives und False Negatives dividiert wird. Die Metrik behandelt Stuff und Things gleichwertig und vermeidet Verzerrungen zugunsten einer der beiden Kategorien. Dieses Design fördert Modelle, die sowohl bei kleinen Objekten als auch bei großen Hintergrundregionen gut abschneiden, eine zentrale Herausforderung der panoptischen Segmentierung.
Aufgabenstellung und Bezug zu früheren Arbeiten
Die panoptische Segmentierung liegt zwischen semantischer und Instanzsegmentierung. Die semantische Segmentierung weist jedem Pixel eine Klassenbezeichnung zu, unterscheidet jedoch nicht einzelne Objekte innerhalb einer Klasse (z. B. werden zwei Autos zusammengefasst). Die Instanzsegmentierung identifiziert jedes Objekt separat, ignoriert jedoch typischerweise unbeschriftete Hintergrundregionen. Die panoptische Segmentierung erzeugt eine einzige Beschriftung, bei der jedes Pixel entweder eine Thing-Instanz (mit einer ID) oder eine Stuff-Klasse ist, und liefert so eine vollständige Szenenbeschreibung. Der COCO-Panoptic-Benchmark formalisierte diese Aufgabe und baute auf früheren Arbeiten zur kombinierten Segmentierung auf. Bemerkenswerterweise verwendet der Datensatz dieselben Bilder wie COCO, was die Kompatibilität mit bestehenden Modellen und Werkzeugen gewährleistet, während die Granularität der Annotationen erweitert wird.
Datensatzstatistiken und Annotationsprozess
Die Annotationspipeline für COCO-Panoptic erforderte umfangreiche menschliche Arbeit. Die Stuff-Klassen wurden in einem zweistufigen Ansatz annotiert: Zuerst zeichneten Crowd-Sourcing-Arbeiter Polygone für jede Stuff-Region auf den Farbbildern; zweitens korrigierten Qualitätskontrollprüfer Überlappungen und Grenzen. Jede Annotation wird als einkanalige PNG-Maske mit 16-Bit-Klassen-IDs gespeichert. Der Datensatz umfasst sowohl „Panoptic"-JSON-Dateien (mit Segmentinformationen) als auch dichte Maskenbilder. Die ursprünglichen COCO-Instanzsegmentierungslabels wurden für Things beibehalten, aber wo Instanzmasken mit Stuff-Regionen überlappten (z. B. eine Person, die auf einem Bürgersteig steht), wurde das darunterliegende Stuff-Label aus der Thing-Maske ausgeschlossen, wodurch pixel-exklusive Labels gewährleistet wurden. Diese sorgfältige Beschriftung führte zu einem Datensatz mit hoher Übereinstimmung zwischen und innerhalb der Annotatoren, wie im begleitenden Paper berichtet (die PQ menschlicher Annotatoren wurde als Referenzobergrenze verwendet).
Evaluierung und Herausforderungen
COCO-Panoptic führte einen offiziellen Evaluierungsserver ein, der es Forschern ermöglicht, Vorhersagen einzureichen und PQ-Werte über alle 133 Klassen zu erhalten. Die Herausforderung, eine hohe PQ zu erreichen, liegt in der Verarbeitung sowohl großer, amorpher Stuff-Regionen (die globalen Kontext erfordern) als auch kleiner, dichter Thing-Instanzen (die präzise Grenzen erfordern). Frühe Basismodelle erweiterten bestehende Architekturen, wie auf Residual Network (ResNet) basierende Feature-Extraktoren und U-Net-artige Decoder, aber die Aufgabe motivierte neuartige Designs. Beispielsweise verwenden einige Methoden separate Köpfe für Stuff und Things und fusionieren dann die Ergebnisse, während andere End-to-End-Transformer-basierte Ansätze übernehmen (z. B. Mask2Former). Der Benchmark war maßgeblich daran beteiligt, Methoden auf gleicher Basis zu vergleichen, wobei sich die besten Werte von etwa 42 PQ auf dem Validierungsset im Jahr 2019 auf über 60 PQ in aktuellen State-of-the-Art-Modellen verbesserten. Die Metrik ist auch robust gegenüber Klassenungleichgewichten, da jede Klasse gleich viel beiträgt, was entscheidend ist, weil Stuff-Klassen wie „Himmel" weit mehr Pixel abdecken als Instanzen wie „Zahnbürste".
Auswirkungen und verwandte Benchmarks
Der Erfolg von COCO-Panoptic beeinflusste nachfolgende Datensätze und Aufgaben. Er wurde auf Video erweitert (z. B. Cityscapes-VPS) und in realen Anwendungen übernommen. Der Benchmark steht im Einklang mit Zielen in der Artificial intelligence- und Deep learning-Forschung, wo ganzheitliche Wahrnehmung ein Schritt zu verkörperten Agenten ist. Bemerkenswert ist, dass COCO-Panoptic-Annotationen im COCO-Stuff-Datensatz verwendet werden (der Stuff-only-Labels für alle COCO-Bilder bereitstellt) und in die Data Augmentation-Toolkits großer Frameworks wie Detectron2 und MMDetection integriert wurden. Die Evaluierungsmetrik PQ wurde weitgehend übernommen, und viele Papers berichten sie neben traditionellen Metriken wie Mean Intersection over Union (mIoU) und Average Precision (AP). Stand 2025 bleibt COCO-Panoptic der am häufigsten zitierte Benchmark für panoptische Segmentierung, obwohl neuere Datensätze wie ADE20K und Cityscapes ebenfalls panoptische Annotationen bieten, die oft PQ zum Vergleich verwenden. Die Designprinzipien des Benchmarks, insbesondere die einheitliche Metrik und die Integration von Stuff und Things, sind zu einer Vorlage für moderne Aufgaben des Szenenverständnisses geworden.
Zukünftige Richtungen
Laufende Forschung adressiert Einschränkungen von COCO-Panoptic, wie seine festen 133 Kategorien und statischen Bilder. Erweiterungen umfassen die Open-Vocabulary-panoptische Segmentierung (unter Verwendung von Large language model-Embeddings zur Erkennung unbekannter Klassen) und die panoptische Segmentierung von Videostreams. Die Kernideen des Benchmarks bleiben jedoch einflussreich: Er zeigt, dass ein sorgfältig annotierter, ausgewogener Datensatz mit einer einzigen aussagekräftigen Metrik ein Feld beschleunigen kann. Forscher verwenden COCO-Panoptic weiterhin zum Vortraining von Modellen, und seine Gewichte oder Merkmale werden oft auf nachgelagerte Aufgaben wie Cross-Attention-basierte Transformer übertragen. Während sich Neural network-Architekturen weiterentwickeln, bietet der Benchmark einen stabilen Maßstab, der sicherstellt, dass Fortschritte konsistent gemessen werden.