COCO-Instanzsegmentierung ist eine Benchmark-Aufgabe im Bereich Computer Vision, die durch den Microsoft-COCO-Datensatz (Common Objects in Context) definiert wird. Das Ziel besteht darin, jede Instanz eines Objekts in einem Bild zu erkennen und eine Pixel-genaue Maske zu erzeugen, die jede Instanz präzise umreißt und dabei separate Objekte derselben Klasse unterscheidet. Die Aufgabe umfasst 80 "Thing"-Klassen, die zählbare Objekte wie Person, Auto und Hund darstellen, im Gegensatz zu "Stuff"-Klassen wie Himmel oder Gras. Sie wird häufig verwendet, um die Leistung von Deep-Learning-Modellen bei Aufgaben zu bewerten, die sowohl Lokalisierung als auch feinkörniges räumliches Verständnis erfordern.
Der COCO-Datensatz wurde erstmals 2014 von einem Team bei Microsoft veröffentlicht, wobei die Instanzsegmentierungs-Annotationen in der Version von 2015 hinzugefügt wurden. Der Datensatz enthält über 200.000 Bilder mit mehr als 1,5 Millionen Objektinstanzen, die mit Polygonen beschriftet sind, die ihre Grenzen definieren. Die offizielle Bewertungsmetrik ist die mittlere Average Precision (AP), gemittelt über Intersection-over-Union-Schwellenwerte (IoU) von 0,5 bis 0,95 in Schritten von 0,05, mit zusätzlichen Metriken für kleine, mittlere und große Objekte. Diese Metrik, oft als COCO AP bezeichnet, hat sich zum De-facto-Standard für den Vergleich von Instanzsegmentierungsmodellen entwickelt.
Entwicklung der Modelle
Frühe Ansätze zur Instanzsegmentierung bauten auf Objekterkennungs-Frameworks auf. Die Mask-R-CNN-Architektur, die 2017 von Kaiming He und Kollegen bei Facebook AI Research eingeführt wurde, erweiterte den Faster-R-CNN-Detektor, indem sie einen Zweig hinzufügte, der Segmentierungsmasken parallel zur Bounding-Box-Regression vorhersagt. Mask R-CNN erzielte signifikante Verbesserungen gegenüber früheren Methoden und setzte eine starke Basislinie, die etwa 35 AP auf dem COCO-Testset erreichte. Sein Erfolg popularisierte die Verwendung von ResNet-Backbones mit Feature-Pyramid-Netzwerken für die mehrskalige Merkmalsextraktion.
Nachfolgende Modelle verbesserten Genauigkeit und Effizienz. YOLACT, eingeführt 2019, schlug einen Echtzeit-Ansatz vor, der Prototypmasken generiert und sie mit instanzspezifischen Koeffizienten kombiniert, was eine schnellere Inferenz zu Lasten der Genauigkeit ermöglicht. Im Jahr 2020 verbesserte die Cascade-Mask-R-CNN-Variante die AP durch die Anwendung einer Kaskade von Detektoren. Das DETR-Modell, 2020 von Facebook AI eingeführt, verwendete eine Transformer-Encoder-Decoder-Architektur, um Objekterkennung als Mengenprädiktionsproblem zu behandeln, wodurch handgefertigte Komponenten wie Ankerboxen und nicht-maximale Unterdrückung eliminiert wurden. DETR und seine Nachfolger, wie Mask2Former (2021), vereinheitlichten Instanz-, Panoptik- und semantische Segmentierungsaufgaben unter einem einzigen Masken-Klassifikations-Framework.
Bewertung und Metriken
Die primäre Metrik für die COCO-Instanzsegmentierung ist die Average Precision (AP), die berechnet wird, indem alle vorhergesagten Masken nach Konfidenz sortiert und Präzision sowie Recall bei verschiedenen IoU-Schwellenwerten gemessen werden. Die offizielle COCO-Bewertung berichtet auch AP bei IoU 0,50 und 0,75 separat sowie AP für verschiedene Objektgrößen: klein (Fläche kleiner als 32^2 Pixel), mittel (zwischen 32^2 und 96^2) und groß (größer als 96^2). Die Herausforderung verfolgt auch den Average Recall (AR) mit einer festen Anzahl von Detektionen pro Bild. Diese Metriken ermöglichen nuancierte Vergleiche, da Modelle bei der Erkennung großer Objekte hervorragend sein können, während sie bei kleinen Schwierigkeiten haben.
Das COCO-Test-Dev-Set wird für die jährliche Herausforderung verwendet, aber Forscher berichten oft Ergebnisse auf dem Validierungsset (val2017) für schnellere Iterationen. Der Datensatz ist in train2017 (etwa 118.000 Bilder) und val2017 (5.000 Bilder) aufgeteilt. Der offizielle Bewertungsserver erzwingt eine konsistente Bewertung, aber viele Arbeiten verwenden auch die pycocotools-Bibliothek lokal, um Metriken zu berechnen.
Anwendungen und Auswirkungen
Instanzsegmentierung ist entscheidend für Anwendungen, die präzise Objektgrenzen erfordern, wie autonomes Fahren, Robotik, medizinische Bildgebung und erweiterte Realität. Beim autonomen Fahren hilft die Segmentierung von Fußgängern, Fahrzeugen und Straßenobjekten Wahrnehmungssystemen, Szenen zu verstehen. In der Robotik ermöglichen Pixel-genaue Masken das Greifen und Manipulieren spezifischer Objekte. Die COCO-Benchmark hat rasche Fortschritte in diesen Bereichen vorangetrieben, wobei sich Modelle auf dem neuesten Stand der Technik von etwa 35 AP im Jahr 2017 auf über 60 AP bis 2024 verbessert haben, hauptsächlich dank Fortschritten bei neuralen Netzwerk-Architekturen, Daten-Augmentierungs-Techniken und Trainingsstrategien.
Die Aufgabe dient auch als Grundlage für verwandte Probleme. Panoptische Segmentierung kombiniert Instanz- und semantische Segmentierung, was Modelle erfordert, die jedes Pixel sowohl mit einer Klasse als auch einer Instanz-ID zu beschriften. Der COCO-Datensatz wurde erweitert, um panoptische Annotationen zu enthalten, und Modelle wie Mask2Former bewältigen beide Aufgaben. Darüber hinaus wird Instanzsegmentierung in generativen Modellen für die Bildbearbeitung verwendet, wo präzise Masken gezielte Modifikationen ermöglichen.
Herausforderungen und Einschränkungen
Trotz Fortschritten bleibt die COCO-Instanzsegmentierung herausfordernd. Kleine Objekte sind aufgrund begrenzter Pixelinformationen besonders schwierig, und verdeckte oder überlappende Instanzen können Modelle verwirren. Die 80 Thing-Klassen sind unausgewogen, wobei häufige Klassen wie Person und Auto dominieren, während seltene Klassen wie Haartrockner und Zahnbürste nur wenige Beispiele haben. Der Datensatz weist auch Verzerrungen auf, wie eine Vorherrschaft von Bildern aus westlichen Kontexten, was die Generalisierung von Modellen beeinträchtigen kann. Ab 2025 adressieren Forscher diese Probleme weiterhin durch bessere Verlustfunktionen, Modell-Pruning für Effizienz und die Entwicklung größerer, vielfältigerer Datensätze.
Eine weitere Einschränkung sind die hohen Rechenkosten für das Training von Modellen auf dem neuesten Stand der Technik, die oft mehrere GPUs und Tage Training erfordern. Dies hat zu Interesse an effizienten Architekturen und Pruning-Techniken geführt. Die COCO-Benchmark bleibt ein Schlüsselwerkzeug zur Messung des Fortschritts, aber einige argumentieren, dass sie gesättigt ist, was die Schaffung anspruchsvollerer Benchmarks wie LVIS (Large Vocabulary Instance Segmentation) mit über 1.200 Klassen anregt.
Siehe auch
- U-Net - eine beliebte Architektur für semantische Segmentierung
- Daten-Augmentierung - Techniken zur Verbesserung der Modellgeneralisierung
- Residualnetzwerke - Backbone-Architekturen, die häufig in Segmentierungsmodellen verwendet werden
- Verlustfunktionen - einschließlich Maskenverlust und Bounding-Box-Verlust