COCO 2017 ist die jährliche Ausgabe der Common Objects in Context (COCO)-Herausforderung, einem groß angelegten Benchmark für Objekterkennung, Segmentierung und Bildbeschriftung. Sie wurde 2017 vom Microsoft-Forschungsteam veröffentlicht und wurde zum Standard-Evaluierungsdatensatz für Computervision-Modelle, der frühere Versionen aus den Jahren 2014 und 2015 ablöste. Der Datensatz enthält 118.000 Trainingsbilder, 5.000 Validierungsbilder und 41.000 Testbilder, mit Annotationen, die 80 Objektkategorien und 91 Stoffkategorien abdecken.
Die Herausforderungsaufgaben umfassen Bounding-Box-Objekterkennung, Instanzsegmentierung, panoptische Segmentierung (später hinzugefügt) und Bildbeschriftung. COCO 2017 führte eine neue Test-Dev-Aufteilung und verfeinerte Annotationsprotokolle ein, was es strenger machte als frühere Ausgaben. Es wird häufig in akademischer Forschung und Industrie-Wettbewerben verwendet, mit Bestenlisten, die den Stand der Technik verfolgen.
Datensatzzusammensetzung
Der COCO-2017-Datensatz umfasst über 200.000 Bilder mit mehr als 1,5 Millionen beschrifteten Instanzen. Jedes Bild ist mit Objekt-Bounding-Boxen, Segmentierungsmasken und Beschriftungen annotiert. Die 80 Objektkategorien umfassen gängige Elemente wie Person, Auto, Hund und Stuhl, während die 91 Stoffkategorien Hintergründe wie Gras, Himmel und Wand abdecken. Die Bilder stammen von Flickr und sind vielfältig in Szenenkomposition, Beleuchtung und Objektgröße.
Annotationen werden im JSON-Format bereitgestellt, wobei jedes Bild mehrere Annotations-Einträge hat. Der Trainingssatz wird für das Modelltraining verwendet, während der Validierungssatz für Hyperparameter-Tuning und Modellauswahl dient. Der Testsatz wird für die endgültige Bewertung verwendet, wobei Annotationen vom öffentlichen Zugriff zurückgehalten werden, um Überanpassung zu verhindern.
Bewertungsmetriken
COCO 2017 verwendet die standardmäßigen COCO-Bewertungsmetriken, hauptsächlich Average Precision (AP) und Average Recall (AR). AP wird bei mehreren Intersection-over-Union (IoU)-Schwellenwerten berechnet, von 0,5 bis 0,95 in Schritten von 0,05, und gemittelt. Diese Metrik ist strenger als die traditionelle PASCAL-VOC-Metrik, die eine feste IoU von 0,5 verwendet. Die primäre Metrik ist AP@[0.5:0.95], oft einfach als AP bezeichnet.
Für Segmentierungsaufgaben werden dieselben Metriken auf Maskenvorhersagen angewendet. Für Beschriftung werden Metriken wie BLEU, METEOR und CIDEr verwendet. Die Herausforderung verfolgt auch die Inferenzgeschwindigkeit, mit einer separaten Latenzkategorie in einigen Jahren.
Auswirkungen auf die Computervision
COCO 2017 wurde zum De-facto-Benchmark für Forschung in Objekterkennung und Segmentierung. Viele einflussreiche Modelle wurden darauf evaluiert, darunter ResNet-basierte Detektoren, U-Net-Varianten und später transformerbasierte Architekturen. Der Datensatz trieb Fortschritte im Lernen mehrskaliger Merkmale, in der ankerfreien Erkennung und in der Instanzsegmentierung voran.
Sein großer Umfang und die vielfältigen Annotationen ermöglichten die Entwicklung von Daten-Augmentierungs-Techniken und Batch-Normalisierungs-Methoden. Die Herausforderung förderte auch Forschung im schwach überwachten Lernen und halbüberwachten Lernen, da die Testset-Annotationen verborgen sind.
Herausforderungsausgaben und Gewinner
COCO 2017 war Teil einer Reihe jährlicher Herausforderungen. Die Ausgabe 2017 verzeichnete Teilnahmen großer Technologieunternehmen und akademischer Institutionen. Gewinnerteams verwendeten oft Ensemble-Modelle und fortgeschrittene Trainingsstrategien. Zum Beispiel erreichte der Erkennungsgewinner 2017 eine AP von 0,493, eine signifikante Verbesserung gegenüber dem Gewinner von 2015 mit 0,375.
Das Herausforderungsformat umfasste separate Spuren für Erkennung, Segmentierung und Beschriftung. Die Segmentierungsspur konzentrierte sich auf Instanzebenen-Masken, während die Beschriftungsspur die Erzeugung natürlicher Sprachbeschreibungen erforderte. Die Ausgabe 2017 führte auch eine neue Aufgabe der Stoffsegmentierung ein, die sich später 2018 zur panoptischen Segmentierung entwickelte.
Vermächtnis und Zukunft
COCO 2017 bleibt auch nach der Einführung neuerer Datensätze wie LVIS und Open Images weit verbreitet. Seine Annotationen sind immer noch der Standard für die Bewertung vieler Deep-Learning-Modelle. Der Datensatz wurde in beliebte Toolkits wie Detectron2 und MMDetection integriert, was ihn Forschern weltweit zugänglich macht.
Stand 2025 bleibt COCO 2017 ein Referenzpunkt für die Modellleistung, obwohl neuere Benchmarks wie Google Cloud's Open Images und AWS's öffentliche Datensätze alternative Herausforderungen bieten. Das COCO-Konsortium hat nachfolgende Ausgaben veröffentlicht, aber 2017 bleibt die am häufigsten zitierte und verwendete Version in der Literatur.