COCO test-dev ist ein festgelegter Test-Teil des Common Objects in Context (COCO)-Datensatzes, der für die Bewertung von Modellen in den COCO-Erkennungs- und Segmentierungsherausforderungen erstellt wurde. Im Gegensatz zum standardmäßigen Test-Teil ist test-dev ein „blinder“ Satz: Seine Ground-Truth-Annotationen werden nicht öffentlich freigegeben. Forscher übermitteln ihre Modellvorhersagen an den Bewertungsserver, der Metriken wie die mittlere durchschnittliche Präzision (mAP) berechnet und Ergebnisse zurückgibt. Dieses Protokoll soll eine Überanpassung an den Testsatz verhindern und einen fairen Vergleich zwischen konkurrierenden Methoden gewährleisten.
Der COCO-Datensatz wurde 2014 von Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár und C. Lawrence Zitnick eingeführt. Er enthält über 200.000 Bilder mit mehr als 1,5 Millionen Objektinstanzen, die über 80 Kategorien beschriftet sind. Der Datensatz wird in der Computer-Vision-Forschung häufig für Aufgaben wie Objekterkennung, Instanzsegmentierung und Schlüsselpunkterkennung verwendet. Der test-dev-Teil umfasst etwa 20.000 Bilder, eine Teilmenge des vollständigen Testsatzes, der selbst rund 40.000 Bilder enthält. Die verbleibenden Testbilder werden für den „test-challenge“-Teil verwendet, der für die Herausforderungsbewertung reserviert ist und ebenfalls keine öffentlichen Annotationen besitzt.
Bewertungsprotokoll
Teilnehmer der COCO-Herausforderungen, wie der COCO-Erkennungschallenge, die ab 2015 auf der Conference on Computer Vision and Pattern Recognition (CVPR) stattfand, reichen Ergebnisse für den test-dev-Teil ein. Der Bewertungsserver berechnet standardmäßige Metriken: durchschnittliche Präzision (AP) bei IoU-Schwellenwerten von 0,5 bis 0,95 in Schritten von 0,05, AP bei IoU 0,5, AP bei IoU 0,75 und durchschnittliche Trefferquote (AR) für verschiedene Anzahlen von Erkennungen. Die primäre Metrik ist AP bei IoU 0,50:0,95, oft als COCO AP bezeichnet. Diese Metrik ist strenger als die traditionelle PASCAL-VOC-Metrik, die einen einzelnen IoU-Schwellenwert von 0,5 verwendet.
Die blinde Natur von test-dev bedeutet, dass Forscher nicht direkt am Testsatz iterieren können. Stattdessen verwenden sie typischerweise einen zurückgehaltenen Validierungssatz (val2014 oder val2017) für die Entwicklung und Hyperparameter-Abstimmung. Der test-dev-Teil wird nur für die endgültige Berichterstattung verwendet, was die Integrität des Benchmarks bewahrt. Im Laufe der Jahre ist der COCO-Bewertungsserver zu einem Standard für den Vergleich von Maschinenlern-Modellen in der Objekterkennung geworden, wobei viele modernste Systeme ihre Leistung auf test-dev angeben.
Historischer Kontext
COCO wurde erstellt, um Einschränkungen früherer Datensätze wie PASCAL VOC und ImageNet zu beheben, die weniger Objektkategorien hatten oder sich eher auf Klassifikation als auf Lokalisierung konzentrierten. Der test-dev-Teil wurde als Teil des Datensatzdesigns eingeführt, um eine herausforderungsbasierte Bewertung zu unterstützen. Die erste COCO-Herausforderung fand 2015 statt, und nachfolgende Ausgaben erfolgten jährlich bis 2020, mit der letzten offiziellen Herausforderung beim ECCV-Workshop 2020. In diesem Zeitraum wurde test-dev zum De-facto-Benchmark für den Vergleich von Erkennungs- und Segmentierungsalgorithmen.
Der Datensatz hat mehrere Versionen durchlaufen: COCO 2014, COCO 2015 und COCO 2017. Der test-dev-Teil existiert für jede Version, aber die Version von 2017 wird in der jüngsten Forschung am häufigsten verwendet. Der test-dev von 2017 enthält 20.288 Bilder, und seine Annotationen werden zurückgehalten. Der Bewertungsserver für COCO 2017 bleibt betriebsbereit, sodass Forscher Vorhersagen einreichen und Metriken erhalten können.
Auswirkungen auf die Forschung
COCO test-dev war maßgeblich an der Förderung des Fortschritts in der Objekterkennung und Instanzsegmentierung beteiligt. Viele einflussreiche Modelle haben Ergebnisse auf diesem Teil berichtet, darunter Faster R-CNN, Mask R-CNN und YOLO-Varianten. Beispielsweise erreichte Mask R-CNN, eingeführt von Kaiming He und Kollegen im Jahr 2017, eine AP von 37,1 auf test-dev und setzte damit damals einen neuen Stand der Technik. Nachfolgende Modelle wie EfficientDet und Swin Transformer haben die AP auf über 50 gesteigert. Die Verfügbarkeit eines standardisierten blinden Testsatzes hat faire Vergleiche ermöglicht und die Entwicklung von Techniken wie Feature-Pyramid-Netzwerken, Anker-freien Detektoren und Transformer-basierten Detektoren beschleunigt.
Über die Erkennung hinaus wird test-dev auch zur Bewertung der panoptischen Segmentierung verwendet, einer 2018 eingeführten Aufgabe, die semantische und Instanzsegmentierung kombiniert. Die COCO-Panoptik-Herausforderung verwendet einen separaten test-dev-Teil mit 80 Ding-Kategorien und 91 Stoff-Kategorien. Diese Erweiterung hat den Nutzen des Benchmarks vergrößert.
Einschränkungen und Alternativen
Trotz seiner weit verbreiteten Verwendung hat test-dev Einschränkungen. Die geringe Anzahl von Bildern (etwa 20.000) im Vergleich zum Umfang moderner Datensätze kann zu verrauschten Metriken führen, insbesondere für seltene Kategorien. Darüber hinaus erfordert das blinde Bewertungsprotokoll die Übermittlung von Vorhersagen an einen Server, was eine Hürde für Forscher ohne Internetzugang oder für diejenigen darstellen kann, die auf lokaler Hardware bewerten möchten. Um diese Probleme zu beheben, haben einige Forscher alternative Benchmarks erstellt, wie LVIS (Large Vocabulary Instance Segmentation), das einen größeren Kategoriesatz und ein anderes Bewertungsprotokoll aufweist. COCO test-dev bleibt jedoch ein Standardreferenzpunkt in dem Bereich.
Der COCO-Datensatz selbst wird vom COCO-Konsortium gehostet, und der Bewertungsserver wird vom Team der University of Michigan und anderen Mitwirkenden gepflegt. Stand 2025 ist der Server noch aktiv, obwohl die offiziellen Herausforderungen eingestellt wurden. Forscher verwenden test-dev weiterhin für die Berichterstattung von Ergebnissen in Papieren, und es bleibt ein häufiger Benchmark in der Deep-Learning- und Künstliche-Intelligenz-Forschung.
Siehe auch
- Computer-Vision
- Objekterkennung
- Instanzsegmentierung
- mean-average-precision