MS COCO Captions ist ein groß angelegter Datensatz mit von Menschen verfassten Sätzen, die Bilder aus der Microsoft Common Objects in Context (COCO)-Sammlung beschreiben. Er bietet fünf unabhängige Bildunterschriften für jeweils mehr als 330.000 Bilder und ist damit ein Standard-Benchmark für die Forschung zu künstlicher Intelligenz im Bereich des Verständnisses von Vision und Sprache.
Der Datensatz wurde erstellt, um die Aufgabe der Bildbeschriftung zu unterstützen, bei der ein Modell eine natürliche Sprachbeschreibung eines Bildes generieren muss. Seine Größe, Vielfalt und Annotationsqualität haben ihn zu einer grundlegenden Ressource im maschinellen Lernen und Deep Learning gemacht.
Geschichte und Erstellung
Der Microsoft-COCO-Datensatz wurde erstmals 2014 als Teil einer Initiative zur Förderung der Objekterkennung und Szenenverständnisses veröffentlicht. Die Bildunterschriften-Annotationen wurden über Amazon Mechanical Turk gesammelt, wobei die Arbeiter gebeten wurden, die wichtigen Objekte, Aktionen und Beziehungen in jedem Bild zu beschreiben. Im Jahr 2015 detaillierte ein Begleitpapier von Xinlei Chen und Kollegen die Sammelmethode und führte einen Evaluierungsserver ein. Der endgültige Datensatz enthält 328.000 Bilder, jeweils mit fünf Bildunterschriften, insgesamt etwa 1,5 Millionen Sätze.
Datensatzstatistiken und Struktur
Jede Bildunterschrift ist ein englischer Satz, typischerweise 10 bis 12 Wörter lang, und der vollständige Wortschatz umfasst etwa 10.000 Wörter. Die Bilder decken 80 Objektkategorien ab und umfassen komplexe Szenen mit mehreren interagierenden Objekten. Der Datensatz ist in Trainings-, Validierungs- und Testsets unterteilt, wobei die Test-Bildunterschriften für die Evaluierung zurückgehalten werden. Die ursprüngliche Aufteilung von 2014 umfasst 82.783 Trainingsbilder, 40.504 Validierungsbilder und 40.775 Testbilder. Diese Struktur unterstützt reproduzierbare Benchmarks von neuralen Netzwerk-Modellen.
Evaluierung und Benchmarks
MS COCO Captions ist der primäre Benchmark für die Aufgabe der Bildbeschriftung. Automatische Metriken wie BLEU, METEOR, ROUGE, CIDEr und SPICE werden verwendet, um Modellausgaben mit den fünf Referenz-Bildunterschriften zu vergleichen. Der vom COCO-Projekt gehostete Evaluierungsserver ermöglicht es Forschern, Ergebnisse für das zurückgehaltene Testset einzureichen. Frühe State-of-the-Art-Systeme verwendeten Encoder-Decoder-Architekturen mit Sequenz-zu-Sequenz-Lernen. Spätere Fortschritte integrierten Transformer-Modelle und Multi-Head-Attention-Mechanismen, die oft von großen Sprachmodellen initialisiert wurden. Diese Modelle verwenden häufig Cross-Attention-Schichten, um visuelle Merkmale mit Text abzugleichen, und die Dekodierung basiert typischerweise auf Beam-Suche, um flüssige Bildunterschriften zu generieren.
Auswirkungen und Anwendungen
Der Datensatz hat Fortschritte in der generativen KI für Vision-Sprach-Aufgaben vorangetrieben. Er wird verwendet, um Modelle für die automatische Alt-Text-Generierung, Bildabruf und visuelle Fragenbeantwortung zu trainieren. Die Annotationen wurden auch für die Datenaugmentation in anderen Computer-Vision-Aufgaben wie Objekterkennung und Segmentierung angepasst. Forscher haben MS COCO Captions verwendet, um kompositionelle Generalisierung, cross-modale Ausrichtung und die Robustheit von Deep-Learning-Systemen zu untersuchen.
Einschränkungen und Erweiterungen
Trotz seines Erfolgs hat MS COCO Captions bekannte Einschränkungen. Die Bilder zeigen überwiegend alltägliche Szenen aus westlichen Kontexten, und die Bildunterschriften können kulturelle Verzerrungen widerspiegeln. Der Wortschatz ist relativ klein, und die Sätze sind kürzer als typische menschliche Beschreibungen. Um diese Probleme zu adressieren, haben Forscher Erweiterungen wie COCO-CN für chinesische Bildunterschriften und den nocaps-Datensatz für Open-Vocabulary-Bildbeschriftung erstellt. Diese Bemühungen beeinflussen weiterhin das Design neuer Benchmarks in der künstlichen Intelligenz.