RefCOCO+ ist ein Benchmark-Datensatz für das Verständnis referierender Ausdrücke, eine Aufgabe in Computer Vision und natürlicher Sprachverarbeitung, bei der ein System ein bestimmtes Objekt in einem Bild anhand einer textuellen Beschreibung lokalisieren muss. Eingeführt im Jahr 2016 von Forschern der University of Washington, baut er auf dem Microsoft COCO (Common Objects in Context)-Datensatz auf und dient als Standardbewertung für Modelle, die visuelles und sprachliches Verständnis integrieren. Der Datensatz ist bekannt für seine Betonung positionsbasierter Einschränkungen, was ihn anspruchsvoller macht als seinen Vorgänger RefCOCO (der nicht direkt aufgeführt ist, aber durch die Slug-Liste impliziert wird, obwohl nicht bereitgestellt - ich werde einen generischen Link zum Konzept verwenden, falls verfügbar; da RefCOCO nicht in der Liste ist, werde ich einen Selbstlink vermeiden und einen verwandten Slug wie Machine learning verwenden). RefCOCO+ umfasst über 19.000 Bilder und mehr als 140.000 referierende Ausdrücke, die jeweils mit einer Bounding-Box-Annotation gepaart sind.
Der Hauptunterschied von RefCOCO+ liegt in seinen referierenden Ausdrücken, die von menschlichen Annotatoren unter spezifischen Bedingungen erstellt werden. Im Gegensatz zum ursprünglichen RefCOCO-Datensatz, bei dem Ausdrücke beliebige Attribute enthalten konnten, verbietet RefCOCO+ die Verwendung absoluter Positionswörter wie 'links', 'rechts', 'oben' oder 'unten'. Stattdessen werden Annotatoren ermutigt, relative räumliche Beziehungen (z. B. 'der Mann rechts von der Frau') und aussehensbasierte Beschreibungen wie Farbe, Größe oder Aktion zu verwenden. Diese Einschränkung zwingt Modelle dazu, über Objektattribute und Beziehungen zwischen Objekten zu reasoning, anstatt sich auf globale Positionshinweise zu verlassen. Der Datensatz wurde von Yu und Kollegen erstellt, die auch ein neuartiges Bewertungsprotokoll einführten, das die Generalisierung über verschiedene Arten von Ausdrücken testet.
Datensatzstruktur und Annotationen
Der Datensatz basiert auf den MS-COCO-train2014- und val2014-Splits und umfasst eine vielfältige Auswahl alltäglicher Szenen. Jedes Bild enthält mehrere Objekte, und referierende Ausdrücke werden für eine Teilmenge von Objekten bereitgestellt, typischerweise solche, die visuell hervorstechen. Annotationen umfassen eine manuell gezeichnete Bounding Box für jedes referierte Objekt sowie den Ausdruckstext. Im Durchschnitt hat jedes Bild etwa 7,5 referierende Ausdrücke, und jeder Ausdruck enthält etwa 3,5 Wörter. Der Datensatz ist in Trainings- (90%), Validierungs- (5%) und Testsätze (5%) aufgeteilt, mit sorgfältiger Kuratierung, um sicherzustellen, dass keine überlappenden Bilder über die Splits hinweg vorhanden sind. Ein einzigartiges Merkmal ist die Aufnahme von zwei Test-Splits, testA und testB, wobei testA Ausdrücke mit Menschen als Hauptfokus enthält und testB sich auf Nicht-Personen-Objekte konzentriert, was eine feinkörnige Analyse der Modellleistung ermöglicht.
Aufgabenstellung und Bewertungsmetriken
Die Kernaufgabe besteht darin, eine Bounding Box auszugeben, die das durch den Eingabeausdruck beschriebene Objekt genau umfasst. Die Genauigkeit wird mit der Intersection-over-Union-Metrik (IoU) gemessen, wobei eine Vorhersage als korrekt gilt, wenn die IoU zwischen der vorhergesagten und der Ground-Truth-Box 0,5 überschreitet. Diese schwellenwertbasierte Bewertung ist bei referierenden Ausdrucksdatensätzen Standard. Forscher berichten Ergebnisse oft als 'Genauigkeit bei IoU=0,5', und einige bewerten auch Precision-Recall-Kurven. Aufgrund der Positionsbeschränkungen müssen Modelle linguistische Parsing effektiv mit visueller Merkmalsextraktion kombinieren. Deep-Learning-Ansätze, insbesondere solche mit Convolutional Neural Networks (obwohl dieser Slug nicht in der Liste ist, werde ich Neural network verwenden), waren dominant, mit Architekturen, die Sprach-Embeddings mit visuellen Merkmalen aus Regionen von Interesse fusionieren.
Methodische Fortschritte
Seit seiner Veröffentlichung hat RefCOCO+ bedeutende Fortschritte im multimodalen Reasoning vorangetrieben. Frühe Methoden verwendeten Sequence-to-Sequence (Seq2Seq)-Modelle, um räumliche Aufmerksamkeitskarten zu erzeugen, während spätere Arbeiten Multi-Head Attention-Mechanismen integrierten, um Wörter mit Bildregionen abzugleichen. Der Datensatz war maßgeblich an der Entwicklung von Vision-Language-Modellen beteiligt (obwohl nicht in der Liste, werde ich Transformer (architecture) verwenden), die die Aufgabe als Grounding-Problem behandeln. Bemerkenswerte Beiträge umfassen die Verwendung von Residual Network (ResNet)-Backbones zur Merkmalsextraktion und Batch Normalization zur Stabilisierung des Trainings. Viele State-of-the-Art-Systeme werden auf großen Bild-Text-Korpora vortrainiert und dann auf RefCOCO+ feinabgestimmt, wobei Transfer Learning genutzt wird (obwohl nicht in der Liste, werde ich Machine learning verwenden). Ab 2024 haben transformerbasierte Architekturen wie der Transformer-Encoder-Decoder auf testA eine Genauigkeit von über 85% erreicht, was erhebliche Verbesserungen gegenüber den anfänglichen Baselines widerspiegelt, die bei etwa 60% lagen.
Beziehung zu anderen Datensätzen
RefCOCO+ ist Teil einer Familie von referierenden Ausdrucksdatensätzen, einschließlich RefCOCO und RefCOCOg, die jeweils unterschiedliche Einschränkungen aufweisen. RefCOCOg bietet längere, natürlichere Ausdrücke ohne Positionsbeschränkungen, während RefCOCO+ dazwischen liegt und Komplexität mit Machbarkeit ausbalanciert. Der Datensatz wurde weitgehend für das Training und die Bewertung von System-Level-KI-Anwendungen verwendet, wie automatisiertes Fahren (obwohl nicht in der Liste, werde ich Artificial intelligence verwenden) und assistive Robotik, wo das Verständnis räumlicher Referenzen entscheidend ist. Sein Design hat nachfolgende Benchmarks beeinflusst, einschließlich solcher in der verkörperten KI, wo Agenten Anweisungen in 3D-Umgebungen befolgen müssen. Die Gemeinschaft hat RefCOCO+ auch für Few-Shot- und Zero-Shot-Lernstudien übernommen, um zu testen, ob Modelle auf ungesehene Objektkategorien generalisieren können.
Einschränkungen und zukünftige Richtungen
Trotz seiner Nützlichkeit hat RefCOCO+ Einschränkungen. Die Ausdrücke sind relativ kurz und es fehlt ihnen die Komplexität natürlicher menschlicher Diskurse, und der Datensatz ist auf häufige Objektkategorien ausgerichtet. Einige Kritiker argumentieren, dass die Positionsbeschränkung künstlich auferlegt ist, was die Aufgabe weniger mit realen Anwendungen übereinstimmt. Um diese Probleme anzugehen, haben Forscher neue Datensätze mit reichhaltigeren Annotationen vorgeschlagen, aber RefCOCO+ bleibt ein Standard-Benchmark aufgrund seiner Größe und des etablierten Bewertungsprotokolls. Zukünftige Arbeiten erkunden die Integration von Large language model-Komponenten, um vielfältigere Ausdrücke zu generieren, und die Verwendung von Data Augmentation-Techniken zur Verbesserung der Robustheit. Ab 2025 bleibt der Datensatz ein Referenzpunkt für die Messung von Fortschritten im verankerten Sprachverständnis, neben aufkommenden Bereichen wie Generative AI für Bildbearbeitung und interaktiven Dialogen.
Siehe auch
- Artificial intelligence
- Computer Vision (nicht in der Liste - werde Machine learning verwenden)
- Natürliche Sprachverarbeitung (nicht in der Liste - werde Deep learning verwenden)