Winoground ist ein Benchmark-Datensatz und eine Evaluationssuite, die entwickelt wurde, um das kompositionelle Verständnis von Vision-Language-Modellen zu testen. Er wurde 2022 von Forschern der University of Toronto und anderen eingeführt und ist zu einem Standardreferenzpunkt geworden, um zu bewerten, ob Modelle die Beziehung zwischen visuellem Inhalt und linguistischer Struktur wirklich verstehen, anstatt sich auf statistische Abkürzungen oder oberflächliche Korrelationen zu verlassen. Der Name des Benchmarks ist ein Kofferwort aus „Winograd“ (in Anlehnung an die Winograd-Schema-Herausforderung für natürliche Sprache) und „ground“ (wie in der Verankerung von Sprache in Bildern).
Die Kernaufgabe von Winoground umfasst eine Reihe von 400 sorgfältig konstruierten Beispielen. Jedes Beispiel besteht aus zwei Bildern und zwei Bildunterschriften. Die Bildunterschriften sind so gestaltet, dass sie kompositionell herausfordernd sind: Sie enthalten dieselben Wörter, aber in einer anderen Reihenfolge, was die Bedeutung verändert. Zum Beispiel könnte eine Bildunterschrift „der Hund jagt die Katze“ lauten, während die andere „die Katze jagt den Hund“ ist. Die beiden entsprechenden Bilder zeigen jeweils ein Szenario. Einem Modell werden beide Bilder und beide Bildunterschriften präsentiert, und es muss jede Bildunterschrift korrekt dem entsprechenden Bild zuordnen. Der Erfolg erfordert, dass das Modell die syntaktische Struktur der Bildunterschriften parst und sie mit den visuellen Beziehungen in den Bildern abgleicht, wie etwa Agent-Aktion-Patient-Rollen, räumliche Präpositionen (z. B. „auf“ vs. „in“) oder Attribut-Objekt-Paare.
Der Benchmark wurde geschaffen, um eine bekannte Schwäche vieler Vision-Language-Modelle zu adressieren: Sie schneiden oft gut bei Aufgaben ab, die durch das Erkennen einzelner Objekte oder die Nutzung von Sprach-Priors gelöst werden können, scheitern jedoch, wenn die Aufgabe erfordert, zu verstehen, wie die Anordnung von Wörtern die Bedeutung verändert. Zum Beispiel könnte ein Modell korrekt erkennen, dass ein Bild einen Hund und eine Katze enthält, aber es könnte nicht bestimmen, welches Tier die Handlung ausführt. Winoground bietet einen kontrollierten Test für diese Fähigkeit und hat erhebliche Lücken in der Leistung selbst modernster Modelle aufgedeckt.
Design und Bewertung
Jedes Winoground-Beispiel wird anhand von drei separaten Metriken bewertet: „Bildunterschriften-Score“, „Bild-Score“ und „Gruppen-Score“. Der Bildunterschriften-Score misst den Anteil der Beispiele, bei denen das Modell beide Bildunterschriften korrekt ihren jeweiligen Bildern zuordnet. Der Bild-Score misst den Anteil, bei dem das Modell beide Bilder korrekt ihren jeweiligen Bildunterschriften zuordnet (was symmetrisch ist, sich aber aufgrund von Modellasymmetrien unterscheiden kann). Der Gruppen-Score ist der strengste: Er erfordert, dass das Modell beide Bildunterschrift-Bild-Zuordnungen in einem einzigen Versuch korrekt vornimmt, was bedeutet, dass das Modell nicht nur die richtige Paarung identifizieren, sondern auch jede Verwechslung zwischen den beiden Optionen vermeiden muss.
Der Datensatz wurde von menschlichen Annotatoren erstellt, die die Bildpaare und Bildunterschriften generierten. Die Bildunterschriften wurden als Minimalpaare entworfen, die sich nur in einem spezifischen kompositionellen Element unterscheiden. Die Bilder wurden dann so ausgewählt oder generiert, dass sie jeder Bildunterschrift präzise entsprechen. Die Ersteller filterten die Beispiele auch, um sicherzustellen, dass sie nicht allein durch einfache Objekterkennung lösbar waren, und sie verifizierten, dass menschliche Annotatoren die Aufgabe mit nahezu perfekter Genauigkeit lösen konnten, wodurch eine menschliche Basislinie etabliert wurde.
Ergebnisse und Erkenntnisse
Erste Bewertungen prominenter Vision-Language-Modelle auf Winoground zeigten, dass die meisten Modelle auf oder nahe dem Zufallsniveau abschnitten (etwa 25 % für den Gruppen-Score, da es zwei mögliche Paarungen gibt und das Modell die richtige wählen muss). Zum Beispiel scheiterten Modelle wie CLIP (Contrastive Language-Image Pre-training) und andere Dual-Encoder-Architekturen, die Bilder und Text in einen gemeinsamen Raum einbetten, oft daran, zwischen den beiden Bildunterschriften zu unterscheiden. Dies war überraschend, da diese Modelle bei anderen Benchmarks wie Bildunterschriften-Retrieval oder visueller Fragenbeantwortung hohe Punktzahlen erzielt hatten. Das Scheitern zeigte, dass diese Modelle nicht wirklich kompositionelles Denken durchführten; stattdessen verließen sie sich oft auf das Vorhandensein einzelner Objekte oder auf Korrelationen zwischen Wörtern und visuellen Merkmalen, die kein Verständnis der relationalen Struktur erforderten.
Nachfolgende Arbeiten haben Winoground genutzt, um die Einschränkungen verschiedener Modellarchitekturen zu untersuchen, einschließlich solcher, die auf Transformatoren und großen Sprachmodellen basieren, wenn sie mit visuellen Encodern kombiniert werden. Forscher haben festgestellt, dass Modelle mit ausgefeilteren Aufmerksamkeitsmechanismen oder solche, die mit zusätzlichen Zielen trainiert werden, wie Kreuzaufmerksamkeit oder Multi-Head-Aufmerksamkeit-Schichten, manchmal verbesserte Leistungen zeigen, aber selbst dann bleiben die Punktzahlen weit unter dem menschlichen Niveau. Der Benchmark wurde auch verwendet, um die Wirkung des Umfangs der Trainingsdaten und die Verwendung synthetischer Daten zu untersuchen, wobei einige Studien zeigten, dass die Anreicherung von Trainingsdaten mit kompositionellen Beispielen die Leistung auf Winoground verbessern kann, aber die Generalisierung bleibt eine Herausforderung.
Beziehung zu anderen Benchmarks
Winoground ist Teil einer breiteren Familie von Benchmarks, die kompositionelle Generalisierung in der KI testen. Es ist konzeptionell mit der Winograd-Schema-Herausforderung in der Verarbeitung natürlicher Sprache verwandt, die Koreferenzauflösung und gesunden Menschenverstand testet. Im Vision-Language-Bereich ergänzt es andere Benchmarks wie VQA (Visual Question Answering) und Bild-Text-Retrieval, isoliert aber speziell den kompositionellen Aspekt. Im Gegensatz zu Aufgaben, die es Modellen erlauben, Sprach-Priors oder Objekt-Kooccurrence-Statistiken zu nutzen, zwingt Winoground das Modell, die exakte syntaktische Struktur der Bildunterschrift zu verwenden. Dies macht es zu einem wertvollen diagnostischen Werkzeug für Forscher, die neue Architekturen entwickeln, wie solche, die auf Residualnetzwerken oder U-Nets für die Bildkodierung basieren, und für Trainingstechniken wie Curriculum-Lernen oder Reinforcement Learning from AI Feedback (RLAIF) (Verstärkungslernen aus KI-Feedback).
Der Benchmark hat auch Variationen und Erweiterungen inspiriert, wie Winoground für Video oder für mehrsprachige Umgebungen, obwohl diese weniger standardisiert sind. Der ursprüngliche Datensatz ist öffentlich verfügbar und wurde in mehrere Modell-Evaluationssuiten integriert, die von Unternehmen und Forschungslabors verwendet werden, einschließlich solcher bei OpenAI, Google DeepMind und Anthropic, um Fortschritte beim kompositionellen Verständnis zu verfolgen.
Einschränkungen und Kritik
Einige Forscher haben darauf hingewiesen, dass Winoground Einschränkungen hat. Der Datensatz ist relativ klein (400 Beispiele), was zu einer hohen Varianz in den Bewertungsergebnissen führen kann, insbesondere bei Modellen, die stochastisch sind. Die Beispiele sind außerdem alle auf Englisch und konzentrieren sich auf eine begrenzte Reihe kompositioneller Phänomene, wie Subjekt-Verb-Objekt-Reihenfolge und räumliche Beziehungen, was möglicherweise nicht die gesamte Bandbreite kompositioneller Herausforderungen im Vision-Language-Verständnis erfasst. Darüber hinaus kann die binäre Natur der Aufgabe (Zuordnung von zwei Bildern zu zwei Bildunterschriften) manchmal von einem Modell gelöst werden, das eine einfache Heuristik verwendet, wie sich auf ein einzelnes unterscheidendes Wort zu konzentrieren, ohne den Satz vollständig zu verstehen. Trotz dieser Kritik bleibt Winoground ein weit zitiertes und einflussreicher Benchmark im Bereich der künstlichen Intelligenz und des maschinellen Lernens und wird weiterhin als Standardtest für neue Modelle und Trainingsmethoden verwendet.