Visuelle Commonsense-Argumentation (VCR) ist ein Forschungs-Benchmark und eine Aufgabe in der künstlichen Intelligenz, die die Fähigkeit eines Systems bewertet, Bilder zu verstehen und Fragen dazu mithilfe von Alltagswissen zu beantworten. VCR wurde 2019 eingeführt und verlangt von Modellen nicht nur, Objekte und Handlungen in einer Szene zu identifizieren, sondern auch Motivationen, mentale Zustände und plausible zukünftige Ereignisse abzuleiten. Es ist darauf ausgelegt, höhere kognitive Fähigkeiten über die grundlegende visuelle Erkennung hinaus zu testen und die Lücke zwischen Computersehen und natürlicher Sprachverarbeitung zu überbrücken.
Der VCR-Datensatz besteht aus über 290.000 Multiple-Choice-Fragen, die aus 110.000 Filmszenen abgeleitet wurden, jeweils gepaart mit einer Frage, vier Antwortoptionen und vier Begründungsoptionen. Ein Modell muss die richtige Antwort auswählen und dann seine Wahl durch die Auswahl der richtigen Begründung rechtfertigen. Diese zweistufige Struktur zwingt Systeme dazu, Erklärungen zu liefern, was den Benchmark anspruchsvoller macht als traditionelle visuelle Fragenbeantwortung (VQA). Die Aufgabe ist in zwei Unteraufgaben unterteilt: Query-Answer (QA) und Answer-Rationale (AR), wobei die Gesamtleistung durch den VCR-Score gemessen wird, der das Produkt der Genauigkeit beider Unteraufgaben ist.
Datensatz und Annotation
Der VCR-Datensatz wurde von Forschern der University of North Carolina at Chapel Hill und dem Allen Institute for Artificial Intelligence erstellt. Die Annotationen wurden per Crowdsourcing über Amazon Mechanical Turk durchgeführt, wobei die Arbeiter gebeten wurden, Fragen zu schreiben, die Commonsense-Argumentation erfordern, wie zum Beispiel „Warum rennt die Person?“ oder „Was wird als Nächstes passieren?“. Jede Frage ist in einem spezifischen Bild aus einem Film verankert und bietet reichhaltige kontextuelle Hinweise wie soziale Interaktionen, emotionale Ausdrücke und physische Kausalität. Der Datensatz umfasst 110.000 einzigartige Filmclips, jeweils mit durchschnittlich 2,6 Fragen, was zu einer vielfältigen Menge von Szenarien führt, die nicht allein auf Objekterkennung ausgerichtet sind.
Aufgabenformulierung
Formal ist VCR als Multiple-Choice-Aufgabe definiert. Gegeben ein Bild I, eine Frage Q und eine Menge von vier Antwortkandidaten A = {a1, a2, a3, a4}, muss das Modell die richtige Antwort a vorhersagen. Dann, gegeben dasselbe Bild, dieselbe Frage und die richtige Antwort, muss das Modell die richtige Begründung R aus einer Menge von vier Begründungskandidaten auswählen. Der endgültige VCR-Score wird als die Genauigkeit der Auswahl sowohl der richtigen Antwort als auch der richtigen Begründung berechnet, d.h. die gemeinsame Wahrscheinlichkeit P(a | I, Q) P(r | I, Q, a*). Diese Formulierung ermutigt Modelle, kohärente Erklärungen zu produzieren, anstatt nur die Antwort zu erraten.
Modellansätze
Frühe VCR-Systeme stützten sich auf visuelle Fragenbeantwortungs-Architekturen, die konvolutionale neuronale Netze (CNNs) zur Bildextraktion mit rekurrenten neuronalen Netzen (RNNs) oder Transformer-basierten Encodern für Text kombinierten. Eine gängige Basislinie war das Visual Commonsense Reasoning with Transformer (VCRT)-Modell, das einen Multi-Head-Attention-Mechanismus verwendete, um visuelle und textuelle Darstellungen zu fusionieren. Später wurden Ansätze auf Basis von großen Sprachmodellen, wie das Feintuning von BERT- oder GPT-Varianten, angepasst, um die multimodale Eingabe zu verarbeiten. Diese Modelle verwenden oft eine zweistufige Pipeline: Zuerst codieren sie Bild und Frage gemeinsam, dann verwenden sie einen Klassifikationskopf, um Antwort und Begründung auszuwählen. Neuere Arbeiten haben End-to-End-Training mit Cross-Attention-Schichten untersucht, die es dem Modell ermöglichen, relevante Bildregionen zu beachten, während es über die Frage nachdenkt.
Herausforderungen und Einschränkungen
Trotz Fortschritten bleibt VCR ein schwieriger Benchmark. Modelle haben oft Probleme mit Fragen, die tiefe soziale Argumentation erfordern, wie das Ableiten der Absicht oder des emotionalen Zustands einer Figur. Der Datensatz enthält auch Verzerrungen, da einige Fragen durch statistische Regelmäßigkeiten im Text beantwortet werden können, anstatt durch visuelle Beweise. Zum Beispiel könnte ein Modell lernen, bestimmte Verben mit typischen Objekten zu assoziieren, ohne die Szene wirklich zu verstehen. Zusätzlich ist die Aufgabe der Begründungsauswahl besonders herausfordernd, da sie vom Modell verlangt, eine plausible Erklärung zu generieren, die nicht nur eine Paraphrase der Antwort ist. Ab 2025 erreichen die besten Modelle auf VCR etwa 80% Genauigkeit bei der QA-Unteraufgabe und 75% bei der AR-Unteraufgabe, aber der gemeinsame VCR-Score bleibt unter 60%, was auf erheblichen Verbesserungsbedarf hinweist.
Auswirkungen und verwandte Arbeiten
VCR hat nachfolgende Benchmarks wie Visual Commonsense Reasoning in the Wild (VCR-W) beeinflusst und wurde als Testumgebung zur Bewertung von Commonsense-Argumentationsfähigkeiten in KI-Systemen verwendet. Es hat auch Forschung in erklärbarer KI angeregt, da die Begründungsauswahlkomponente Modelle dazu zwingt, interpretierbare Rechtfertigungen zu liefern. Der Datensatz ist öffentlich verfügbar und wurde in der Forschungsgemeinschaft weitgehend übernommen, mit über 1.000 Zitierungen ab 2025. VCR wird oft mit anderen visuellen Argumentationsaufgaben wie visueller Implikation und visueller Fragenbeantwortung verglichen, aber seine Betonung auf Erklärungen hebt es hervor. Der Benchmark wird vom Allen Institute for AI gepflegt und regelmäßig in akademischen Wettbewerben und Workshops verwendet.
Zukünftige Richtungen
Zukünftige Arbeiten an VCR könnten die Integration ausgefeilterer neuronaler Netzwerk-Architekturen umfassen, wie etwa Vision-Language-Modelle, die auf großen Bild-Text-Paaren vortrainiert sind. Es gibt auch Interesse daran, VCR zur Bewertung der Argumentationsfähigkeiten von generativen KI-Systemen zu verwenden, bei denen Modelle freie Begründungen generieren müssen, anstatt aus einer festen Menge auszuwählen. Zusätzlich erforschen Forscher Wege, Datensatzverzerrungen durch die Einführung von adversarischen Beispielen oder kontrafaktischen Fragen zu reduzieren. Während sich die künstliche Intelligenz weiterentwickelt, dient VCR als kritischer Benchmark zur Messung des Fortschritts in Richtung menschlicher visueller Commonsense-Argumentation.