Visuelle Fragenbeantwortung (VQA) ist ein Forschungsbereich in künstlicher Intelligenz und maschinellem Lernen, der Computer Vision und natürliche Sprachverarbeitung kombiniert. Die Aufgabe besteht darin, ein Bild und eine frei formulierte, offene Frage zu diesem Bild bereitzustellen, und das System muss eine korrekte Antwort in natürlicher Sprache generieren. VQA gilt als herausforderndes Problem, da es nicht nur Objekterkennung und Szenenverständnis erfordert, sondern auch Reasoning, Allgemeinwissen und die Fähigkeit, Sprache in visuellen Inhalten zu verankern. Es dient als zentraler Benchmark zur Bewertung der Fähigkeiten multimodaler KI-Systeme, insbesondere solcher, die auf Deep-Learning-Architekturen basieren.
Die VQA-Aufgabe wurde mit der Veröffentlichung des VQA-Datensatzes im Jahr 2015 von Forschern der Virginia Tech, Microsoft und Toronto formalisiert. Der ursprüngliche Datensatz, VQA v1, enthielt über 200.000 Bilder aus dem Microsoft-COCO-Datensatz und abstrakten Szenen, gepaart mit mehr als 760.000 Fragen und 10 Millionen Antworten. Jedes Bild hatte drei Fragen, und jede Frage hatte zehn Ground-Truth-Antworten von menschlichen Annotatoren. Der Datensatz wurde so konzipiert, dass er eine Reihe von Fähigkeiten erfordert, von einfachem Zählen und Farberkennung bis hin zu komplexerem Reasoning über räumliche Beziehungen und Aktivitäten. Eine Folgeversion, VQA v2, wurde 2017 veröffentlicht, um Sprachverzerrungen zu adressieren, indem die Antworten für jeden Fragetyp ausbalanciert wurden, sodass das Modell sich nicht allein auf Priors verlassen konnte.
Architektur und Ansätze
Frühe VQA-Systeme verwendeten eine Kombination aus Convolutional Neural Networks (CNNs) zur Bildextraktion und Recurrent Neural Networks (RNNs) oder Long-Short-Term-Memory-Netzwerken (LSTM) zur Fragenkodierung. Diese Merkmale wurden dann fusioniert, oft durch elementweise Multiplikation oder Konkatenation, und durch einen Klassifikator geleitet, um eine Antwort aus einem festen Vokabular vorherzusagen. Ein bemerkenswertes frühes Modell war die "VQA-Baseline" der Datensatzersteller, die eine Bag-of-Words-Fragenrepräsentation und einen VGGNet-Bildencoder verwendete.
Mit dem Aufkommen der Transformer-Architektur verlagerten sich VQA-Modelle hin zu aufmerksamkeitsbasierten Mechanismen. Der Multi-Head-Attention-Mechanismus ermöglichte es Modellen, dynamisch relevante Bildregionen basierend auf den Fragewörtern zu fokussieren. Das Encoder-Decoder-Framework wurde Standard, wobei Bild und Frage gemeinsam kodiert und die Antwort autoregressiv generiert wurde. In jüngerer Zeit wurden große vortrainierte Modelle, wie solche auf Basis von Large-Language-Model-Backbones, für VQA feinabgestimmt, wobei sie cross-modales Pretraining auf Bild-Text-Paaren nutzen. Diese Modelle verwenden oft Cross-Attention-Schichten, um visuelle und textuelle Token auszurichten.
Wichtige Datensätze und Benchmarks
Über die ursprünglichen VQA v1 und v2 hinaus haben mehrere andere Datensätze den Umfang der Aufgabe erweitert. Der Visual-Genome-Datensatz, 2016 veröffentlicht, bot dichte Annotationen von Objekten, Attributen und Beziehungen und ermöglichte kompositionellere Fragenbeantwortung. Der GQA-Datensatz, 2019 eingeführt, konzentrierte sich auf Reasoning und kompositionelle Fragen mit einem ausbalancierten Split zur Reduzierung von Verzerrungen. Der CLEVR-Datensatz von 2017 verwendete synthetische 3D-Formen, um systematisches Reasoning zu testen und mehrstufige Inferenz zu erfordern. Für reale Anwendungen sammelte der VizWiz-Datensatz von 2018 Fragen von blinden Nutzern und bot eine praktischere, aber verrauschte Umgebung. Der OK-VQA-Datensatz, 2019 veröffentlicht, betonte Fragen, die externes Wissen über den Bildinhalt hinaus erfordern.
Bewertungsmetriken
VQA-Modelle werden typischerweise mit Genauigkeit bewertet, wobei eine vorhergesagte Antwort als korrekt gilt, wenn sie mindestens drei der zehn menschlichen Ground-Truth-Antworten entspricht. Diese Metrik, bekannt als VQA-Genauigkeit, ist darauf ausgelegt, die Subjektivität offener Antworten zu handhaben. Für Multiple-Choice-Varianten wird Standardgenauigkeit verwendet. Neuere Benchmarks berichten auch Konsistenz- und Grounding-Metriken, wie etwa ob die Aufmerksamkeit des Modells mit relevanten Bildregionen übereinstimmt. Das VQA-v2-Leaderboard war eine Standardreferenz, obwohl viele moderne Modelle Ergebnisse auf einer Reihe von Datensätzen berichten, um Generalisierung zu demonstrieren.
Herausforderungen und Einschränkungen
Eine primäre Herausforderung in VQA ist Sprachverzerrung, bei der Modelle statistische Regelmäßigkeiten in den Trainingsdaten ausnutzen, anstatt das Bild wirklich zu verstehen. Beispielsweise könnte ein Modell "2" für jede Zählfrage antworten, ohne die Objekte zu betrachten. Der VQA-v2-Datensatz wurde speziell entwickelt, um dies zu mildern, indem sichergestellt wird, dass jeder Fragetyp einen ausbalancierten Satz von Antworten hat. Eine weitere Herausforderung ist kompositionelle Generalisierung, bei der Modelle bei Fragen versagen, die Konzepte auf ungesehene Weise kombinieren. Externes Wissen ist auch schwer zu integrieren, da viele Fragen Allgemeinwissen oder faktische Informationen erfordern, die nicht im Bild vorhanden sind. Schließlich bleibt Robustheit gegenüber adversarischen Störungen und Verteilungsverschiebungen ein offenes Problem, da Modelle leicht durch kleine Änderungen am Bild oder der Frage getäuscht werden können.
Anwendungen und zukünftige Richtungen
VQA hat praktische Anwendungen in assistiver Technologie, wie etwa der Unterstützung sehbehinderter Nutzer beim Verständnis ihrer Umgebung, wie im VizWiz-Projekt zu sehen. Es wird auch in der Mensch-Roboter-Interaktion, medizinischer Bildgebung (z. B. Beantwortung von Fragen zu Röntgenbildern) und inhaltsbasierter Bildsuche verwendet. Zukünftige Richtungen umfassen die Verbesserung der Reasoning-Fähigkeiten durch neuronale Netzwerk-Architekturen, die symbolische Komponenten integrieren, die Integration von generativen KI-Modellen für detailliertere und offenere Antworten sowie die Entwicklung besserer Bewertungsmetriken, die semantische Äquivalenz erfassen. Stand Mitte der 2020er Jahre nutzen hochmoderne Modelle oft groß angelegtes Pretraining auf Webdaten, kämpfen jedoch weiterhin mit feinkörnigem räumlichem Reasoning und der Erkennung seltener Objekte.