KVQA (Knowledge-aware Visual Question Answering) ist ein Teilgebiet der künstlichen Intelligenz und des maschinellen Lernens, das Computer Vision, natürliche Sprachverarbeitung und Wissensrepräsentation kombiniert. Im Gegensatz zum traditionellen visuellen Fragenbeantworten (VQA), das sich ausschließlich auf den visuellen Inhalt eines Bildes stützt, müssen KVQA-Systeme auch auf externe Wissensquellen wie Wissensgraphen, enzyklopädische Datenbanken oder strukturierte Fakten zugreifen und darüber reasoning betreiben, um genaue Antworten zu erzeugen. Diese Aufgabe erfordert, dass das Modell nicht nur Objekte, Szenen und Beziehungen in einem Bild erkennt, sondern auch relevantes Weltwissen abruft und mehrstufiges Reasoning durchführt, um Fragen zu beantworten, die sich auf Entitäten, Attribute oder Fakten beziehen können, die nicht direkt im Bild sichtbar sind.
Die Entwicklung von KVQA ist eng mit Fortschritten im Deep Learning und der Entstehung großer multimodaler Modelle verbunden. Frühe VQA-Datensätze, die Mitte der 2010er Jahre eingeführt wurden, konzentrierten sich auf Fragen, die allein aus dem Bild beantwortet werden konnten. Forscher erkannten jedoch bald, dass viele natürliche Fragen, wie „Wer hat dieses Gebäude gebaut?“ oder „Wie groß ist die Bevölkerung dieser Stadt?“, externes Wissen erfordern. Diese Erkenntnis führte zur Erstellung KVQA-spezifischer Benchmarks und zur Integration von Wissensbasen in neuronale Architekturen, häufig unter Verwendung von Transformer-basierten Modellen, die sowohl visuelle Merkmale als auch textuelle Wissensrepräsentationen berücksichtigen können.
Historische Entwicklung
Das Konzept von KVQA entstand aus der breiteren VQA-Forschungsagenda, die nach der Veröffentlichung des VQA-Datensatzes im Jahr 2015 durch Forscher der Virginia Tech und Microsoft an Bedeutung gewann. Die ursprüngliche VQA-Aufgabe war rein visuell, aber spätere Arbeiten, wie der 2016 eingeführte FVQA-Datensatz (Fact-based Visual Question Answering), erforderten explizit externe Fakten. FVQA stellte eine Wissensbasis von Tripeln (Subjekt, Relation, Objekt) bereit und beauftragte Modelle damit, relevante Fakten abzurufen, um Fragen zu beantworten. Es folgten weitere Datensätze wie KVQA (der Namensgeber, 2018 von Forschern des Indian Institute of Technology Delhi und Mitarbeitern eingeführt), die sich auf Fragen über berühmte Personen und Orte konzentrierten und Wissen aus Quellen wie Wikipedia und Freebase erforderten.
Diese frühen Datensätze verwendeten strukturierte Wissensbasen und stützten sich oft auf Sequence-to-Sequence-Modelle oder Aufmerksamkeitsmechanismen, um Bildmerkmale mit abgerufenem Wissen zu kombinieren. Die Einführung der Transformer-Architektur im Jahr 2017, insbesondere des Multi-Head-Attention-Mechanismus, ermöglichte eine ausgefeiltere Fusion von visuellen und textuellen Informationen. Bis Ende der 2010er Jahre begannen Modelle wie LXMERT und VisualBERT, die auf Bild-Text-Paaren vortrainiert wurden, Wissensmodule zu integrieren, obwohl sie weiterhin mit offenem Domänenwissen zu kämpfen hatten, das nicht in den Trainingsdaten vorhanden war.
Zentrale Herausforderungen
KVQA stellt im Vergleich zum Standard-VQA mehrere besondere Herausforderungen. Erstens muss das System bestimmen, wann externes Wissen benötigt wird; viele Fragen können allein aus dem Bild beantwortet werden, und unnötiger Wissensabruf kann Rauschen einführen. Zweitens muss der Abrufprozess effizient und genau sein, was oft erfordert, dass das System eine große Wissensbasis in Echtzeit abfragt. Drittens erfordert die Integration von visuellen und wissensbasierten Beweisen anspruchsvolles Reasoning, da die Antwort von der Kombination mehrerer Fakten oder der Auflösung von Widersprüchen zwischen dem, was gesehen wird, und dem, was bekannt ist, abhängen kann.
Eine weitere bedeutende Herausforderung sind die Datenaugmentierung und die Annotationskosten. Die Erstellung von KVQA-Datensätzen erfordert die Paarung von Bildern mit Fragen, deren Antworten nicht im Bild enthalten sind, was manuelle Annotation und Kuratierung der Wissensbasis verlangt. Dies hat zur Verwendung halbautomatischer Pipelines geführt, die Fragen aus Wissensgraphen generieren, aber diese erzeugen oft vereinfachte oder unnatürliche Fragen. Infolgedessen werden viele KVQA-Modelle auf begrenzten Domänen wie berühmten Wahrzeichen oder Prominenten evaluiert, und ihre Leistung bei offenen Fragen bleibt begrenzt.
Moderne Ansätze
Mit dem Aufkommen von Large Language Models und multimodalen Modellen wie GPT-4V (von OpenAI) und Gemini (von Google DeepMind) hat KVQA einen Paradigmenwechsel erlebt. Diese Modelle, die oft auf Transformer-Architekturen mit Milliarden von Parametern basieren, werden auf massiven Korpora von Text und Bildern vortrainiert und kodieren implizit eine große Menge an Weltwissen. Dadurch können sie oft wissensbasierte visuelle Fragen ohne expliziten Abruf beantworten, indem sie das in ihren Parametern eingebettete Wissen nutzen. Dieser Ansatz, manchmal als „Closed-Book“-KVQA bezeichnet, hat beeindruckende Ergebnisse bei Benchmarks wie OK-VQA (Outside Knowledge VQA) gezeigt, das 2019 eingeführt wurde und externes Wissen erfordert.
Closed-Book-Modelle haben jedoch Einschränkungen, darunter Halluzination (das Erzeugen plausibler, aber falscher Antworten) und Schwierigkeiten mit seltenen oder aktuellen Fakten. Um dies zu adressieren, kombinieren hybride Ansätze parametrisches Wissen mit nicht-parametrischem Abruf, indem sie Techniken wie Cross-Attention verwenden, um abgerufene Wissensschnipsel mit visuellen Merkmalen zu fusionieren. Zum Beispiel verwenden Modelle wie REVEAL und KAT (Knowledge-Augmented Transformer) einen Retriever, um relevante Passagen aus einem Wissenskorpus abzurufen, und speisen sie dann in einen Transformer-basierten Generator. Diese Systeme verwenden oft Beam Search oder Top-p-Sampling während der Dekodierung, um Antworten zu erzeugen.
Die Integration von Wissensgraph-Einbettungen wurde ebenfalls untersucht, wobei das Modell lernt, über Graphenstrukturen zu reasoning. Zum Beispiel verwenden einige Arbeiten Graph Neural Networks, um Informationen von abgerufenen Entitäten zu propagieren und so mehrstufiges Reasoning zu ermöglichen. Diese Methoden sind besonders nützlich für Fragen, die die Kombination mehrerer Fakten erfordern, wie „Wer ist der Regisseur des Films, in dem dieser Schauspieler mitspielt?“
Evaluierung und Benchmarks
Standard-Benchmarks für KVQA umfassen FVQA, KVQA und OK-VQA. FVQA (2016) enthält etwa 2.000 Fragen mit einer Wissensbasis von 50.000 Fakten. KVQA (2018) hat über 18.000 Fragen über 1.800 berühmte Personen und Wahrzeichen, mit Antworten aus Freebase. OK-VQA (2019) ist größer, mit über 14.000 Fragen, die externes Wissen erfordern, bietet jedoch keine spezifische Wissensbasis, was es anspruchsvoller macht. Neuere Benchmarks wie A-OKVQA (2022) erweitern dies um Multiple-Choice- und offene Fragen und enthalten eine Wissensbasis aus Bildunterschriften und externen Fakten.
Evaluierungsmetriken umfassen typischerweise Genauigkeit (exakte Übereinstimmung oder Multiple-Choice-Korrektheit) und, für generative Modelle, Metriken wie CIDEr oder BLEU. Diese Metriken erfassen jedoch oft nicht die Reasoning-Qualität, und es gibt eine anhaltende Debatte darüber, ob Modelle wirklich reasoning oder einfach Muster auswendig lernen. Einige Forscher haben diagnostische Datensätze vorgeschlagen, die spezifische Reasoning-Fähigkeiten testen, wie kompositionelle Fragen oder adversarial Beispiele, die Wissen erfordern, das nicht in der Trainingsverteilung enthalten ist.
Anwendungen und zukünftige Richtungen
KVQA hat praktische Anwendungen in Bereichen wie Assistenztechnologie (Hilfe für sehbehinderte Nutzer, ihre Umgebung zu verstehen), Bildung (Beantwortung von Fragen zu historischen Bildern oder wissenschaftlichen Diagrammen) und E-Commerce (Bereitstellung von Produktinformationen basierend auf Bildern). Im medizinischen Bereich könnte KVQA Radiologen unterstützen, indem es Fragen zu Scans beantwortet, die Wissen über Anatomie oder Krankheiten erfordern, obwohl dies ein aktives Forschungsgebiet bleibt.
Zukünftige Richtungen umfassen die Verbesserung der Zuverlässigkeit des Wissensabrufs, die Reduzierung von Halluzinationen in generativen Modellen und die Entwicklung von Benchmarks, die die Komplexität der realen Welt besser widerspiegeln. Es gibt auch Interesse daran, KVQA-Modelle interpretierbarer zu machen, sodass Benutzer sehen können, welche Fakten zur Ableitung einer Antwort verwendet wurden. Da generative KI weiter voranschreitet, wird KVQA wahrscheinlich zu einem Standardbestandteil multimodaler Assistenten werden, die eine breite Palette visueller Fragen mit Weltwissen beantworten können.
Siehe auch
- Visuelles Fragenbeantworten
- Wissensgraph
- multimodales Lernen
- Retrieval-augmentierte Generierung