VQA 3.0 ist die dritte große Iteration eines Systems zur visuellen Fragenbeantwortung (VQA), einer Klasse von Künstliche-Intelligenz-Modellen, die ein Bild und eine natürlichsprachliche Frage als Eingabe akzeptieren und eine textuelle Antwort erzeugen. VQA 3.0 wurde 2023 veröffentlicht und baut auf seinen Vorgängern auf, indem es ein Großsprachmodell mit einem Vision-Encoder integriert. Dadurch kann es offene Fragen bearbeiten, die Reasoning, gesunden Menschenverstand und ein detailliertes Szenenverständnis erfordern, anstatt sich auf einen festen Satz möglicher Antworten zu verlassen. Das System ist für Anwendungen konzipiert, die von assistiver Technologie für sehbehinderte Nutzer bis hin zur automatisierten Bildanalyse in Bereichen wie Medizin und Robotik reichen.
Die Entwicklung von VQA 3.0 wurde von einem Forschungsteam bei Google DeepMind geleitet, mit Beiträgen von Kooperationspartnern an der Universität Toronto und dem Stanford AI Lab. Das Projekt wurde Anfang 2023 in einem technischen Bericht angekündigt, und die Architektur sowie die Trainingsmethodik des Modells wurden in einem Papier detailliert beschrieben, das später im Jahr auf einer großen Computer-Vision-Konferenz präsentiert wurde. Das System basiert auf einer Transformer-Architektur, verwendet einen Multi-Head-Attention-Mechanismus, um visuelle Merkmale mit textuellen Token abzugleichen, und nutzt ein Sequenz-zu-Sequenz-Framework, bei dem das Eingabebild kodiert und die Frage in eine Antwort dekodiert wird.
Architektur und Training
VQA 3.0 verwendet ein Dual-Encoder-Design. Der Vision-Encoder, eine Residual-Netzwerk-Variante mit 21 Schichten, verarbeitet das Eingabebild in ein Gitter von Merkmalsvektoren. Diese Merkmale werden dann in den Einbettungsraum des Sprachmodells projiziert, das ein 12-schichtiger Decoder-only-Transformer mit 7 Milliarden Parametern ist. Das Modell wird in zwei Phasen trainiert: Zuerst eine Vortrainingsphase auf einem großen Korpus von Bild-Text-Paaren aus dem Web, und zweitens eine Feinabstimmungsphase auf kuratierten VQA-Datensätzen wie VQA v2 und Visual Genome. Während der Feinabstimmung wird das Modell mit einer Kreuzentropie-Verlustfunktion unter Verwendung eines Kosinus-Lernratenplans und des Adam-Optimierers optimiert. Das Training nutzte 256 TPU-v4-Chips für etwa zwei Wochen und verarbeitete über 100 Millionen Bild-Frage-Antwort-Tripel.
Fähigkeiten und Benchmarks
VQA 3.0 erzielt auf mehreren Standard-Benchmarks Spitzenergebnisse. Auf dem VQA-v2-Test-Dev-Split erreicht es eine Genauigkeit von 78,4 % und übertrifft das bisher beste Modell um 3,2 Prozentpunkte. Auf dem GQA-Datensatz, der kompositionelles Reasoning testet, erzielt es 63,1 %, und auf dem VizWiz-Benchmark, der für Fragen von blinden Nutzern entwickelt wurde, erreicht es 71,8 %. Das Modell ist besonders stark beim Zählen von Objekten, räumlichem Reasoning und der Beantwortung von Fragen, die externes Wissen erfordern, wie zum Beispiel „Welche Tierart ist das?“, wenn das Bild eine seltene Spezies zeigt. In einer Human-Evaluierungsstudie wurden 87 % der von VQA 3.0 generierten Antworten von Annotatoren als genau und flüssig bewertet, verglichen mit 79 % für die vorherige Version.
Einschränkungen und ethische Überlegungen
Trotz seiner Leistung hat VQA 3.0 bekannte Einschränkungen. Es kann anfällig für adversariale Störungen sein, wie kleine Änderungen in Beleuchtung oder Objektorientierung, und es erzeugt manchmal plausible, aber falsche Antworten, wenn die Frage mehrdeutig ist. Das Modell übernimmt auch Verzerrungen aus seinen Trainingsdaten und zeigt eine geringere Genauigkeit bei Bildern von Menschen aus unterrepräsentierten demografischen Gruppen. Die Entwickler haben eine Modellkarte veröffentlicht, die diese Probleme dokumentiert, und empfehlen, dass Bereitstellungen für risikoreiche Anwendungen eine menschliche Aufsicht umfassen. Als Reaktion darauf hat das Team ein Toolkit zur Bewertung von Verzerrungen veröffentlicht und sich zu regelmäßigen Audits der Leistung des Modells über verschiedene Bevölkerungssegmente hinweg verpflichtet.
Bereitstellung und Auswirkungen
VQA 3.0 ist über die Google Cloud-Plattform Vertex AI als verwaltete API verfügbar, sodass Entwickler visuelle Fragenbeantwortung mit einem einfachen REST-Aufruf in ihre Anwendungen integrieren können. Es wurde von mehreren Organisationen übernommen, darunter Samsung Electronics für Barrierefreiheitsfunktionen in ihren Smartphones und Intuitive Surgical zur Unterstützung von Chirurgen bei der Interpretation intraoperativer Bilder. Das Modell wurde auch in Forschungsumgebungen verwendet, wie etwa bei Bhabha Atomic Research zur Analyse von Satellitenbildern. Die Veröffentlichung von VQA 3.0 hat weitere Forschung an multimodalen Modellen angeregt, und seine Architektur hat nachfolgende Systeme wie VQA 4.0 beeinflusst, das einen größeren Vision-Encoder und ein Sprachmodell mit Mixture-of-Experts integriert.
Zukünftige Richtungen
Das VQA-3.0-Team hat mehrere Bereiche für zukünftige Arbeiten skizziert. Eine Richtung ist die Verbesserung der Fähigkeit des Modells, Videos zu verarbeiten, indem das aktuelle Einzelbild-Framework auf zeitliche Sequenzen erweitert wird. Eine andere ist die Verbesserung der Interpretierbarkeit, indem Aufmerksamkeitskarten verwendet werden, um zu zeigen, auf welche Teile des Bildes sich das Modell bei der Generierung einer Antwort konzentriert. Das Team erforscht auch Möglichkeiten, den CO2-Fußabdruck des Modells durch effizientere Trainingstechniken wie Modell-Pruning und Datenaugmentierung zu reduzieren. Ab 2024 ist ein Nachfolgemodell, VQA 3.5, in Entwicklung, mit einem Fokus auf Few-Shot-Lernen und besserer Handhabung abstrakter Konzepte.