OK-VQA (Outside Knowledge Visual Question Answering) ist ein Benchmark-Datensatz zur Bewertung von Systemen für visuelle Fragenbeantwortung (VQA). Im Gegensatz zu früheren VQA-Datensätzen, die sich auf Fragen konzentrieren, die allein anhand des Bildes beantwortet werden können, erfordert OK-VQA speziell, dass Modelle externes Wissen über Objekte, Szenen und alltägliche Konzepte einbeziehen, um korrekte Antworten zu erzeugen. Der Datensatz wurde 2019 von Forschern des Georgia Institute of Technology eingeführt, darunter Kenneth Marino, Mohammad Rastegari, Ali Farhadi und Roozbeh Mottaghi, und ist seitdem zu einem Standard-Testfeld für die Untersuchung wissensangereicherter Vision-Language-Modelle geworden.
Der Benchmark umfasst 14.031 Fragen, die mit 14.031 Bildern gepaart sind, wobei jedes Bild genau eine Frage hat. Die Fragen sind so gestaltet, dass sie eindeutig sind und externes Wissen erfordern, das visuell nicht vorhanden ist. Beispielsweise könnte eine Frage lauten: „Welche Art von Tier ist das?“, wenn das Bild eine teilweise verdeckte Kreatur zeigt, oder „Was ist der Zweck dieses Werkzeugs?“ für ein unbekanntes Objekt. Der Datensatz deckt eine breite Palette von Wissensdomänen ab, darunter Lebensmittel, Tiere, Fahrzeuge, Sport und Haushaltsgegenstände, was Vielfalt gewährleistet und Modelle herausfordert, über reale Kontexte zu reasoning.
Konstruktion und Annotation
OK-VQA wurde durch Crowdsourcing von Fragen von Amazon-Mechanical-Turk-Arbeitern erstellt. Der Annotationsprozess umfasste, Arbeitern ein Bild zu zeigen und sie zu bitten, eine Frage zu generieren, die nicht allein durch das Betrachten des Bildes beantwortet werden konnte, sondern Allgemeinwissen oder Faktenwissen erforderte. Um die Qualität zu gewährleisten, wurde jede Frage von mehreren Annotatoren validiert, und nur solche mit hoher Übereinstimmung zwischen den Annotatoren wurden beibehalten. Der endgültige Datensatz wurde dann in Trainings- (9.009 Fragen), Validierungs- (2.016 Fragen) und Testsets (3.006 Fragen) aufgeteilt. Das Testset wird für die offizielle Bewertung über einen Online-Server verwendet, wobei Genauigkeit die primäre Metrik ist.
Bewertung und Metriken
Die Standard-Bewertungsmetrik für OK-VQA ist die Exakt-Übereinstimmungs-Genauigkeit, bei der die vorhergesagte Antwort eines Modells als korrekt gilt, wenn sie exakt mit einer der Ground-Truth-Antworten übereinstimmt. Jede Frage hat 10 Ground-Truth-Antworten, die von verschiedenen Annotatoren bereitgestellt werden, und eine Vorhersage wird als korrekt bewertet, wenn sie mit einer davon übereinstimmt. Dieser Ansatz berücksichtigt die Variabilität in der Formulierung menschlicher Antworten. Modelle werden typischerweise auf dem Testset bewertet, aber Forscher verwenden oft das Validierungsset für die Entwicklung und Hyperparameter-Abstimmung.
Herausforderungen und Einschränkungen
OK-VQA stellt mehrere Herausforderungen für KI-Systeme dar. Erstens erfordert es die Integration visueller Informationen mit einer breiten Basis an Weltwissen, was für Modelle, die hauptsächlich auf Bild-Text-Paaren trainiert wurden, schwierig ist. Zweitens sind viele Fragen mehrdeutig oder erfordern Reasoning über impliziten Kontext, wie das Verständnis kultureller Praktiken oder physikalischer Eigenschaften. Drittens wurde der Datensatz dafür kritisiert, dass er trotz der Designabsicht einige Fragen enthält, die allein anhand des Bildes beantwortet werden können, und dass er im Vergleich zu anderen VQA-Benchmarks relativ klein ist. Darüber hinaus kann die Exakt-Übereinstimmungs-Metrik hart sein und semantisch korrekte, aber anders formulierte Antworten bestrafen.
Auswirkungen und Nutzung
OK-VQA ist zu einem weit verbreiteten Benchmark in den Bereichen Machine learning und Computer Vision geworden. Es wurde von Forschern übernommen, um Modelle zu bewerten, die visuelle Encoder mit Large Language Models kombinieren, wobei häufig Techniken wie Cross-Attention verwendet werden, um Bild- und Textrepräsentationen zu fusionieren. Viele moderne Vision-Language-Modelle, einschließlich solcher, die auf Transformer-Architekturen basieren, berichten über ihre Leistung auf OK-VQA als Schlüsselindikator für ihre Fähigkeit, wissensbasiertes Reasoning durchzuführen. Der Datensatz hat auch die Entwicklung spezialisierter Methoden für Wissensabruf und -integration angeregt, wie die Einbeziehung externer Wissensbasen oder die Verwendung von Data-Augmentation-Techniken zur Verbesserung der Generalisierung.
Verwandte Benchmarks
OK-VQA ist Teil einer breiteren Familie von VQA-Benchmarks. Der ursprüngliche VQA-Datensatz, der 2015 eingeführt wurde, konzentriert sich auf Fragen, die anhand des Bildinhalts beantwortet werden können. Andere verwandte Benchmarks umfassen Visual Genome, das Beziehungen und Attribute betont, und GQA, das kompositionelles Reasoning testet. Neuere Benchmarks wie A-OKVQA erweitern OK-VQA, indem sie zusätzliche Antwortoptionen und Begründungsannotationen bereitstellen. OK-VQA bleibt durch seinen expliziten Fokus auf externes Wissen einzigartig und stellt eine besondere Ressource für die Untersuchung der Schnittstelle von Wahrnehmung und Reasoning in der KI dar.