Visual Genome ist ein groß angelegter Datensatz, der darauf ausgelegt ist, visuelles Verständnis mit natürlicher Sprache zu verbinden. Er enthält über 108.000 Bilder, die jeweils mit einer dichten Sammlung von Regionsbeschreibungen, Objekten, Attributen und Beziehungen annotiert sind. Der Datensatz wurde erstellt, um maschinellen Lernmodellen zu ermöglichen, über die komplexen Interaktionen zwischen Objekten in einem Bild zu reasoning, und geht damit über die einfache Objekterkennung hinaus hin zu einem umfassenderen Szenenverständnis. Er wurde 2016 von Forschern der Stanford University und der University of Toronto eingeführt, darunter Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein und Li Fei-Fei.
Das Hauptziel von Visual Genome ist es, eine Ressource bereitzustellen, die die Entwicklung von Systemen der künstlichen Intelligenz unterstützt, die in der Lage sind, Fragen über Bilder zu beantworten, beschreibende Bildunterschriften zu generieren und visuelles Reasoning durchzuführen. Im Gegensatz zu Datensätzen, die sich auf die Klassifizierung einzelner Objekte oder einfache Bildunterschriften konzentrieren, bietet Visual Genome eine strukturierte Darstellung des Inhalts eines Bildes. Jedes Bild ist mit durchschnittlich 35 Objekten, 26 Attributen und 21 paarweisen Beziehungen zwischen Objekten annotiert. Diese Annotationen sind in einem Szenengraphen organisiert, einem gerichteten Graphen, in dem Knoten Objekte und Kanten Beziehungen wie „reitet“, „trägt“ oder „neben“ darstellen. Diese Struktur ermöglicht es Algorithmen, ein Bild in eine semantische Darstellung zu parsen, die abgefragt und manipuliert werden kann.
Datenstruktur und Annotationsprozess
Der Datensatz umfasst mehrere Schlüsselkomponenten: Regionsbeschreibungen, Objekte, Attribute, Beziehungen und Frage-Antwort-Paare. Regionsbeschreibungen sind kurze, natürlichsprachliche Sätze, die einen bestimmten Bereich eines Bildes beschreiben. Objekte sind beschriftete Begrenzungsrahmen mit entsprechenden Namen, während Attribute Eigenschaften wie Farbe, Größe oder Form beschreiben. Beziehungen verbinden zwei Objekte mit einem Prädikat, wie „Mann hält Surfbrett“. Darüber hinaus enthält Visual Genome über 1,7 Millionen Frage-Antwort-Paare, die für das Training von Systemen zur visuellen Beantwortung von Fragen verwendet werden. Der Annotationsprozess umfasste Crowdworker, die detaillierte Anweisungen erhielten, um Konsistenz zu gewährleisten. Jedes Bild wurde von mehreren Arbeitern annotiert, und die Ergebnisse wurden aggregiert und gefiltert, um die Qualität zu erhalten. Der Datensatz enthält auch eine Reihe von 80.000 Bildern mit Regionsgraphen, die dichter verbunden sind und eine reichhaltigere Quelle für das Training komplexer Modelle bieten.
Anwendungen im maschinellen Lernen
Visual Genome ist zu einem Standard-Benchmark für Aufgaben in der Computer Vision und im maschinellen Lernen geworden. Es wird häufig für das Training und die Bewertung von Modellen zur Szenengraphen-Generierung verwendet, bei denen das Ziel darin besteht, die Objekte und ihre Beziehungen aus einem Bild vorherzusagen. Es unterstützt auch die visuelle Beantwortung von Fragen, die Bildunterschriftenerstellung und das Verständnis referierender Ausdrücke, bei dem ein Modell ein Objekt lokalisieren muss, das durch eine natürlichsprachliche Phrase beschrieben wird. Die strukturierten Annotationen des Datensatzes waren maßgeblich für die Förderung der Forschung an neuronalen Netzwerk-Architekturen, die visuelle und textuelle Informationen kombinieren, wie Transformer-basierte Modelle. Beispielsweise wurden Modelle wie der Visual Transformer und verschiedene von großen Sprachmodellen geleitete Vision-Systeme auf Visual Genome trainiert, um ihre Fähigkeit zu verbessern, Sprache im visuellen Inhalt zu verankern. Forscher haben den Datensatz auch verwendet, um kompositionelle Generalisierung zu untersuchen, bei der Modelle neuartige Kombinationen bekannter Objekte und Beziehungen verstehen müssen.
Auswirkungen und Einschränkungen
Seit seiner Veröffentlichung hat Visual Genome die Gestaltung nachfolgender Datensätze beeinflusst, wie den Open Images Datensatz und die erweiterten Annotationen des COCO-Datensatzes. Es wurde auch in Verbindung mit anderen Ressourcen verwendet, um umfassendere Benchmarks für verkörperte KI und Robotik zu erstellen, bei denen Agenten visuelle Szenen interpretieren müssen, um in der Welt zu handeln. Der Datensatz hat jedoch bekannte Einschränkungen. Die Annotationen sind auf häufige Objekte und alltägliche Szenen ausgerichtet, was zu Modellen führen kann, die bei seltenen oder ungewöhnlichen Objekten schlecht abschneiden. Die Crowdsourcing-Natur der Annotationen führt zu Rauschen, und einige Beziehungen können mehrdeutig oder inkonsistent beschriftet sein. Darüber hinaus ist der Datensatz statisch und spiegelt nicht die Vielfalt realer Umgebungen wider, wie Innenräume mit vielen verdeckten Objekten oder Außenszenen mit wechselnden Lichtverhältnissen. Forscher haben diese Probleme angegangen, indem sie Methoden zur Bereinigung der Daten entwickelt oder sie mit synthetischen Daten aus Simulationen kombiniert haben.
Beziehung zu anderen KI-Ressourcen
Visual Genome ist Teil eines breiteren Ökosystems von Datensätzen und Modellen, die Fortschritte im Deep Learning vorangetrieben haben. Es ergänzt Datensätze wie ImageNet, das sich auf Objektklassifizierung konzentriert, und MS COCO, das Instanzsegmentierung und Bildunterschriften bietet. Die von Visual Genome eingeführte Szenengraphen-Darstellung wurde von anderen Projekten übernommen, wie dem Scene Graph Benchmark und dem GQA-Datensatz, der sich auf visuelles Reasoning mit komplexeren Fragen konzentriert. Im Kontext moderner KI wurde Visual Genome verwendet, um Vision-Language-Modelle vorzutrainieren, die dann für spezifische Aufgaben feinabgestimmt werden. Diese Modelle, die oft auf Transformer-Architekturen basieren, wurden von Organisationen wie Google DeepMind, OpenAI und Anthropic entwickelt, obwohl Visual Genome selbst eine akademische Ressource und kein kommerzielles Produkt ist. Der Datensatz ist für Forschungszwecke frei verfügbar und wird auf einer eigenen Website gehostet, mit Werkzeugen zum Herunterladen und Visualisieren der Annotationen.
Zukünftige Richtungen
Mitte der 2020er Jahre hat sich das Feld in Richtung größerer, vielfältigerer Datensätze und multimodaler Modelle bewegt, die Video, Audio und Text neben Bildern verarbeiten können. Visual Genome bleibt eine wertvolle Ressource für das Verständnis der Prinzipien dichter Annotation und Szenengraphen-Konstruktion. Forscher verwenden es weiterhin, um neue Algorithmen für Few-Shot-Lernen zu entwickeln, bei denen Modelle aus einer kleinen Anzahl von Beispielen generalisieren müssen, und für Zero-Shot-Reasoning, bei dem Modelle ungesehene Kategorien behandeln. Der Schwerpunkt des Datensatzes auf Beziehungen und Attributen hat auch Arbeiten zum kausalen Reasoning in der Vision inspiriert, bei dem Modelle nicht nur ableiten müssen, was vorhanden ist, sondern auch, warum bestimmte Objekte interagieren. Während neuere Datensätze mehr Skalierung oder Vielfalt bieten mögen, bieten die detaillierten Annotationen von Visual Genome eine einzigartige Grundlage für die Untersuchung der kompositionellen Natur visueller Szenen, eine Herausforderung, die zentral für das Erreichen menschlicher visueller Intelligenz bleibt.