Open Images ist ein von Google erstellter Datensatz im großen Maßstab für die Forschung im Bereich Computer Vision. Er enthält Millionen von Bildern, die mit einer Vielzahl von Labels und Metadaten annotiert sind und dazu dienen, Modelle des maschinellen Lernens zu trainieren und zu evaluieren. Der Datensatz zeichnet sich durch seinen Umfang und seine Vielfalt aus, die eine breite Palette alltäglicher Objekte und Szenen abdeckt, wobei die Annotationen Bild-Level-Labels, Objekt-Bounding-Boxes und visuelle Beziehungstripletts umfassen.
Die erste Version von Open Images wurde 2016 veröffentlicht und enthielt etwa 9 Millionen Bilder mit Bild-Level-Labels in fast 6.000 Kategorien. Spätere Versionen erweiterten den Datensatz auf mehr als 30 Millionen Bilder, mit über 15 Millionen Bounding-Boxes, die Objekte in mehr als 600 Klassen abgrenzen. Die Annotationen wurden durch eine Kombination aus automatisierten Methoden und menschlicher Verifikation erstellt, was Googles Investition in eine Dateninfrastruktur im großen Maßstab zur Förderung der Fähigkeiten von künstlicher Intelligenz widerspiegelt.
Datenstruktur
Open Images ist so strukturiert, dass es mehrere Aufgaben im Bereich Computer Vision unterstützt. Die Kernkomponenten sind die Bildsammlung, Bild-Level-Labels, die das Vorhandensein von Objekten oder Konzepten anzeigen, sowie lokalisierte Annotationen wie Bounding-Boxes und Segmentierungsmasken. Für jedes Bild liefert der Datensatz eine eindeutige Kennung, die ursprüngliche URL und Metadaten wie die vorhergesagte Konfidenz der Labels. Die Bounding-Box-Annotationen werden in einem standardisierten Format bereitgestellt, das die Koordinaten relativ zu den Bildabmessungen sowie ein Label für die Objektklasse auflistet.
Darüber hinaus enthält der Datensatz eine Reihe visueller Beziehungsannotationen, die Interaktionen zwischen Objekten beschreiben, wie zum Beispiel „Person reitet Pferd“ oder „Hund jagt Ball“. Diese Beziehungen sind als Subjekt-Prädikat-Objekt-Tripletts formatiert. Diese reichhaltigere Annotationsebene ermöglicht Forschung zu relationalem Denken und Szenenverständnis, die aktive Bereiche innerhalb der visuellen Erkennung und der Forschung zu tiefem Lernen sind.
Annotationsmethodik
Die Erstellung von Open Images basierte auf einer halbautomatischen Pipeline, die maschinell generierte Kandidaten mit menschlicher Kuratierung kombinierte. Googles interne Systeme generierten zunächst verrauschte Label-Kandidaten mithilfe vorhandener Bildklassifikatoren und Web-Scale-Data-Mining. Diese Kandidaten wurden dann über Crowdsourcing-Plattformen menschlichen Annotatoren präsentiert, die die Labels verifizierten oder korrigierten und die Bounding-Boxes verfeinerten. Dieser hybride Ansatz ermöglichte es, den Datensatz auf Millionen von Bildern zu skalieren, während gleichzeitig eine Qualität aufrechterhalten wurde, die für das Training moderner neuronaler Netze geeignet ist.
Für Bounding-Boxes wurden die Annotatoren angewiesen, die engstmögliche Box um jede sichtbare Instanz einer Zielklasse zu zeichnen. Die endgültigen Annotationen wurden durch eine Reihe von Qualitätsprüfungen validiert, einschließlich einer Übereinstimmungsanalyse zwischen mehreren Annotatoren bei einer Teilmenge von Bildern. Infolgedessen ist der Datensatz zu einem Benchmark für sowohl Einzel-Label- als auch Multi-Label-Klassifikation sowie für Objekterkennung geworden.
Auswirkungen auf die Forschung
Open Images wurde von akademischen und industriellen Forschungsgruppen weit verbreitet genutzt. Er diente als Grundlage für mehrere öffentliche Benchmark-Herausforderungen, einschließlich der Open Images Challenge auf Kaggle, die 2018 und 2019 stattfand. Diese Herausforderungen zogen Hunderte von teilnehmenden Teams an und trieben den Stand der Technik in der Objekterkennung und der Erkennung visueller Beziehungen voran. Der Datensatz wurde in Tausenden von Forschungsarbeiten zitiert und beeinflusste Ansätze zum Training von neuronalen Netzen im großen Maßstab und zum Transferlernen.
Die Verfügbarkeit eines großen und vielfältigen annotierten Datensatzes unterstützte auch die Entwicklung von generativer KI-Systemen, die eine Verankerung in realen visuellen Konzepten erfordern. Auf Open Images vortrainierte Modelle wurden für nachgelagerte Aufgaben wie Bildunterschriftenerstellung, visuelle Fragenbeantwortung und Wahrnehmung für autonomes Fahren verwendet. Der Datensatz ergänzt andere Ressourcen wie ImageNet und COCO und bietet eine breitere Palette von Klassen und eine realistischere Verteilung alltäglicher Bilder.
Versionen und Verfügbarkeit
Google veröffentlichte mehrere Versionen von Open Images unter einer Creative-Commons-Lizenz, wodurch er frei für Forschung und kommerzielle Nutzung verfügbar ist. Version 4, die 2018 eingeführt wurde, fügte die visuellen Beziehungsannotationen hinzu und erweiterte die Anzahl der Bilder auf über 9 Millionen mit 30 Millionen Box-Level-Annotationen. Version 5, die 2019 veröffentlicht wurde, erhöhte die Anzahl der Bounding-Box-Klassen auf 600 und fügte Segmentierungsmasken für eine Teilmenge von Bildern hinzu. Der Datensatz ist über Googles Speicherinfrastruktur zugänglich und kann auch über ein interaktives Visualisierungstool auf der offiziellen Website erkundet werden.
Alle Dateien werden im CSV-Format bereitgestellt, mit separaten Dateien für jeden Annotationstyp. Der Datensatz hat ein begleitendes Papier, das erstmals auf der Conference on Computer Vision and Pattern Recognition 2017 vorgestellt wurde und seine Konstruktion und Statistiken detailliert beschreibt. Das Projekt wurde vom Google-Research-Team gepflegt, mit Aktualisierungen, die durch Community-Feedback und interne Forschungsbedürfnisse vorangetrieben wurden. Stand 2025 bleibt der Datensatz ein Standardreferenzpunkt für Benchmarks zur visuellen Erkennung im großen Maßstab.
Einschränkungen und zukünftige Richtungen
Trotz seines Umfangs hat Open Images inhärente Einschränkungen. Die Bild-Level-Labels basieren auf maschinell generierten Vorhersagen und können Rauschen enthalten, und die Klassenverteilung ist zugunsten häufiger Objekte in Web-Bildern verzerrt. Die Annotationen konzentrieren sich hauptsächlich auf das Vorhandensein von Objekten und grobe Beziehungen und entbehren der feinkörnigen Attribute oder detaillierten Szenengraphen, die in einigen kleineren Datensätzen verfügbar sind. Forscher ergänzen Open Images oft mit anderen Quellen oder wenden Domänenanpassungstechniken an, wenn sie an spezialisierten Aufgaben arbeiten.
Zukünftige Richtungen für den Datensatz könnten umfangreichere Videoannotationen, reichhaltigere Beziehungstypen oder die Einbeziehung multimodaler Daten wie Textbeschreibungen umfassen. Der Erfolg von Open Images hat ähnliche Bemühungen zur Datensammlung im großen Maßstab inspiriert, einschließlich derer von Amazon AI und anderen Cloud-Anbietern, was einen breiteren Trend widerspiegelt, massive annotierte Korpora zugänglich zu machen, um Fortschritte in der künstlichen Intelligenz zu beschleunigen.