Open Images ist ein groß angelegter Datensatz, der entwickelt wurde, um die Forschung in den Bereichen Computer Vision und maschinelles Lernen voranzutreiben. Er bietet eine umfangreiche Sammlung von Bildern, die mit einer Vielzahl von Labels, Objekt-Bounding-Boxen und Informationen zu visuellen Beziehungen annotiert sind. Der Datensatz wird häufig zum Trainieren und Evaluieren von Modellen in Aufgaben wie Objekterkennung, Bildklassifikation und Verständnis visueller Beziehungen verwendet. Seine Größe und Vielfalt machen ihn zu einer grundlegenden Ressource auf dem Gebiet der künstlichen Intelligenz und des Deep Learnings.
Open Images wurde 2016 von Google eingeführt und hat mehrere große Versionen durchlaufen. Der Datensatz zeichnet sich durch seine Größe aus, mit über 9 Millionen Bildern in seiner vollständigen Version und Annotationen, die Tausende von Objektklassen abdecken. Die Annotationen stammen aus einer Kombination von automatisierten Methoden und menschlicher Verifikation, wodurch ein Gleichgewicht zwischen Umfang und Qualität gewährleistet wird. Der Datensatz umfasst einen Trainings-Split, einen Validierungs-Split und einen Test-Split, was eine standardisierte Bewertung von Modellen ermöglicht.
Datenstruktur und Annotationen
Der Open-Images-Datensatz bietet mehrere Arten von Annotationen. Die primäre Annotation sind bildbezogene Labels, bei denen jedem Bild eine Reihe von Klassenlabels zugeordnet ist, die das Vorhandensein bestimmter Objekte oder Konzepte anzeigen. Darüber hinaus enthält der Datensatz Bounding-Boxen für Objekte, die achsenparallele Rechtecke sind und Objektinstanzen innerhalb eines Bildes lokalisieren. Diese Bounding-Boxen werden für eine Teilmenge der Bilder bereitgestellt, was Aufgaben wie die Objekterkennung ermöglicht. Weiterhin umfasst der Datensatz Annotationen zu visuellen Beziehungen, die paarweise Beziehungen zwischen Objekten beschreiben, wie „Hund auf Skateboard“ oder „Person hält Regenschirm“. Diese Beziehungen sind als Subjekt-Prädikat-Objekt-Tripel strukturiert, was die Forschung im Bereich des Szenenverständnisses erleichtert.
Die Annotationen sind in einer hierarchischen Taxonomie von Klassen organisiert, was eine grobe bis feine Kategorisierung ermöglicht. Der Datensatz enthält auch eine Reihe von „negativen“ Labels, die anzeigen, dass eine bestimmte Klasse in einem Bild nicht vorhanden ist, was für das Training von Klassifikatoren mit negativen Beispielen nützlich ist. Die Bounding-Boxen werden in einem normalisierten Format bereitgestellt, mit Koordinaten relativ zu den Bilddimensionen, was ihre Verwendung mit standardmäßigen Deep-Learning-Frameworks erleichtert.
Versionen und Entwicklung
Open Images wurde in mehreren Versionen veröffentlicht. Die ursprüngliche Veröffentlichung im Jahr 2016 umfasste etwa 9 Millionen Bilder mit bildbezogenen Labels. Eine spätere Version, Open Images v4, erweiterte den Datensatz auf 30 Millionen bildbezogene Labels über 19.957 Klassen und fügte 1,74 Millionen Bounding-Boxen für 600 Klassen hinzu. Die neueste Hauptversion, Open Images v6, erhöhte die Anzahl der Bounding-Boxen auf über 12 Millionen für 600 Klassen und fügte Annotationen zu visuellen Beziehungen hinzu. Jede Version wurde von einem detaillierten Papier begleitet, das die Konstruktion und Statistik des Datensatzes beschreibt.
Der Datensatz wurde mit einem Fokus auf Vielfalt kuratiert, einschließlich Bildern aus verschiedenen Quellen und Domänen. Die Bilder stammen von Flickr und sind unter einer Creative-Commons-Lizenz lizenziert, was die rechtliche Nutzung für Forschungszwecke gewährleistet. Der Annotationsprozess umfasste eine Kombination aus maschinellen Lernmodellen und menschlichen Annotatoren, mit einem Qualitätskontrollmechanismus zur Sicherstellung der Genauigkeit.
Verwendung in Forschung und Industrie
Open Images ist zu einem Standard-Benchmark in der Computer Vision geworden. Er wird häufig zum Trainieren von Objekterkennungsmodellen verwendet, wie solchen, die auf Residual-Netzwerk-Architekturen basieren, und zur Bewertung ihrer Leistung. Die große Skala und die vielfältigen Annotationen des Datensatzes machen ihn geeignet für das Training von Modellen mit Millionen von Parametern, wobei Techniken wie Batch-Normalisierung und Datenaugmentierung genutzt werden. Forscher haben Open Images verwendet, um Modelle zu entwickeln, die gut auf andere Datensätze wie COCO generalisieren, aufgrund der Vielfalt an Objekten und Szenen.
In der Industrie wird Open Images von Unternehmen genutzt, um Vision-Systeme für Anwendungen wie autonomes Fahren, Robotik und Inhaltsmoderation zu entwickeln. Beispielsweise haben Waymo und Tesla Autopilot Wahrnehmungssysteme entwickelt, die von groß angelegten Datensätzen profitieren, obwohl sie oft auch proprietäre Daten verwenden. Der Datensatz wird auch in der akademischen Forschung an Institutionen wie Stanford AI Lab und MIT CSAIL verwendet, um neue Methoden im maschinellen Lernen zu erforschen.
Herausforderungen und Einschränkungen
Trotz seiner Größe hat Open Images bestimmte Einschränkungen. Die Annotationen sind nicht erschöpfend; viele Objekte in Bildern können unmarkiert sein, was während des Trainings zu falschen Negativen führen kann. Die Bounding-Boxen werden nur für eine Teilmenge von Klassen bereitgestellt, und die Annotationen zu visuellen Beziehungen sind spärlich. Darüber hinaus ist der Datensatz auf Objekte und Szenen ausgerichtet, die häufig auf Flickr vorkommen, was möglicherweise nicht alle realen Verteilungen repräsentiert. Forscher müssen Open Images oft mit anderen Datensätzen kombinieren oder Techniken wie Curriculum-Lernen verwenden, um diese Probleme zu adressieren.
Eine weitere Herausforderung sind die Rechenkosten für das Training auf einem so großen Datensatz. Modelle benötigen erhebliche Ressourcen, oft unter Verwendung spezialisierter Hardware wie AWS Trainium oder Google Cloud TPUs. Die Größe des Datensatzes stellt auch Speicher- und I/O-Herausforderungen dar, die durch effiziente Datenlade-Pipelines und Modell-Pruning-Techniken zur Reduzierung der Modellgröße gemildert werden.
Auswirkungen und zukünftige Richtungen
Open Images hatte einen erheblichen Einfluss auf das Gebiet der Computer Vision und ermöglichte die Entwicklung genauerer und robusterer Modelle. Er wurde in Tausenden von Forschungsarbeiten zitiert und hat das Design nachfolgender Datensätze beeinflusst. Der Datensatz wird weiterhin gepflegt, mit regelmäßigen Aktualisierungen, die neue Annotationen und Klassen umfassen. Zukünftige Richtungen könnten die Erweiterung des Datensatzes um Videodaten oder feinere Annotationen wie Segmentierungsmasken umfassen. Mit dem Wachstum des generativen KI-Bereichs könnte Open Images auch zum Trainieren von Modellen verwendet werden, die Bilder generieren oder bearbeiten, obwohl solche Anwendungen eine sorgfältige Berücksichtigung ethischer Implikationen erfordern.
Insgesamt bleibt Open Images eine Eckpfeiler-Ressource für die Computer-Vision-Forschung und bietet eine reichhaltige und vielfältige Sammlung von Bildern, die die Grenzen dessen erweitert, was Modelle des maschinellen Lernens erreichen können.