ImageNet ist eine groß angelegte visuelle Datenbank, die für die Forschung in der Software zur visuellen Objekterkennung entwickelt wurde. Das Projekt umfasst mehr als 14 Millionen manuell annotierte Bilder, die die abgebildeten Objekte kennzeichnen, wobei mindestens eine Million Bilder auch Begrenzungsrahmen bereitstellen. Es enthält mehr als 20.000 Kategorien, die jeweils typischerweise aus mehreren hundert Bildern bestehen. Die Datenbank mit URLs von Drittanbieter-Bildern und deren Annotationen ist frei verfügbar, obwohl die eigentlichen Bilder nicht im Besitz von ImageNet sind. Seit 2010 veranstaltet ImageNet einen jährlichen Wettbewerb, die ImageNet Large Scale Visual Recognition Challenge (ILSVRC), bei der Softwareprogramme darum konkurrieren, Objekte und Szenen mithilfe einer reduzierten Liste von eintausend nicht überlappenden Klassen zu klassifizieren und zu erkennen.
Das Projekt entstand aus der Vision der KI-Forscherin Fei-Fei Li, die 2006 begann, an der Idee zu arbeiten, mit dem Ziel, die Daten für das Training von KI-Algorithmen zu erweitern und zu verbessern. Zu dieser Zeit konzentrierte sich die meiste KI-Forschung auf Modelle und Algorithmen, aber Li wollte den Datenengpass angehen. 2007 traf Li die Princeton-Professorin Christiane Fellbaum, eine Schöpferin von WordNet, und baute anschließend ImageNet auf der Grundlage der etwa 22.000 Substantive von WordNet auf, wobei viele seiner Merkmale übernommen wurden. Li ließ sich auch von einer Schätzung aus dem Jahr 1987 inspirieren, dass der durchschnittliche Mensch etwa 30.000 verschiedene Arten von Objekten erkennt. Als Assistenzprofessorin in Princeton stellte Li ein Forschungsteam zusammen und nutzte Amazon Mechanical Turk zur Unterstützung bei der Bildklassifizierung. Die Kennzeichnung begann im Juli 2008 und endete im April 2010, wobei 49.000 Arbeiter aus 167 Ländern über 160 Millionen Kandidatenbilder filterten und kennzeichneten, mit einem ausreichenden Budget, um jedes der 14 Millionen Bilder dreimal zu kennzeichnen.
Die Datenbank wurde erstmals als Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2009 in Florida vorgestellt, mit dem Titel "ImageNet: A Preview of a Large-scale Hierarchical Dataset". 2009 schlug Alex Berg vor, die Objektlokalisierung als Aufgabe hinzuzufügen, was zur Zusammenarbeit mit dem PASCAL Visual Object Classes-Wettbewerb und zum Start der ImageNet Large Scale Visual Recognition Challenge im Jahr 2010 führte, die 1000 Klassen und Objektlokalisierung umfasst, weit mehr als die 20 Klassen und 19.737 Bilder von PASCAL VOC im Jahr 2010.
Datensatzkonstruktion
ImageNet lagert seinen Annotationsprozess per Crowdsourcing aus. Bildbasierte Annotationen geben das Vorhandensein oder Fehlen einer Objektklasse in einem Bild an, wie zum Beispiel "es gibt Tiger in diesem Bild" oder "es gibt keine Tiger in diesem Bild". Objektbasierte Annotationen liefern einen Begrenzungsrahmen um den sichtbaren Teil des angegebenen Objekts. ImageNet verwendet eine Variante des breiten WordNet-Schemas zur Kategorisierung von Objekten, erweitert um 120 Kategorien von Hunderassen für eine feinkörnige Klassifizierung. Im Jahr 2012 war ImageNet der weltweit größte akademische Nutzer von Mechanical Turk, wobei der durchschnittliche Arbeiter 50 Bilder pro Minute identifizierte. Der ursprüngliche Plan für das vollständige ImageNet umfasste etwa 50 Millionen saubere, vielfältige und vollauflösende Bilder, verteilt auf etwa 50.000 Synsets, aber dies wurde nicht erreicht.
Zusammenfassende Statistiken zum 30. April 2010:
- Gesamtzahl der nicht leeren Synsets: 21.841
- Gesamtzahl der Bilder: 14.197.122
- Anzahl der Bilder mit Begrenzungsrahmen-Annotationen: 1.034.908
- Anzahl der Synsets mit SIFT-Merkmalen: 1.000
- Anzahl der Bilder mit SIFT-Merkmalen: 1,2 Millionen
Kategorien und Bildformat
Die Kategorien von ImageNet wurden aus WordNet-Konzepten gefiltert. Jedes Konzept, das potenziell Synonyme enthält, wird als "Synonymset" oder "Synset" bezeichnet. Obwohl WordNet 3.0 über 100.000 Synsets hatte, hauptsächlich Substantive (über 80.000), konzentrierte sich ImageNet auf die Anzahl der zählbaren Substantive auf 21.841 Synsets, die visuell dargestellt werden können. Jedes Synset hat eine WordNet-ID (wnid), eine Verkettung aus Wortart und einem Offset; alle wnids beginnen mit "n", da ImageNet nur Substantive enthält. Zum Beispiel ist die wnid für "Hund, Haushund, Canis familiaris" "n02084071". Die Kategorien reichen über 9 Ebenen, von Ebene 1 (wie "Säugetier") bis Ebene 9 (wie "Deutscher Schäferhund").
Die Bilder wurden aus Online-Bildsuchen mit mehrsprachigen Synonymen gesammelt. Sie liegen im RGB-Format mit unterschiedlichen Auflösungen vor. Zum Beispiel reicht die Auflösung in der ImageNet-2012-Kategorie "Fisch" von 4288 x 2848 bis 75 x 56. Im maschinellen Lernen werden diese Bilder typischerweise auf eine standardmäßige konstante Auflösung vorverarbeitet und vor dem Training gebleicht. Zum Beispiel werden in PyTorch Bilder normalisiert, indem die Pixelwerte zwischen 0 und 1 geteilt werden, dann der Mittelwert [0,485, 0,456, 0,406] subtrahiert und durch die Standardabweichung [0,229, 0,224, 0,225] dividiert wird. Diese Statistiken stammen aus ImageNet.
Labels und Annotationen
Jedes Bild ist mit genau einer wnid gekennzeichnet. Dichte SIFT-Merkmale (einschließlich roher SIFT-Deskriptoren, quantisierter Codewörter und Koordinaten) für ImageNet-1K waren zum Download verfügbar, entworfen für einen Bag-of-Words-Ansatz. Die Begrenzungsrahmen für Objekte waren für etwa 3.000 Synsets verfügbar, mit durchschnittlich 150 Bildern pro Synset. Einige Bilder haben Attributannotationen, obwohl die Details nicht vollständig spezifiziert sind. Der Datensatz enthält auch einige Synsets mit SIFT-Merkmalen für 1,2 Millionen Bilder.
Bedeutung für Deep Learning
ImageNet hat eine zentrale Rolle in der Deep-Learning-Revolution gespielt. Am 30. September 2012 erreichte ein Convolutional Neural Network namens AlexNet eine Top-5-Fehlerrate von 15,3% in der ImageNet-2012-Challenge, über 10,8 Prozentpunkte unter dem Zweitplatzierten. Dieser Erfolg wurde durch die Verwendung von Grafikprozessoren (GPUs) während des Trainings ermöglicht, die zu einem wesentlichen Bestandteil der Deep-Learning-Revolution wurden. Laut The Economist: "Plötzlich begannen die Leute aufzupassen, nicht nur innerhalb der KI-Gemeinschaft, sondern in der gesamten Technologiebranche." Im Jahr 2015 wurde AlexNet von Microsofts sehr tiefem CNN mit über 100 Schichten übertroffen, das die ImageNet-2015-Challenge mit einer Fehlerrate von 3,57% gewann. Im Jahr 2014 schätzte Andrej Karpathy, dass er mit konzentrierter Anstrengung eine Fehlerrate von 5,1% erreichen könnte, und etwa 10 Personen aus seinem Labor erreichten mit weniger Aufwand etwa 12-13%. Es wurde geschätzt, dass ein Mensch mit maximaler Anstrengung eine Fehlerrate von etwa 2,4% erreichen könnte.
Die Auswirkungen von ImageNet reichen weit über den Wettbewerb selbst hinaus. Die Verfügbarkeit eines großen, strukturierten und gekennzeichneten Datensatzes ermöglichte es Forschern, Modelle mit beispiellosem Umfang und Vielfalt zu trainieren und zu bewerten. Dies trieb die Einführung von Deep-Learning-Innovationen wie neuralen Netzen, Residualnetzen und Techniken wie Datenaugmentation und Batch-Normalisierung voran. Es beschleunigte auch den Fortschritt im maschinellen Lernen und in der künstlichen Intelligenz, und seine Benchmark-Aufgaben, wie Klassifizierung und Lokalisierung, sind grundlegend für die Bewertung von Computer-Vision-Systemen geworden. Die Organisation des Datensatzes über WordNet hat andere groß angelegte Datensätze und Standard-Workflows in PyTorch und anderen Frameworks beeinflusst.
Die öffentliche Verfügbarkeit von ImageNet hatte auch eine breitere Wirkung. Es wurde von vielen Forschungsgruppen und Unternehmen, einschließlich Google DeepMind, OpenAI und Microsoft, genutzt, um Modelle zu trainieren und zu bewerten. Sein Einfluss erstreckt sich auf die Entwicklung von Transformer-Architekturen, die seitdem Standard in der Sprachmodellierung geworden sind. In den letzten Jahren bleibt ImageNet eine wesentliche Referenz für die Computer-Vision-Forschung, obwohl der Datensatz auch Diskussionen über Urheberrecht und Datenschutz ausgelöst hat, aufgrund der Verwendung von Bildern Dritter. Trotz dieser Bedenken inspiriert der Umfang und die Struktur von ImageNet weiterhin ähnliche Datensätze in verschiedenen Bereichen, wie ImageNet, aber der Fokus bleibt auf dem ursprünglichen ImageNet und seiner Rolle bei der Förderung der visuellen Erkennung.
Quellen und Auswirkungen
Zusammenfassend war die Erstellung von ImageNet ein Meilenstein in der Geschichte der künstlichen Intelligenz. Es lieferte einen umfassenden und skalierbaren Datensatz, der die Bedeutung datengetriebener Ansätze hervorhob. Sein Einfluss auf den Deep-Learning-Boom kann nicht genug betont werden, da er Durchbrüche in Algorithmen und Hardware ermöglichte, die zur aktuellen Ära der generativen KI und großer Modelle führten. Ab 2025 dient ImageNet weiterhin als Benchmark zur Bewertung neuer Methoden und Theorien, wie solcher, die Transformer, große Sprachmodelle und Fundamentmodelle betreffen. Der basisorientierte Ansatz des Projekts - Crowdsourcing von Annotationen durch eine globale Gemeinschaft - etablierte auch Modelle für viele spätere Datensätze und Initiativen.
Der Erfolg von ImageNet zeigte, dass hochwertige, groß angelegte Datensätze nicht nur vorteilhaft, sondern oft wesentlich für den KI-Fortschritt sind. Es löste Fortschritte in verteiltem Rechnen und Cloud-Diensten wie Amazon Web Services und Google Cloud sowie Hardware-Verbesserungen von Unternehmen wie NVIDIA und AMD aus. Der Wettbewerb selbst, die ImageNet Large Scale Visual Recognition Challenge, bleibt eine Institution zur Messung des Fortschritts in der Computer Vision. Trotz der fortlaufenden Entwicklung der KI bleibt das Erbe von ImageNet bestehen, von akademischer Forschung bis zu praktischen Anwendungen in autonomen Fahrzeugen, medizinischer Bildgebung und multimodalen Systemen, und prägt die Entwicklung des Feldes von der symbolischen KI hin zu neuronalen Netzen und maschinellem Lernen. In den Jahren nach seiner Veröffentlichung hat ImageNet das Design nachfolgender Datensätze wie COCO und Flickr beeinflusst, die ähnlich darauf abzielen, groß angelegte, annotierte Daten zur Förderung der Grenzen maschineller Intelligenz bereitzustellen.