ImageNet-21K bezeichnet den vollständigen ImageNet-Datensatz, eine große visuelle Datenbank, die für die Forschung zur visuellen Objekterkennungssoftware entwickelt wurde. Sie enthält mehr als 14 Millionen manuell annotierte Bilder, die in über 21.000 Kategorien, sogenannte Synsets, organisiert sind und aus der lexikalischen Datenbank WordNet stammen. Der Datensatz ist frei als Annotationen von Bild-URLs Dritter verfügbar, wobei die tatsächlichen Bilder nicht Eigentum von ImageNet sind. Seit 2010 veranstaltet ImageNet einen jährlichen Wettbewerb, die ImageNet Large Scale Visual Recognition Challenge (ILSVRC), die eine beschnittene Teilmenge von 1.000 nicht überlappenden Klassen verwendet, die allgemein als ImageNet-1K bezeichnet wird.
Geschichte
Die KI-Forscherin Fei-Fei Li begann 2006 mit der Entwicklung der Idee für ImageNet, mit dem Ziel, die für das Training von KI-Algorithmen verfügbaren Daten zu erweitern. 2007 traf sie die Princeton-Professorin Christiane Fellbaum, eine Mitbegründerin von WordNet, und baute anschließend ImageNet auf, ausgehend von etwa 22.000 Substantiven in WordNet. Li wurde auch durch eine Schätzung aus dem Jahr 1987 inspiriert, dass der durchschnittliche Mensch etwa 30.000 Arten von Objekten erkennt.
Als Assistenzprofessorin in Princeton stellte Li ein Team zusammen und nutzte Amazon Mechanical Turk für die Bildklassifizierung. Die Kennzeichnung begann im Juli 2008 und endete im April 2010, wobei 49.000 Arbeiter aus 167 Ländern über 160 Millionen Kandidatenbilder filterten und kennzeichneten. Jedes der 14 Millionen Bilder wurde dreimal gekennzeichnet. Der ursprüngliche Plan sah 10.000 Bilder pro Kategorie über 40.000 Kategorien vor, insgesamt 400 Millionen Bilder, was jedoch nicht erreicht wurde. Die erste öffentliche Präsentation war ein Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2009 in Florida.
Im Jahr 2009 schlug Alex Berg vor, die Objektlokalisierung hinzuzufügen, was zu einer Zusammenarbeit mit dem PASCAL Visual Object Classes-Wettbewerb und dem Start von ILSVRC im Jahr 2010 führte, der 1.000 Klassen und Objektlokalisierung umfasste, verglichen mit 20 Klassen bei PASCAL VOC.
Bedeutung für Deep Learning
Am 30. September 2012 erreichte ein Convolutional Neural Network (CNN) namens AlexNet einen Top-5-Fehler von 15,3 % in der ImageNet 2012 Challenge, mehr als 10,8 Prozentpunkte niedriger als der Zweitplatzierte. Dieser Erfolg wurde durch die Verwendung von Grafikprozessoren (GPUs) während des Trainings ermöglicht, ein Schlüsselfaktor für die Deep learning-Revolution. Laut The Economist: „Plötzlich begannen die Leute aufzupassen, nicht nur innerhalb der KI-Gemeinschaft, sondern in der gesamten Technologiebranche."
Im Jahr 2015 wurde AlexNet von Microsofts sehr tiefem CNN mit über 100 Schichten übertroffen, das den ImageNet 2015-Wettbewerb mit einer Fehlerquote von 3,57 % gewann. Andrej Karpathy schätzte 2014, dass er mit konzentrierter Anstrengung einen Fehler von 5,1 % erreichen könnte, und etwa 10 Personen aus seinem Labor erreichten mit weniger Aufwand etwa 12-13 %. Es wurde geschätzt, dass ein Mensch mit maximaler Anstrengung einen Fehler von 2,4 % erreichen könnte.
Datensatz
ImageNet crowdsourct seinen Annotationsprozess. Bildebenen-Annotationen geben das Vorhandensein oder Fehlen einer Objektklasse an, während Objektebenen-Annotationen Begrenzungsrahmen um sichtbare Objekte bereitstellen. Der Datensatz verwendet eine Variante des WordNet-Schemas, erweitert um 120 Hunderassen-Kategorien für die feinkörnige Klassifizierung. Im Jahr 2012 war ImageNet der weltweit größte akademische Nutzer von Mechanical Turk, wobei die Arbeiter durchschnittlich 50 Bilder pro Minute identifizierten.
Stand 30. April 2010 hatte der Datensatz 21.841 nicht-leere Synsets, 14.197.122 Bilder, 1.034.908 Bilder mit Begrenzungsrahmen-Annotationen und 1,2 Millionen Bilder mit SIFT-Merkmalen (für 1.000 Synsets).
Kategorien
Die Kategorien wurden aus WordNet-Konzepten gefiltert, die jeweils als „Synset" (Synonymmenge) bezeichnet werden. WordNet 3.0 enthält über 100.000 Synsets, hauptsächlich Substantive (über 80.000), und ImageNet filterte diese auf 21.841 zählbare Substantive, die visuell dargestellt werden können. Jedes Synset hat eine WordNet-ID (wnid), die mit „n" beginnt, da nur Substantive enthalten sind; zum Beispiel ist die wnid für „Hund, Haushund, Canis familiaris" „n02084071". Die Kategorien umfassen 9 Ebenen, von Ebene 1 (z. B. „Säugetier") bis Ebene 9 (z. B. „Deutscher Schäferhund").
Bildformat
Die Bilder wurden mit Synonymen in mehreren Sprachen von Online-Suchmaschinen (Google, Picsearch, MSN, Yahoo, Flickr) gesammelt. Sie liegen im RGB-Format mit unterschiedlichen Auflösungen vor; zum Beispiel reicht die Kategorie „Fisch" in der Version von 2012 von 4288 x 2848 bis 75 x 56 Pixel. Im Machine learning werden Bilder typischerweise auf eine konstante Auflösung vorverarbeitet und gebleicht. In PyTorch werden ImageNet-Bilder normalisiert, indem die Pixelwerte auf [0,1] geteilt, [0,485, 0,456, 0,406] subtrahiert und durch [0,229, 0,224, 0,225] geteilt werden, was den Mittelwerten und Standardabweichungen des Datensatzes entspricht.
Labels und Annotationen
Jedes Bild ist mit genau einer wnid gekennzeichnet. Dichte SIFT-Merkmale (Rohdeskriptoren, quantisierte Codewörter und Koordinaten) sind für ImageNet-1K verfügbar, die für Bag-of-Visual-Words-Modelle entwickelt wurden. Begrenzungsrahmen sind für etwa 3.000 beliebte Synsets verfügbar, mit durchschnittlich 150 Bildern pro Synset. Einige Bilder haben auch Attributannotationen.
Auswirkungen und Vermächtnis
ImageNet-21K war maßgeblich an der Förderung der Forschung in Artificial intelligence und Computer vision beteiligt. Die ILSVRC-Challenge, insbesondere das AlexNet-Ergebnis von 2012, katalysierte die weit verbreitete Einführung von Neural network- und Deep learning-Methoden. Die Größe und hierarchische Struktur des Datensatzes haben das Training großer Modelle ermöglicht und spätere Entwicklungen in Generative AI und anderen Bereichen beeinflusst. Obwohl der vollständige 21K-Datensatz für Benchmarking weniger häufig verwendet wird als die 1K-Teilmenge, bleibt er eine wertvolle Ressource für Vortraining und Forschung zur feinkörnigen Klassifizierung.