Die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 war die dritte Ausgabe eines jährlichen Softwarewettbewerbs, bei dem Programme darum konkurrieren, Objekte und Szenen aus der ImageNet-Datenbank korrekt zu klassifizieren und zu erkennen. Die Challenge von 2012 wird weithin als Wendepunkt in der Geschichte der künstlichen Intelligenz angesehen, da der Siegerbeitrag, ein neuronales Netz namens AlexNet, einen Top-5-Fehler von 15,3 % auf dem Testsatz erreichte, mehr als 10,8 Prozentpunkte niedriger als der Zweitplatzierte. Diese dramatische Verbesserung demonstrierte die Leistungsfähigkeit von Deep Learning und maschinellem Lernen und löste eine Welle von Forschung und Investitionen aus, die das Feld bis heute prägt.
Das ImageNet-Projekt selbst wurde 2006 von der KI-Forscherin Fei-Fei Li initiiert, mit dem Ziel, die für das Training von KI-Algorithmen verfügbaren Daten zu erweitern. Li traf sich 2007 mit der Princeton-Professorin Christiane Fellbaum, einer der Schöpferinnen von WordNet, und baute anschließend ImageNet auf, wobei die rund 22.000 Substantive von WordNet als Ausgangspunkt dienten. Die Datenbank wurde mit Hilfe von Crowdsourcing-Annotationen über Amazon Mechanical Turk erstellt, wobei die Beschriftung im Juli 2008 begann und im April 2010 endete. An der Arbeit waren 49.000 Arbeiter aus 167 Ländern beteiligt, die über 160 Millionen Kandidatenbilder filterten und beschrifteten, was zu mehr als 14 Millionen handannotierten Bildern in über 20.000 Kategorien führte.
Geschichte und Entwicklung
Die Idee für ImageNet entstand aus Lis Beobachtung, dass sich die meiste KI-Forschung damals auf Modelle und Algorithmen konzentrierte und nicht auf Daten. Sie wurde durch eine Schätzung aus dem Jahr 1987 inspiriert, dass ein durchschnittlicher Mensch etwa 30.000 verschiedene Arten von Objekten erkennt. Im Jahr 2007 traf sich Li mit Christiane Fellbaum, um das Projekt zu besprechen, und das Treffen führte zu der Entscheidung, ImageNet ausgehend von den nominalen Synsets von WordNet aufzubauen. Li stellte ein Team von Forschern in Princeton zusammen, wo sie Assistenzprofessorin war, und sie nutzten Amazon Mechanical Turk, um Bilder zu klassifizieren.
Der ursprüngliche Plan sah 10.000 Bilder pro Kategorie für 40.000 Kategorien bei 400 Millionen Bildern vor, die jeweils dreimal verifiziert werden sollten. Menschen können jedoch höchstens 2 Bilder pro Sekunde klassifizieren, und bei dieser Geschwindigkeit wurde geschätzt, dass es ohne Pause 19 Arbeitsjahre dauern würde. Das Team präsentierte die Datenbank erstmals als Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2009 in Florida mit dem Titel "ImageNet: A Preview of a Large-scale Hierarchical Dataset."
Im Jahr 2009 schlug Alex Berg vor, die Objektlokalisierung als Aufgabe hinzuzufügen. Li wandte sich an den PASCAL Visual Object Classes-Wettbewerb für eine Zusammenarbeit, was zur ImageNet Large Scale Visual Recognition Challenge ab 2010 führte. Die Challenge verwendet eine bereinigte Liste von 1.000 nicht überlappenden Klassen, verglichen mit den 20 Klassen und 19.737 Bildern von PASCAL VOC im Jahr 2010.
Bedeutung für Deep Learning
Am 30. September 2012 erreichte AlexNet, ein faltendes neuronales Netz (CNN), einen Top-5-Fehler von 15,3 % bei der ImageNet 2012 Challenge. Dies war mehr als 10,8 Prozentpunkte niedriger als beim Zweitplatzierten. Die Verwendung von faltenden neuronalen Netzen wurde durch den Einsatz von Grafikprozessoren (GPUs) während des Trainings ermöglicht, was ein wesentlicher Bestandteil der Deep-Learning-Revolution war. Laut The Economist: "Plötzlich begannen die Leute aufzupassen, nicht nur innerhalb der KI-Gemeinschaft, sondern in der gesamten Technologiebranche."
Der Sieg von AlexNet wird oft als Auslöser des Deep-Learning-Booms genannt. Er zeigte, dass neuronale Netze bei komplexen visuellen Aufgaben Ergebnisse auf dem neuesten Stand der Technik erzielen konnten, was zu einer raschen Übernahme von Deep-Learning-Techniken in verschiedenen Bereichen führte, einschließlich generativer KI und großer Sprachmodelle. Im Jahr 2015 wurde AlexNet von einem sehr tiefen CNN von Microsoft mit über 100 Schichten übertroffen, das den ImageNet-Wettbewerb 2015 mit einer Fehlerrate von 3,57 % auf dem Testsatz gewann.
Andrej Karpathy schätzte 2014, dass er mit konzentrierter Anstrengung eine Fehlerrate von 5,1 % erreichen könnte, und etwa 10 Personen aus seinem Labor erreichten mit weniger Aufwand rund 12-13 %. Es wurde geschätzt, dass ein Mensch mit maximaler Anstrengung eine Fehlerrate von 2,4 % erreichen könnte.
Zusammensetzung des Datensatzes
ImageNet lagert seinen Annotationsprozess per Crowdsourcing aus. Annotationen auf Bildebene geben das Vorhandensein oder Fehlen einer Objektklasse in einem Bild an, z. B. "In diesem Bild gibt es Tiger" oder "In diesem Bild gibt es keine Tiger." Annotationen auf Objektebene liefern einen Begrenzungsrahmen um den sichtbaren Teil des angegebenen Objekts. ImageNet verwendet eine Variante des breiten WordNet-Schemas zur Kategorisierung von Objekten, ergänzt um 120 Kategorien von Hunderassen, um eine feinkörnige Klassifizierung zu demonstrieren.
Im Jahr 2012 war ImageNet der weltweit größte akademische Nutzer von Mechanical Turk, wobei der durchschnittliche Arbeiter 50 Bilder pro Minute identifizierte. Die zusammenfassenden Statistiken vom 30. April 2010 zeigten insgesamt 21.841 nicht leere Synsets, 14.197.122 Bilder, 1.034.908 Bilder mit Begrenzungsrahmen-Annotationen und 1,2 Millionen Bilder mit SIFT-Merkmalen.
Die Kategorien von ImageNet wurden aus WordNet-Konzepten gefiltert. Jedes Konzept wird als "Synset" (Synonymmenge) bezeichnet, und es gab mehr als 100.000 Synsets in WordNet 3.0, wobei die Mehrheit Substantive waren (80.000+). ImageNet filterte diese auf 21.841 Synsets, die zählbare Substantive sind, die visuell dargestellt werden können. Jedes Synset hat eine WordNet-ID (wnid), die mit "n" beginnt, da ImageNet nur Substantive enthält. Die Kategorien fallen in 9 Ebenen, von Ebene 1 (wie "Säugetier") bis Ebene 9 (wie "Deutscher Schäferhund").
Bildformat und Vorverarbeitung
Die Bilder wurden mit Synonymen in mehreren Sprachen von Online-Bildsuchmaschinen (Google, Picsearch, MSN, Yahoo, Flickr) gesammelt. ImageNet besteht aus Bildern im RGB-Format mit unterschiedlichen Auflösungen. Zum Beispiel hat die Kategorie "Fisch" in ImageNet 2012 Auflösungen von 4288 x 2848 bis 75 x 56. Im maschinellen Lernen werden diese typischerweise auf eine standardmäßige konstante Auflösung vorverarbeitet und vor der weiteren Verarbeitung durch neuronale Netze gebleicht.
In PyTorch zum Beispiel werden ImageNet-Bilder standardmäßig normalisiert, indem die Pixelwerte so geteilt werden, dass sie zwischen 0 und 1 liegen, dann wird [0.485, 0.456, 0.406] subtrahiert und dann durch [0.229, 0.224, 0.225] geteilt. Dies sind die Mittelwerte und Standardabweichungen für ImageNet, sodass dies die Eingabedaten bleicht.
Beschriftungen und Annotationen
Jedes Bild ist mit genau einem wnid beschriftet. Dichte SIFT-Merkmale (rohe SIFT-Deskriptoren, quantisierte Codewörter und Koordinaten jedes Deskriptors/Codeworts) für ImageNet-1K waren zum Download verfügbar, ausgelegt für den Bag-of-Visual-Words-Ansatz. Die Begrenzungsrahmen von Objekten waren für etwa 3.000 beliebte Synsets verfügbar, mit durchschnittlich 150 Bildern in jedem Synset. Einige Bilder haben auch Attributannotationen, obwohl die vollständigen Details in den verfügbaren Quellen nicht angegeben sind.