Die ImageNet Challenge, offiziell bekannt als ImageNet Large Scale Visual Recognition Challenge (ILSVRC), ist ein jährlicher Softwarewettbewerb, bei dem Programme darum konkurrieren, Objekte und Szenen in Bildern korrekt zu klassifizieren und zu erkennen. Sie wurde 2010 ins Leben gerufen und verwendet eine reduzierte Liste von tausend nicht überlappenden Klassen aus der größeren ImageNet-Datenbank, die über 14 Millionen manuell annotierte Bilder in mehr als 20.000 Kategorien enthält. Die Challenge wurde zu einem zentralen Maßstab in der Computer Vision und katalysierte nach 2012 die Deep-Learning-Revolution.
Geschichte
Die KI-Forscherin Fei-Fei Li begann 2006 mit der Entwicklung des ImageNet-Konzepts, um die Daten zu erweitern, die für das Training von KI-Algorithmen verfügbar waren, zu einer Zeit, als sich die meiste Forschung auf Modelle konzentrierte. Im Jahr 2007 traf Li die Princeton-Professorin Christiane Fellbaum, eine der Entwicklerinnen von WordNet, und baute ImageNet ausgehend von etwa 22.000 Substantiven in WordNet auf. Sie wurde durch eine Schätzung aus dem Jahr 1987 inspiriert, wonach der durchschnittliche Mensch etwa 30.000 Objektarten erkennt.
Als Assistenzprofessorin in Princeton stellte Li ein Team zusammen, das Amazon Mechanical Turk für die Bildklassifizierung nutzte. Die Kennzeichnung lief von Juli 2008 bis April 2010 und umfasste 49.000 Arbeiter aus 167 Ländern, die über 160 Millionen Kandidatenbilder filterten und kennzeichneten. Jedes der 14 Millionen Bilder wurde dreimal beschriftet. Der ursprüngliche Plan sah 10.000 Bilder pro Kategorie über 40.000 Kategorien vor, was jedoch nicht erreicht wurde.
Die Datenbank wurde erstmals als Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2009 in Florida präsentiert, unter dem Titel „ImageNet: A Preview of a Large-scale Hierarchical Dataset". Im Jahr 2009 schlug Alex Berg vor, die Objektlokalisierung als Aufgabe hinzuzufügen, was zur Zusammenarbeit mit dem PASCAL Visual Object Classes Wettbewerb führte. Die erste ImageNet Challenge im Jahr 2010 hatte 1.000 Klassen und Objektlokalisierung, verglichen mit 20 Klassen und 19.737 Bildern von PASCAL VOC.
Bedeutung für Deep Learning
Am 30. September 2012 erreichte ein faltendes neuronales Netzwerk (CNN) namens AlexNet einen Top-5-Fehler von 15,3 % in der ImageNet 2012 Challenge, mehr als 10,8 Prozentpunkte niedriger als der Zweitplatzierte. Dieser Erfolg wurde durch das Training auf Grafikprozessoren (GPUs) ermöglicht, einem wesentlichen Bestandteil der Deep-Learning-Revolution. Laut The Economist: „Plötzlich begannen die Leute aufzupassen, nicht nur in der KI-Gemeinschaft, sondern in der gesamten Technologiebranche."
Im Jahr 2015 wurde AlexNet von Microsofts sehr tiefem CNN mit über 100 Schichten übertroffen, das den ImageNet 2015 Wettbewerb mit einer Fehlerquote von 3,57 % auf dem Testsatz gewann. Andrej Karpathy schätzte 2014, dass er mit konzentrierter Anstrengung eine Fehlerquote von 5,1 % erreichen könnte, und dass ein Mensch mit maximalem Einsatz 2,4 % erreichen würde.
Datensatz
ImageNet nutzt Crowdsourcing für seine Annotation. Bildlevel-Annotationen geben das Vorhandensein oder Fehlen einer Objektklasse an, während Objektlevel-Annotationen Begrenzungsrahmen bereitstellen. Der Datensatz verwendet eine Variante des WordNet-Schemas, erweitert um 120 Kategorien von Hunderassen für die Feinklassifizierung.
Bis zum 30. April 2010 hatte ImageNet 21.841 nicht leere Synsets, 14.197.122 Bilder, 1.034.908 Bilder mit Begrenzungsrahmen-Annotationen und 1,2 Millionen Bilder mit SIFT-Merkmalen. Im Jahr 2012 war ImageNet der größte akademische Nutzer von Mechanical Turk weltweit, wobei die Arbeiter durchschnittlich 50 Bilder pro Minute identifizierten.
Kategorien
Die Kategorien werden aus WordNet-Konzepten gefiltert, die jeweils als „Synset" bezeichnet werden. ImageNet umfasst 21.841 Synsets, die zählbare Substantive sind und visuell dargestellt werden können. Jedes Synset hat eine WordNet-ID (wnid), die mit „n" beginnt (z. B. „n02084071" für „Hund"). Die Kategorien sind in 9 Ebenen unterteilt, von Ebene 1 (z. B. „Säugetier") bis Ebene 9 (z. B. „Deutscher Schäferhund").
Bildformat
Die Bilder wurden von Online-Suchmaschinen (Google, Picsearch, MSN, Yahoo, Flickr) mithilfe von Synonymen in mehreren Sprachen gesammelt. Sie liegen im RGB-Format mit unterschiedlichen Auflösungen vor; zum Beispiel reicht die Kategorie „Fisch" in ImageNet 2012 von 4288 x 2848 bis 75 x 56 Pixeln. Im maschinellen Lernen werden Bilder typischerweise auf eine Standardauflösung vorverarbeitet und gebleicht. Beispielsweise werden Bilder in PyTorch normalisiert, indem Pixelwerte auf [0,1] geteilt, [0,485, 0,456, 0,406] subtrahiert und durch [0,229, 0,224, 0,225] dividiert werden.
Beschriftungen und Annotationen
Jedes Bild ist mit genau einer wnid beschriftet. Dichte SIFT-Merkmale (Rohdeskriptoren, quantisierte Codewörter und Koordinaten) waren für ImageNet-1K verfügbar, das für Bag-of-Visual-Words konzipiert wurde. Begrenzungsrahmen waren für etwa 3.000 beliebte Synsets mit durchschnittlich 150 Bildern pro Synset verfügbar. Einige Bilder haben auch Attributannotationen, obwohl die Details begrenzt sind.
Vermächtnis
Die ImageNet Challenge war maßgeblich an der Weiterentwicklung von maschinellem Lernen und Deep Learning beteiligt. Sie popularisierte die Verwendung von neuralen Netzwerk-Architekturen wie Residualnetzen und Trainingsmethoden wie Batch-Normalisierung und Datenaugmentierung. Der Erfolg des Wettbewerbs weckte Interesse an künstlicher Intelligenz und beeinflusste spätere Entwicklungen in generativer KI und Forschung an großen Sprachmodellen, obwohl sich die Challenge selbst auf visuelle Aufgaben konzentrierte.