Die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2010 war die erste Ausgabe eines jährlichen Softwarewettbewerbs, der vom ImageNet-Projekt organisiert wurde, einer großen visuellen Datenbank, die für die Forschung zur visuellen Objekterkennung entwickelt wurde. Die Herausforderung verlangte von den teilnehmenden Programmen, Objekte und Szenen innerhalb einer reduzierten Liste von eintausend nicht überlappenden Klassen korrekt zu klassifizieren und zu erkennen, eine erhebliche Skalierung gegenüber früheren Benchmarks wie dem PASCAL Visual Object Classes (VOC)-Wettbewerb, der 2010 nur 20 Klassen und 19.737 Bilder verwendete. Die Herausforderung von 2010 markierte einen Wendepunkt in der Computer Vision, indem sie eine standardisierte, groß angelegte Evaluierungsplattform bereitstellte, die später die Revolution des Deep Learning katalysieren sollte.
Ursprünge und Entwicklung
Das ImageNet-Projekt wurde 2006 von der KI-Forscherin Fei-Fei Li konzipiert, zu einer Zeit, als sich die meiste KI-Forschung auf Modelle und Algorithmen konzentrierte und nicht auf Daten. Li zielte darauf ab, die für das Training von KI-Algorithmen verfügbaren Daten zu erweitern und zu verbessern. 2007 traf sie sich mit der Princeton-Professorin Christiane Fellbaum, einer Mitentwicklerin von WordNet, was zum Aufbau von ImageNet auf der Grundlage der etwa 22.000 Substantive von WordNet führte. Li wurde auch durch eine Schätzung aus dem Jahr 1987 inspiriert, dass der durchschnittliche Mensch etwa 30.000 verschiedene Arten von Objekten erkennt.
Als Assistenzprofessorin in Princeton stellte Li ein Team von Forschern zusammen und nutzte Amazon Mechanical Turk für die Bildklassifizierung. Die Kennzeichnung begann im Juli 2008 und endete im April 2010, wobei 49.000 Arbeiter aus 167 Ländern über 160 Millionen Kandidatenbilder filterten und kennzeichneten. Der ursprüngliche Plan sah 10.000 Bilder pro Kategorie über 40.000 Kategorien vor, insgesamt 400 Millionen Bilder, wurde aber aufgrund praktischer Einschränkungen reduziert. Die Datenbank wurde erstmals als Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2009 in Florida vorgestellt, mit dem Titel "ImageNet: A Preview of a Large-scale Hierarchical Dataset."
Im Jahr 2009 schlug Alex Berg vor, die Objektlokalisierung als Aufgabe hinzuzufügen, und Li näherte sich dem PASCAL-VOC-Wettbewerb für eine Zusammenarbeit an. Dies führte zum Start des ILSVRC im Jahr 2010 mit 1.000 Klassen und Objektlokalisierung, einer erheblichen Erweiterung gegenüber den 20 Klassen von PASCAL VOC.
Zusammensetzung des Datensatzes
ImageNet lagert seinen Annotationprozess aus. Bildbezogene Annotationen geben das Vorhandensein oder Fehlen einer Objektklasse an, während objektbezogene Annotationen Begrenzungsrahmen um sichtbare Teile von Objekten bereitstellen. Der Datensatz verwendet eine Variante des WordNet-Schemas, ergänzt um 120 Kategorien von Hunderassen für die feinkörnige Klassifizierung. Zum 30. April 2010 enthielt der Datensatz 21.841 nicht leere Synsets (Synonymmengen), 14.197.122 Bilder, 1.034.908 Bilder mit Begrenzungsrahmen-Annotationen und 1,2 Millionen Bilder mit SIFT-Merkmalen.
Die Kategorien wurden aus WordNet-Konzepten gefiltert, die als Synsets bezeichnet werden. Jedes Synset hat eine WordNet-ID (wnid), die mit "n" beginnt, da ImageNet nur Substantive enthält. Die Kategorien fallen in 9 Ebenen, von Ebene 1 (z. B. "Säugetier") bis Ebene 9 (z. B. "Deutscher Schäferhund"). Bilder wurden von Online-Suchmaschinen wie Google, Picsearch, MSN, Yahoo und Flickr unter Verwendung von Synonymen in mehreren Sprachen gesammelt. Die Bilder liegen im RGB-Format mit unterschiedlichen Auflösungen vor; zum Beispiel reichen die Auflösungen in der Kategorie "Fisch" von 2012 von 4288 x 2848 bis 75 x 56. Im maschinellen Lernen werden diese typischerweise auf eine Standardauflösung vorverarbeitet und vor der Verarbeitung durch neuronale Netze gebleicht.
Bedeutung für Deep Learning
Der ILSVRC 2010 bereitete die Bühne für einen großen Durchbruch im Jahr 2012. Am 30. September 2012 erreichte ein Convolutional Neural Network (CNN) namens AlexNet einen Top-5-Fehler von 15,3% in der ImageNet 2012 Challenge, mehr als 10,8 Prozentpunkte niedriger als der Zweitplatzierte. Dieser Erfolg wurde durch die Verwendung von Grafikprozessoren (GPUs) während des Trainings ermöglicht, ein wesentlicher Bestandteil der Deep-Learning-Revolution. Laut The Economist: "Plötzlich begannen die Menschen aufzupassen, nicht nur innerhalb der KI-Gemeinschaft, sondern in der gesamten Technologiebranche."
Im Jahr 2015 wurde AlexNet von Microsofts sehr tiefem CNN mit über 100 Schichten übertroffen, das den ImageNet 2015-Wettbewerb mit einer Fehlerrate von 3,57% gewann. Andrej Karpathy schätzte 2014, dass er mit konzentrierter Anstrengung eine Fehlerrate von 5,1% erreichen könnte, und etwa 10 Personen aus seinem Labor erreichten mit weniger Aufwand etwa 12-13%. Es wurde geschätzt, dass ein Mensch mit maximaler Anstrengung eine Fehlerrate von 2,4% erreichen könnte.
Vermächtnis
Obwohl der ILSVRC 2010 selbst keine Deep-Learning-Sieger hervorbrachte, etablierte er den Benchmark, der den schnellen Fortschritt in der Computer Vision vorantreiben sollte. Die groß angelegte, standardisierte Evaluierung der Herausforderung wurde zu einem Katalysator für die Entwicklung von neuronalen Netzen und Deep-Learning-Techniken und beeinflusste die anschließende Forschung in künstlicher Intelligenz und verwandten Bereichen. Der Datensatz und die Herausforderung bleiben einflussreich, wobei die Ausgabe von 2010 als Grundlage für spätere Wettbewerbe diente, die die Leistungsfähigkeit von maschinellem Lernen-Ansätzen zeigten.