Die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) war ein jährlicher Softwarewettbewerb, der von 2010 bis 2017 im Rahmen des ImageNet-Projekts stattfand. Er stellte Algorithmen vor die Aufgabe, Objekte und Szenen innerhalb eines kuratierten Satzes von 1.000 nicht überlappenden Objektklassen korrekt zu klassifizieren und zu erkennen. Dem Wettbewerb wird weithin zugeschrieben, die Deep-Learning-Revolution im Bereich Computer Vision ausgelöst zu haben, insbesondere nach 2012, als ein Convolutional Neural Network eine dramatische Verbesserung der Genauigkeit erzielte.
Der Wettbewerb entstand aus dem ImageNet-Projekt, einer großen visuellen Datenbank, die für die Forschung zur visuellen Objekterkennung entwickelt wurde. ImageNet wurde von der KI-Forscherin Fei-Fei Li initiiert und enthält über 14 Millionen manuell annotierte Bilder aus mehr als 20.000 Kategorien, wobei mindestens eine Million Bilder auch Begrenzungsrahmen-Annotationen aufweisen. ILSVRC verwendete eine Teilmenge dieser Bilder und Kategorien, um einen standardisierten Benchmark für die Bewertung und den Vergleich von Computer-Vision-Algorithmen bereitzustellen.
Geschichte
Fei-Fei Li begann 2006 mit der Konzeption von ImageNet, mit dem Ziel, die für das Training von KI-Algorithmen verfügbaren Daten zu erweitern, zu einer Zeit, als sich die meiste Forschung auf Modelle und Algorithmen konzentrierte. 2007 traf sie die Princeton-Professorin Christiane Fellbaum, eine der Entwicklerinnen von WordNet, was dazu führte, dass ImageNet auf den rund 22.000 Substantiven von WordNet aufgebaut wurde. Li wurde auch durch eine Schätzung aus dem Jahr 1987 inspiriert, dass der durchschnittliche Mensch etwa 30.000 verschiedene Arten von Objekten erkennt.
Als Assistenzprofessorin in Princeton stellte Li ein Team zusammen und nutzte Amazon Mechanical Turk für die Bildklassifizierung. Die Beschriftung lief von Juli 2008 bis April 2010 und umfasste 49.000 Arbeiter aus 167 Ländern, die über 160 Millionen Kandidatenbilder filterten und beschrifteten. Jedes der 14 Millionen Bilder wurde dreimal beschriftet. Der ursprüngliche Plan sah 10.000 Bilder pro Kategorie über 40.000 Kategorien vor, doch dies erwies sich als unpraktikabel; Menschen können höchstens 2 Bilder pro Sekunde klassifizieren, was schätzungsweise 19 Personenjahre Arbeit erfordert hätte.
Die Datenbank wurde erstmals 2009 als Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) in Florida unter dem Titel „ImageNet: A Preview of a Large-scale Hierarchical Dataset“ präsentiert. 2009 schlug Alex Berg vor, die Objektlokalisierung als Aufgabe hinzuzufügen, was zur Zusammenarbeit mit dem PASCAL Visual Object Classes-Wettbewerb führte. Die erste ILSVRC fand 2010 statt und umfasste 1.000 Klassen und Objektlokalisierung, verglichen mit den 20 Klassen und 19.737 Bildern von PASCAL VOC.
Bedeutung für Deep Learning
Am 30. September 2012 erreichte ein Convolutional Neural Network (CNN) namens AlexNet einen Top-5-Fehler von 15,3 % in der ImageNet 2012 Challenge, mehr als 10,8 Prozentpunkte niedriger als der Zweitplatzierte. Dieser Erfolg wurde durch die Verwendung von Grafikprozessoren (GPUs) während des Trainings ermöglicht, einem wesentlichen Bestandteil der Deep-Learning-Revolution. Laut The Economist: „Plötzlich begannen die Menschen aufzumerken, nicht nur in der KI-Gemeinschaft, sondern in der gesamten Technologiebranche.“
Im Jahr 2015 wurde AlexNet von Microsofts sehr tiefem CNN mit über 100 Schichten übertroffen, das den ImageNet 2015-Wettbewerb mit einem Fehler von 3,57 % auf dem Testsatz gewann. Andrej Karpathy schätzte 2014, dass er mit konzentrierter Anstrengung eine Fehlerrate von 5,1 % erreichen könnte, und etwa 10 Personen aus seinem Labor erreichten mit weniger Aufwand ungefähr 12-13 %. Es wurde geschätzt, dass ein Mensch mit maximaler Anstrengung einen Fehler von 2,4 % erreichen könnte.
Die Wirkung des Wettbewerbs reichte über Computer Vision hinaus und förderte Innovationen bei Neuronalen Netzwerk-Architekturen, Trainingstechniken und Hardwarebeschleunigung. Er beeinflusste auch die Entwicklung von Machine-Learning-Frameworks und das breitere Feld der künstlichen Intelligenz.
Datensatz
ImageNet lagert seinen Annotationsprozess per Crowdsourcing aus. Annotationen auf Bildebene geben das Vorhandensein oder Fehlen einer Objektklasse in einem Bild an, während Annotationen auf Objektebene einen Begrenzungsrahmen um den sichtbaren Teil des Objekts bereitstellen. ImageNet verwendet eine Variante des WordNet-Schemas zur Kategorisierung von Objekten, ergänzt um 120 Kategorien von Hunderassen für die feinkörnige Klassifizierung.
Im Jahr 2012 war ImageNet der weltweit größte akademische Nutzer von Mechanical Turk, wobei der durchschnittliche Arbeiter 50 Bilder pro Minute identifizierte. Der ursprüngliche Plan für das vollständige ImageNet hätte ungefähr 50 Millionen saubere, vielfältige und in voller Auflösung vorliegende Bilder über ungefähr 50.000 Synsets umfasst, aber dies wurde nicht erreicht.
Zum 30. April 2010 lauteten die zusammenfassenden Statistiken:
- Gesamtzahl der nicht leeren Synsets: 21.841
- Gesamtzahl der Bilder: 14.197.122
- Anzahl der Bilder mit Begrenzungsrahmen-Annotationen: 1.034.908
- Anzahl der Synsets mit SIFT-Merkmalen: 1.000
- Anzahl der Bilder mit SIFT-Merkmalen: 1,2 Millionen
Kategorien
Die Kategorien von ImageNet wurden aus WordNet-Konzepten gefiltert. Jedes Konzept, das mehrere Synonyme enthalten kann (z. B. „Kitty“ und „junger Kater“), wird als „Synonymset“ oder „Synset“ bezeichnet. WordNet 3.0 enthält mehr als 100.000 Synsets, hauptsächlich Substantive (über 80.000). ImageNet filterte diese auf 21.841 Synsets, die zählbare Substantive sind, die visuell dargestellt werden können.
Jedes Synset in WordNet 3.0 hat eine „WordNet-ID“ (wnid), eine Verkettung von Wortart und einem Offset. Jede wnid beginnt mit „n“, da ImageNet nur Substantive enthält. Zum Beispiel ist die wnid des Synsets „Hund, Haushund, Canis familiaris“ „n02084071“. Die Kategorien fallen in 9 Ebenen, von Ebene 1 (wie „Säugetier“) bis Ebene 9 (wie „Deutscher Schäferhund“).
Bildformat
Die Bilder wurden mit Synonymen in mehreren Sprachen von Online-Bildsuchmaschinen (Google, Picsearch, MSN, Yahoo, Flickr usw.) gesammelt. Für den Deutschen Schäferhund verwendeten sie beispielsweise Begriffe wie „Deutscher Polizeihund“, „Alsatian“, „ovejero alemán“, „pastore tedesco“ und „德国牧羊犬“.
ImageNet besteht aus Bildern im RGB-Format mit unterschiedlichen Auflösungen. In der ImageNet-2012-Kategorie „Fisch“ reichen die Auflösungen beispielsweise von 4288 x 2848 bis 75 x 56. Im maschinellen Lernen werden diese typischerweise auf eine standardmäßige konstante Auflösung vorverarbeitet und vor der weiteren Verarbeitung durch neuronale Netze gebleicht. In PyTorch werden ImageNet-Bilder beispielsweise normalisiert, indem die Pixelwerte auf einen Bereich zwischen 0 und 1 dividiert werden, dann [0,485, 0,456, 0,406] subtrahiert und durch [0,229, 0,224, 0,225] dividiert wird, was den Mittelwerten und Standardabweichungen für ImageNet entspricht.
Beschriftungen und Annotationen
Jedes Bild ist mit genau einer wnid beschriftet. Dichte SIFT-Merkmale (rohe SIFT-Deskriptoren, quantisierte Codewörter und Koordinaten) für ImageNet-1K standen zum Download zur Verfügung und waren für den Ansatz des visuellen Wörterbuchs (Bag of Visual Words) konzipiert. Begrenzungsrahmen von Objekten waren für etwa 3.000 beliebte Synsets verfügbar, mit durchschnittlich 150 Bildern pro Synset. Darüber hinaus weisen einige Bilder Attributannotationen auf, obwohl sich der Wettbewerb hauptsächlich auf Klassifizierungs- und Lokalisierungsaufgaben konzentrierte.
Die ILSVRC endete 2017, aber ihr Vermächtnis besteht in Form des ImageNet-Datensatzes fort, der weiterhin ein Standard-Benchmark für die Bewertung von Computer-Vision-Modellen ist. Die Betonung des Wettbewerbs auf groß angelegte, reale Daten und strenge Bewertung trug dazu bei, rasche Fortschritte auf diesem Gebiet voranzutreiben, und beeinflusste nachfolgende Entwicklungen in der generativen KI und anderen Bereichen des maschinellen Lernens.