ImageNet ist eine groß angelegte visuelle Datenbank, die für die Forschung an Software zur visuellen Objekterkennung entwickelt wurde. Sie enthält mehr als 14 Millionen manuell annotierte Bilder, die angeben, welche Objekte abgebildet sind, wobei mindestens eine Million Bilder zusätzlich Begrenzungsrahmen (Bounding Boxes) bereitstellen. Die Datenbank umfasst mehr als 20.000 Kategorien, die jeweils typischerweise aus mehreren hundert Bildern bestehen. Seit 2010 führt das ImageNet-Projekt einen jährlichen Software-Wettbewerb durch, die ImageNet Large Scale Visual Recognition Challenge (ILSVRC), bei der Softwareprogramme darum konkurrieren, Objekte und Szenen korrekt zu klassifizieren und zu erkennen. Die Herausforderung verwendet eine reduzierte Liste von tausend nicht überlappenden Klassen.
Das Projekt wurde von der KI-Forscherin Fei-Fei Li konzipiert, die 2006 mit der Arbeit an der Idee begann. Zu einer Zeit, als sich die meiste KI-Forschung auf Modelle und Algorithmen konzentrierte, zielte Li darauf ab, die für das Training von KI-Algorithmen verfügbaren Daten zu erweitern und zu verbessern. 2007 traf sie die Princeton-Professorin Christiane Fellbaum, eine der Schöpferinnen von WordNet, um das Projekt zu besprechen. Dies führte dazu, dass ImageNet ausgehend von den etwa 22.000 Substantiven von WordNet aufgebaut wurde und viele seiner Funktionen nutzte. Li wurde auch durch eine Schätzung aus dem Jahr 1987 inspiriert, dass der durchschnittliche Mensch etwa 30.000 verschiedene Arten von Objekten erkennt.
Geschichte und Aufbau
Als Assistenzprofessorin in Princeton stellte Li ein Team von Forschern zusammen, um am ImageNet-Projekt zu arbeiten. Sie nutzten Amazon Mechanical Turk, um bei der Klassifizierung der Bilder zu helfen. Die Kennzeichnung begann im Juli 2008 und endete im April 2010. Es brauchte 49.000 Arbeiter aus 167 Ländern, um über 160 Millionen Kandidatenbilder zu filtern und zu kennzeichnen. Das Budget erlaubte es, jedes der 14 Millionen Bilder dreimal zu kennzeichnen.
Der ursprüngliche Plan sah 10.000 Bilder pro Kategorie für 40.000 Kategorien bei 400 Millionen Bildern vor, die jeweils dreimal verifiziert wurden. Menschen können jedoch höchstens zwei Bilder pro Sekunde klassifizieren, und bei dieser Geschwindigkeit wurde geschätzt, dass dies 19 Menschenjahre Arbeit (ohne Pausen) erfordern würde. Das Team präsentierte die Datenbank erstmals als Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2009 in Florida mit dem Titel „ImageNet: A Preview of a Large-scale Hierarchical Dataset“. Das Poster wurde auf der Vision Sciences Society 2009 erneut verwendet.
2009 schlug Alex Berg vor, die Objektlokalisierung als Aufgabe hinzuzufügen. Li näherte sich 2009 dem PASCAL Visual Object Classes-Wettbewerb für eine Zusammenarbeit an, was zur darauffolgenden ImageNet Large Scale Visual Recognition Challenge ab 2010 führte. Die Herausforderung umfasste 1000 Klassen und Objektlokalisierung, verglichen mit PASCAL VOC, das 2010 nur 20 Klassen und 19.737 Bilder hatte.
Bedeutung für Deep Learning
Am 30. September 2012 erreichte ein Convolutional Neural Network (CNN) namens AlexNet einen Top-5-Fehler von 15,3 % in der ImageNet 2012 Challenge, mehr als 10,8 Prozentpunkte niedriger als der des Zweitplatzierten. Die Verwendung von CNNs war dank des Einsatzes von Grafikprozessoren (GPUs) während des Trainings möglich, einem wesentlichen Bestandteil der Deep-Learning-Revolution. Laut The Economist: „Plötzlich begannen die Leute aufzupassen, nicht nur innerhalb der KI-Gemeinschaft, sondern in der gesamten Technologiebranche.“
2015 wurde AlexNet von einem sehr tiefen CNN von Microsoft mit über 100 Schichten übertroffen, das den ImageNet 2015-Wettbewerb mit einem Fehler von 3,57 % auf dem Testsatz gewann. Andrej Karpathy schätzte 2014, dass er mit konzentrierter Anstrengung eine Fehlerrate von 5,1 % erreichen könnte, und etwa zehn Personen aus seinem Labor erreichten mit weniger Aufwand etwa 12-13 %. Es wurde geschätzt, dass ein Mensch mit maximaler Anstrengung einen Fehler von 2,4 % erreichen könnte.
Datenstruktur
ImageNet lagert seinen Annotationsprozess per Crowdsourcing aus. Annotationen auf Bildebene geben das Vorhandensein oder Fehlen einer Objektklasse in einem Bild an, wie „es gibt Tiger in diesem Bild“ oder „es gibt keine Tiger in diesem Bild“. Annotationen auf Objektebene liefern einen Begrenzungsrahmen um den sichtbaren Teil des angegebenen Objekts. ImageNet verwendet eine Variante des breiten WordNet-Schemas zur Kategorisierung von Objekten, ergänzt um 120 Kategorien von Hunderassen, um eine feinkörnige Klassifizierung zu demonstrieren.
2012 war ImageNet der weltweit größte akademische Nutzer von Mechanical Turk, wobei der durchschnittliche Arbeiter 50 Bilder pro Minute identifizierte. Der ursprüngliche Plan für das vollständige ImageNet hätte etwa 50 Millionen saubere, vielfältige und vollauflösende Bilder über etwa 50.000 Synsets verteilt, aber dies wurde nicht erreicht.
Stand 30. April 2010 lauteten die zusammenfassenden Statistiken: Gesamtzahl der nicht leeren Synsets: 21.841; Gesamtzahl der Bilder: 14.197.122; Anzahl der Bilder mit Begrenzungsrahmen-Annotationen: 1.034.908; Anzahl der Synsets mit SIFT-Merkmalen: 1.000; Anzahl der Bilder mit SIFT-Merkmalen: 1,2 Millionen.
Kategorien
Die Kategorien von ImageNet wurden aus WordNet-Konzepten gefiltert. Jedes Konzept, da es mehrere Synonyme enthalten kann (zum Beispiel „Kitty“ und „junges Kätzchen“), wird als „Synonymset“ oder „Synset“ bezeichnet. Es gab mehr als 100.000 Synsets in WordNet 3.0, wobei die Mehrheit Substantive waren (über 80.000). Das ImageNet-Dataset filterte diese auf 21.841 Synsets, die zählbare Substantive sind, die visuell dargestellt werden können.
Jedes Synset in WordNet 3.0 hat eine „WordNet-ID“ (wnid), die eine Verkettung aus Wortart und einem „Offset“ (einer eindeutigen Identifikationsnummer) ist. Jede wnid beginnt mit „n“, da ImageNet nur Substantive enthält. Zum Beispiel ist die wnid des Synsets „Hund, Haushund, Canis familiaris“ „n02084071“. Die Kategorien fallen in 9 Ebenen, von Ebene 1 (wie „Säugetier“) bis Ebene 9 (wie „Deutscher Schäferhund“).
Bildformat
Die Bilder wurden von Online-Bildsuchmaschinen (Google, Picsearch, MSN, Yahoo, Flickr usw.) unter Verwendung von Synonymen in mehreren Sprachen gesammelt. Zum Beispiel für den Deutschen Schäferhund: Deutscher Polizeihund, Alsatian, ovejero alemán, pastore tedesco, 德国牧羊犬. ImageNet besteht aus Bildern im RGB-Format mit unterschiedlichen Auflösungen. Zum Beispiel reicht die Auflösung in der ImageNet 2012-Kategorie „Fisch“ von 4288 x 2848 bis 75 x 56. Im maschinellen Lernen werden diese typischerweise vor der weiteren Verarbeitung durch neuronale Netze auf eine standardmäßige konstante Auflösung vorverarbeitet und gebleicht (whitened).
Zum Beispiel werden in PyTorch ImageNet-Bilder standardmäßig normalisiert, indem die Pixelwerte zwischen 0 und 1 geteilt werden, dann [0,485, 0,456, 0,406] subtrahiert und durch [0,229, 0,224, 0,225] dividiert wird. Dies sind die Mittelwerte und Standardabweichungen für ImageNet, sodass dies die Eingabedaten bleicht.
Labels und Annotationen
Jedes Bild ist mit genau einer wnid gekennzeichnet. Dichte SIFT-Merkmale (rohe SIFT-Deskriptoren, quantisierte Codewörter und Koordinaten jedes Deskriptors/Codeworts) für ImageNet-1K waren zum Download verfügbar, entworfen für das Bag-of-Visual-Words-Verfahren. Begrenzungsrahmen von Objekten waren für etwa 3.000 beliebte Synsets mit durchschnittlich 150 Bildern in jedem Synset verfügbar. Darüber hinaus haben einige Bilder Attributannotationen, obwohl die Details begrenzt sind.
Vermächtnis und Auswirkungen
ImageNet ist zu einem Maßstab für die maschinelles Lernen- und Computer Vision-Forschung geworden und treibt Fortschritte in der künstlichen Intelligenz voran. Seine jährliche Herausforderung hat Innovationen bei Convolutional Neural Networks und anderen Architekturen angeregt und das breitere Feld des Deep Learning beeinflusst. Der Umfang und die Struktur des Datasets haben auch nachfolgende groß angelegte Datenprojekte und die Entwicklung von Datenanreicherungs-Techniken informiert.