ImageNet ist eine groß angelegte visuelle Datenbank, die für die Forschung an Software zur visuellen Objekterkennung entwickelt wurde. Sie enthält mehr als 14 Millionen manuell annotierte Bilder mit über 20.000 Kategorien, die jeweils typischerweise aus mehreren hundert Bildern bestehen. Mindestens eine Million Bilder enthalten Bounding-Box-Annotationen. Die Datenbank der Annotationen und URLs von Drittanbieter-Bildern ist frei verfügbar, obwohl die eigentlichen Bilder nicht im Besitz von ImageNet sind. Seit 2010 veranstaltet das Projekt einen jährlichen Software-Wettbewerb, die ImageNet Large Scale Visual Recognition Challenge (ILSVRC), bei dem Programme konkurrieren, Objekte und Szenen mithilfe einer reduzierten Liste von tausend nicht überlappenden Klassen zu klassifizieren und zu erkennen.
Das Projekt entstand aus der Vision der KI-Forscherin Fei-Fei Li, die die für das Training von KI-Algorithmen verfügbaren Daten erweitern wollte, zu einer Zeit, als sich die meiste Forschung auf Modelle und Algorithmen konzentrierte. ImageNet ist seitdem zu einem Eckpfeiler der Deep-Learning-Revolution geworden, ermöglichte Durchbrüche in der Computer Vision und beeinflusste das breitere Feld der künstlichen Intelligenz.
Geschichte
Fei-Fei Li begann 2006 mit der Arbeit an der Idee für ImageNet. 2007 traf sie sich mit der Princeton-Professorin Christiane Fellbaum, einer der Schöpferinnen von WordNet, um das Projekt zu besprechen. Dieses Treffen führte dazu, dass Li ImageNet auf der Grundlage der etwa 22.000 Substantive von WordNet aufbaute und viele seiner Funktionen nutzte. Sie wurde auch durch eine Schätzung aus dem Jahr 1987 inspiriert, dass der durchschnittliche Mensch etwa 30.000 verschiedene Arten von Objekten erkennt.
Als Assistenzprofessorin in Princeton stellte Li ein Team von Forschern zusammen, um an dem Projekt zu arbeiten. Sie nutzten Amazon Mechanical Turk, um bei der Klassifizierung von Bildern zu helfen. Die Kennzeichnung begann im Juli 2008 und endete im April 2010, wobei 49.000 Arbeiter aus 167 Ländern über 160 Millionen Kandidatenbilder filterten und kennzeichneten. Das Budget erlaubte es, jedes der 14 Millionen Bilder dreimal zu kennzeichnen.
Der ursprüngliche Plan sah 10.000 Bilder pro Kategorie über 40.000 Kategorien vor, insgesamt 400 Millionen Bilder, die jeweils dreimal verifiziert wurden. Menschen können jedoch höchstens zwei Bilder pro Sekunde klassifizieren, und bei dieser Geschwindigkeit wurde geschätzt, dass es 19 Menschenjahre Arbeit ohne Pause dauern würde. Der vollständige Plan wurde nicht erreicht.
Die Datenbank wurde erstmals als Poster auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2009 in Florida präsentiert, mit dem Titel „ImageNet: A Preview of a Large-scale Hierarchical Dataset“. Das Poster wurde 2009 erneut auf der Vision Sciences Society verwendet.
2009 schlug Alex Berg vor, die Objektlokalisierung als Aufgabe hinzuzufügen. Li wandte sich an den PASCAL Visual Object Classes-Wettbewerb für eine Zusammenarbeit, was zur ImageNet Large Scale Visual Recognition Challenge ab 2010 führte. Die Herausforderung hatte 1000 Klassen und Objektlokalisierung, verglichen mit PASCAL VOC, das 2010 nur 20 Klassen und 19.737 Bilder hatte.
Bedeutung für Deep Learning
Am 30. September 2012 erreichte ein Convolutional Neural Network (CNN) namens AlexNet einen Top-5-Fehler von 15,3 % in der ImageNet 2012 Challenge, mehr als 10,8 Prozentpunkte niedriger als der Zweitplatzierte. Die Verwendung von Grafikprozessoren (GPUs) während des Trainings machte dies möglich, ein wesentlicher Bestandteil der Deep-Learning-Revolution. Laut The Economist: „Plötzlich begannen die Leute aufzupassen, nicht nur in der KI-Gemeinschaft, sondern in der gesamten Technologiebranche.“
2015 wurde AlexNet von Microsofts sehr tiefem CNN mit über 100 Schichten übertroffen, das den ImageNet 2015-Wettbewerb mit einem Fehler von 3,57 % auf dem Testsatz gewann. Andrej Karpathy schätzte 2014, dass er mit konzentrierter Anstrengung eine Fehlerrate von 5,1 % erreichen könnte, und etwa 10 Personen aus seinem Labor erreichten mit weniger Aufwand etwa 12-13 %. Es wurde geschätzt, dass ein Mensch mit maximaler Anstrengung 2,4 % erreichen könnte.
Diese Ergebnisse zeigten die Leistungsfähigkeit von Deep Learning und neuronalen Netzen und beschleunigten die Einführung von maschinellem Lernen in der gesamten Technologiebranche.
Datensatz
ImageNet lagert seinen Annotationsprozess per Crowdsourcing aus. Bildebenen-Annotationen geben das Vorhandensein oder Fehlen einer Objektklasse in einem Bild an, z. B. „In diesem Bild gibt es Tiger“ oder „In diesem Bild gibt es keine Tiger“. Objektebenen-Annotationen liefern eine Bounding Box um den sichtbaren Teil des angegebenen Objekts. ImageNet verwendet eine Variante des breiten WordNet-Schemas zur Kategorisierung von Objekten, ergänzt um 120 Kategorien von Hunderassen, um eine feinkörnige Klassifizierung zu demonstrieren.
2012 war ImageNet der weltweit größte akademische Nutzer von Mechanical Turk. Der durchschnittliche Arbeiter identifizierte 50 Bilder pro Minute.
Die Zusammenfassungsstatistiken vom 30. April 2010:
- Gesamtzahl der nicht leeren Synsets: 21.841
- Gesamtzahl der Bilder: 14.197.122
- Anzahl der Bilder mit Bounding-Box-Annotationen: 1.034.908
- Anzahl der Synsets mit SIFT-Merkmalen: 1.000
- Anzahl der Bilder mit SIFT-Merkmalen: 1,2 Millionen
Kategorien
Die Kategorien von ImageNet wurden aus WordNet-Konzepten gefiltert. Jedes Konzept, da es mehrere Synonyme enthalten kann (z. B. „Kitty“ und „junges Kätzchen“), wird als „Synonymset“ oder „Synset“ bezeichnet. Es gab mehr als 100.000 Synsets in WordNet 3.0, die Mehrheit davon Substantive (über 80.000). Der ImageNet-Datensatz filterte diese auf 21.841 Synsets, die zählbare Substantive sind, die visuell dargestellt werden können.
Jedes Synset in WordNet 3.0 hat eine „WordNet-ID“ (wnid), die eine Verkettung von Wortart und einem „Offset“ (einer eindeutigen Identifikationsnummer) ist. Jede wnid beginnt mit „n“, da ImageNet nur Substantive enthält. Zum Beispiel ist die wnid des Synsets „Hund, Haushund, Canis familiaris“ „n02084071“.
Die Kategorien in ImageNet fallen in 9 Ebenen, von Ebene 1 (wie „Säugetier“) bis Ebene 9 (wie „Deutscher Schäferhund“).
Bildformat
Die Bilder wurden von Online-Bildsuchmaschinen (Google, Picsearch, MSN, Yahoo, Flickr usw.) mithilfe von Synonymen in mehreren Sprachen gesammelt. Zum Beispiel umfassten die Suchbegriffe für den Deutschen Schäferhund „Deutscher Polizeihund“, „Alsatian“, „ovejero alemán“, „pastore tedesco“ und „德国牧羊犬“.
ImageNet besteht aus Bildern im RGB-Format mit unterschiedlichen Auflösungen. Zum Beispiel hat die Kategorie „Fisch“ in ImageNet 2012 Auflösungen von 4288 x 2848 bis 75 x 56. Im maschinellen Lernen werden diese typischerweise auf eine standardmäßige konstante Auflösung vorverarbeitet und vor der weiteren Verarbeitung durch neuronale Netze gebleicht. Zum Beispiel werden in PyTorch ImageNet-Bilder normalisiert, indem Pixelwerte zwischen 0 und 1 geteilt werden, dann [0,485, 0,456, 0,406] subtrahiert und durch [0,229, 0,224, 0,225] dividiert wird. Dies sind die Mittelwerte und Standardabweichungen für ImageNet, sodass die Eingabedaten gebleicht werden.
Labels und Annotationen
Jedes Bild ist mit genau einer wnid gekennzeichnet. Dichte SIFT-Merkmale (rohe SIFT-Deskriptoren, quantisierte Codewörter und Koordinaten jedes Deskriptors/Codeworts) für ImageNet-1K waren zum Download verfügbar, entwickelt für den Bag-of-Visual-Words-Ansatz. Die Bounding Boxes der Objekte waren für etwa 3.000 beliebte Synsets mit durchschnittlich 150 Bildern in jedem Synset verfügbar. Darüber hinaus haben einige Bilder Attributannotationen, deren voller Umfang hier jedoch nicht detailliert beschrieben wird.
Vermächtnis
Die Schaffung von ImageNet markierte einen Wandel hin zu datenzentrierten Ansätzen in der KI und beeinflusste nachfolgende Datensätze und Benchmarks. Seine jährliche Herausforderung wurde zum Standard für die Messung des Fortschritts in der Computer Vision, und sein Erfolg katalysierte das Wachstum von generativer KI und anderen KI-Anwendungen. Der Datensatz bleibt eine grundlegende Ressource für das Training und die Bewertung von Modellen, und seine Auswirkungen erstrecken sich auf Bereiche wie autonomes Fahren und medizinische Bildgebung.
Trotz seiner Errungenschaften hat ImageNet auch Fragen zu Verzerrungen und Annotationsqualität aufgeworfen, was Diskussionen in der KI-Gemeinschaft über Datensatzkuratierung und Ethik angeregt hat. Dennoch ist seine Rolle bei der Entwicklung moderner KI unbestritten, und es wird weiterhin häufig in Forschung und Industrie verwendet.