ImageNet ist ein groß angelegter Datensatz mit beschrifteten Bildern, die gemäß der Wortnetz-Nomenklaturhierarchie organisiert sind, und zugleich der Name, der üblicherweise für die darauf aufbauende jährliche ImageNet Large Scale Visual Recognition Challenge (ILSVRC) verwendet wird. Er wurde ab 2006 von Fei-Fei Li und Kollegen in Princeton und Stanford erstellt und erstmals 2009 vorgestellt. Der Datensatz wuchs schließlich auf etwa 14 Millionen Bilder an, die mehr als 20.000 Kategorien umfassen, wobei die in Wettbewerben verwendete ILSVRC-Teilmenge 1.000 Objektklassen abdeckt. ImageNet wird weithin zugeschrieben, die für die Praktikabilität von Deep-Learning-Methoden in der Computer Vision erforderliche Datenmenge bereitgestellt zu haben, und sein Wettbewerb von 2012 wird häufig als der Moment zitiert, der die moderne Wiederbelebung des Fachgebiets auslöste.
Geschichte
Fei-Fei Li begann das ImageNet-Projekt aus der Überzeugung heraus, dass Fortschritte in der visuellen Erkennung weniger durch Algorithmen als durch das Fehlen eines ausreichend großen, vielfältigen und gut beschrifteten Datensatzes begrenzt waren. Aufbauend auf der lexikalischen Datenbank WordNet machte sich das Team daran, Bilder für jedes Nomen-Synset zu sammeln, wobei Websuche nach Bildern zur Sammlung von Kandidaten und Crowdsourcing über Amazon Mechanical Turk zur Verifizierung der Beschriftungen eingesetzt wurden. Der vollständige Datensatz wurde 2009 auf der IEEE Conference on Computer Vision and Pattern Recognition vorgestellt, und der ILSVRC-Wettbewerb startete im folgenden Jahr, bei dem Forschungsteams bei Klassifikations- und Erkennungsaufgaben an einer zurückgehaltenen Teilmenge von etwa 1,2 Millionen Trainingsbildern gegeneinander antraten.
Der Durchbruch von 2012
Die ILSVRC 2012 ist der bekannteste Moment des Datensatzes. Ein von Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton eingereichtes Convolutional Neural Network, später als AlexNet bezeichnet, senkte die Top-5-Fehlerrate des Wettbewerbs von etwa 26 Prozent auf etwa 15 Prozent, ein Abstand, der weit größer war als jede frühere Verbesserung von Jahr zu Jahr. Das Ergebnis hing vom Training eines tiefen Netzwerks im Maßstab der beschrifteten Daten von ImageNet unter Verwendung von GPU-Hardware ab, und es wird ausführlicher im Artikel über das Ereignis ImageNet 2012 (AlexNet moment) beschrieben. Der Sieg überzeugte einen Großteil der Computer-Vision-Gemeinschaft, die handgefertigte Merkmale und andere Machine-Learning-Methoden bevorzugt hatte, dass tiefe neuronale Netze, die auf großen beschrifteten Datensätzen trainiert wurden, frühere Ansätze mit großem Abstand übertreffen konnten.
Vermächtnis und Auswirkungen
Nach 2012 waren die ILSVRC-Gewinner fast jedes Jahr tiefe Netzwerke, wobei Architekturen wie VGG, GoogLeNet und ResNet die Top-5-Fehlerrate bis 2015 schrittweise unter 5 Prozent senkten, unter die Fehlerrate, die typischerweise menschlichen Annotatoren bei derselben Aufgabe zugeschrieben wird. ImageNet-Pretraining wurde ebenfalls zu einer Standardtechnik: Modelle, die für die Klassifikation auf ImageNet trainiert wurden, wurden als Merkmalsextraktoren oder Ausgangspunkte für das Feintuning bei anderen Vision-Aufgaben wiederverwendet, ein frühes groß angelegtes Beispiel für Transfer Learning. Die Rolle des Datensatzes als gemeinsamer Benchmark ermöglichte den Vergleich von Architekturen unter konsistenten Bedingungen, eine Praxis, die spätere Benchmarks für Sprach- und Reasoning-Modelle übernahmen. Der Wettbewerb selbst lief bis 2017, danach urteilten die Organisatoren, dass die Fehlerraten nahe der praktischen Grenze des Rauschens der Annotationen gesättigt waren.
Kritik
ImageNet wurde auch als Beispiel für die Probleme untersucht, die in großen, aus dem Web gescrapten Trainingsdaten inhärent sind. Forscher fanden heraus, dass einige Nicht-Objekt-Kategorien im vollständigen Satz von 14 Millionen Bildern, insbesondere im von WordNet geerbten Zweig „Person“, anstößige oder unangemessene Beschriftungen enthielten, was das ImageNet-Team 2019 dazu veranlasste, große Teile dieses Zweigs zu entfernen oder zu verpixeln. Der Vorfall wurde zu einer häufig zitierten Fallstudie in Diskussionen über algorithmische Verzerrung und die Schwierigkeit, Datensätze im Internet-Maßstab verantwortungsvoll zu kuratieren, und nahm ähnliche Debatten über die Text- und Bildkorpora vorweg, die zum Pretraining späterer generativer Modelle verwendet wurden.