AlexNet ist ein faltendes neuronales Netzwerk, das von Alex Krizhevsky zusammen mit Ilya Sutskever und Geoffrey Hinton an der Universität von Toronto entworfen wurde. Bei dem Wettbewerb ILSVRC-2012 im Jahr 2012 klassifizierte es ImageNet-Fotografien in 1.000 Kategorien mit einer Top-5-Fehlerrate von 15,3 Prozent, mehr als zehn Prozentpunkte vor dem zweitbesten Teilnehmer, der weiterhin auf traditionelle, handgefertigte Computer-Vision-Merkmale setzte. Dieses Ergebnis wird allgemein als Ausgangspunkt der modernen Ära des Deep Learning betrachtet.
Der Name des Netzwerks ist eine Verkürzung des Vornamens seines Hauptautors und war nicht als formeller Produkttitel gedacht; das Papier selbst wird üblicherweise einfach als „ImageNet Classification with Deep Convolutional Neural Networks“ (2012) zitiert.
Geschichte
Krizhevsky baute AlexNet als Doktorand in Hintons Labor auf und erweiterte dabei frühere Arbeiten zu Faltungsnetzwerken von Yann LeCun aus den 1990er Jahren. Faltungsnetzwerke existierten bereits seit zwei Jahrzehnten, und der von Fei-Fei Lis Gruppe zusammengestellte ImageNet-Datensatz war seit 2009 öffentlich zugänglich, aber kein Team hatte zuvor ein ausreichend tiefes Netzwerk mit genügend Rechenleistung und Daten kombiniert, um klassische Vision-Pipelines zu schlagen. Krizhevsky trainierte das Modell auf zwei NVIDIA-GPU-Karten (GTX 580er), wobei er das Netzwerk auf beide aufteilte, weil eine einzelne Karte nicht genügend Speicher hatte, und nutzte NVIDIAs CUDA-Plattform, um die Low-Level-Kernel selbst zu schreiben.
Architektur
AlexNet hat acht gelernte Schichten: fünf Faltungsschichten, gefolgt von drei vollständig verbundenen Schichten, mit insgesamt etwa 60 Millionen Parametern. Mehrere Entscheidungen unterschieden es von früheren Netzwerken. Es verwendete die ReLU-Aktivierungsfunktion (Rectified Linear Unit) anstelle der langsameren sättigenden Sigmoid- oder Tanh-Funktionen, was das Training erheblich beschleunigte. Es wandte Dropout, eine Regularisierungstechnik, in den vollständig verbundenen Schichten an, um Überanpassung an einem Datensatz von 1,2 Millionen Trainingsbildern zu reduzieren. Es nutzte Daten-Augmentierung (zufällige Ausschnitte und horizontale Spiegelungen), um Überanpassung weiter einzugrenzen, sowie lokale Antwortnormalisierung zwischen den Schichten, eine Technik, die spätere Netzwerkgenerationen größtenteils verwarfen. Das Training verwendete Backpropagation mit stochastischem Gradientenabstieg über etwa sechs Tage auf den zwei GPUs, ein für damalige Verhältnisse ungewöhnlich großer Rechenaufwand für ein Vision-Modell.
Auswirkungen und Vermächtnis
AlexNets deutlicher Sieg überzeugte einen Großteil des Computer-Vision-Feldes, das nach den Rückschlägen des zweiten KI-Winters skeptisch gegenüber neuronalen Netzwerk-Ansätzen war, davon, dass Tiefe plus Skalierung plus GPU-Rechenleistung eine gewinnbringende Kombination war. Die Zitationen des ursprünglichen Papiers gehen in die Zehntausende, und das Papier wird häufig als kanonisches Beispiel für ein feldveränderndes empirisches Ergebnis gelehrt. Die industrielle Übernahme folgte schnell: Innerhalb von zwei Jahren nutzten die meisten Teilnehmer der ImageNet-Herausforderung tiefe Faltungsnetzwerke, und Unternehmen wie Google, Facebook und Baidu bauten große interne Deep-Learning-Teams auf. NVIDIAs Aktie und Strategie verschoben sich nach AlexNet, da GPUs zunehmend für das Training statt nur für das Rendern von Grafiken vermarktet wurden, eine Beziehung, die sich im folgenden Jahrzehnt vertiefte, als Netzwerke von AlexNets acht Schichten auf Hunderte von Schichten und später auf die sehr unterschiedliche Architektur des Transformers anwuchsen.
AlexNet selbst wurde schnell durch tiefere Netzwerke wie VGGNet, GoogLeNet und ResNet in nachfolgenden ImageNet-Wettbewerben übertroffen, und Faltungsarchitekturen für viele Aufgaben wurden seitdem durch Vision-Transformer herausgefordert. Seine bleibende Bedeutung ist eher historisch als technisch: Es wird allgemein als das einzelne Ergebnis zitiert, das die breitere Machine-Learning- und Computer-Vision-Gemeinschaft davon überzeugte, sich in großem Maßstab auf Deep-Learning-Methoden zu verpflichten, was sowohl akademische Forschungsprioritäten als auch die Hardware-Industrie, die sie unterstützt, neu gestaltete.