AlexNet ist eine Architektur für Convolutional Neural Networks zur Bildklassifikation, die 2012 von Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton an der University of Toronto entwickelt wurde. Sie klassifiziert Bilder in 1.000 Objektkategorien und gilt weithin als die erste groß angelegte Demonstration tiefer Faltungsnetzwerke in der visuellen Erkennung. Ihr entscheidender Sieg bei der ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 markierte einen Wendepunkt im maschinellen Lernen und katalysierte die rasche Einführung von Deep Learning in der Forschung zu künstlicher Intelligenz und in der Industrie.
Das Modell enthält 60 Millionen Parameter und 650.000 Neuronen. Seine Architektur besteht aus acht Schichten: fünf Faltungsschichten (einige gefolgt von Max-Pooling) und drei vollständig verbundenen Schichten. Das Netzwerk verwendete die nicht sättigende ReLU-Aktivierungsfunktion, die die Trainingsgeschwindigkeit gegenüber traditionellen Tanh- und Sigmoid-Aktivierungen verbesserte. Aufgrund von Speicherbeschränkungen wurde das Netzwerk auf zwei GPUs aufgeteilt, wobei jede Kopie die Hälfte der Neuronen verarbeitete. Die letzte vollständig verbundene Schicht kombinierte die Ausgaben beider GPUs.
Architektur
Die Struktur von AlexNet lässt sich wie folgt zusammenfassen: (CONV → RN → MP)2 → (CONV3 → MP) → (FC → DO)2 → Linear → Softmax. Hierbei bezeichnet CONV eine Faltungsschicht mit ReLU-Aktivierung, RN ist lokale Antwortnormalisierung, MP ist Max-Pooling, FC ist eine vollständig verbundene Schicht mit ReLU, Linear ist eine vollständig verbundene Schicht ohne Aktivierung und DO ist Dropout. Bemerkenswerterweise waren die Faltungsschichten 3, 4 und 5 sequenziell verbunden, ohne zwischengeschaltetes Pooling oder Normalisierung.
Das Netzwerk verwendete lokale Antwortnormalisierung und Dropout-Regularisierung mit einer Drop-Wahrscheinlichkeit von 0,5, um Überanpassung zu reduzieren. Alle Gewichte wurden als Gauß-Verteilungen mit Mittelwert 0 und Standardabweichung 0,01 initialisiert. Die Biase in den Faltungsschichten 2, 4, 5 und allen vollständig verbundenen Schichten wurden auf 1 initialisiert, um das Problem sterbender ReLUs zu vermeiden.
Training
Das Modell wurde auf dem ImageNet-Trainingsdatensatz mit 1,2 Millionen Bildern trainiert. Das Training lief über 90 Epochen über fünf bis sechs Tage unter Verwendung von zwei Nvidia GTX 580 GPUs (je 3 GB), die eine theoretische Leistung von 1,581 TFLOPS in Float32 hatten. Jeder Vorwärtsdurchlauf erforderte etwa 1,43 GFLOPs. Die im JPEG-Format gespeicherten Datensatzbilder belegten 27 GB Speicherplatz; das Netzwerk verwendete 2 GB RAM auf jeder GPU und etwa 5 GB System-RAM während des Trainings. GPUs übernahmen das Training, während CPUs die Bildladung und Datenaugmentierung durchführten.
Das Training verwendete Momentum-Gradientenabstieg mit einer Batchgröße von 128, Momentum von 0,9 und Gewichtsabfall von 0,0005. Die Lernrate startete bei 10⁻² und wurde manuell um den Faktor 10 reduziert, wann immer der Validierungsfehler ein Plateau erreichte, und endete bei 10⁻⁵. Zwei Formen der Datenaugmentierung wurden on-the-fly auf der CPU angewendet, praktisch kostenlos: Erstens wurden Bilder so skaliert, dass ihre kürzere Seite 256 Pixel betrug, dann wurde ein zentraler 256×256-Zuschnitt entnommen und normalisiert; zweitens wurden zufällige 224×224-Patches (und ihre horizontalen Spiegelungen) aus dem 256×256-Zuschnitt extrahiert, was die Trainingsdatensatzgröße um das 2048-fache erhöhte. Zusätzlich wurden die RGB-Werte jedes Bildes zufällig entlang der Hauptkomponenten der Pixelfarbverteilung verschoben.
ImageNet-Wettbewerb
Das Team, genannt SuperVision, reichte ein Ensemble aus sieben AlexNets beim ILSVRC-2012-Wettbewerb am 30. September 2012 ein. Fünf Netzwerke verwendeten die Standardarchitektur, während zwei Varianten eine zusätzliche Faltungsschicht hatten und auf dem größeren ImageNet-Fall-2011-Release (15 Millionen Bilder, 22.000 Kategorien) vortrainiert wurden, bevor sie auf dem ILSVRC-2012-Trainingsdatensatz feinabgestimmt wurden. Die endgültige Vorhersage war der Durchschnitt der Wahrscheinlichkeiten aller sieben Netzwerke. Das Ensemble erreichte eine Top-5-Fehlerrate von 15,3 %, mehr als 10,8 Prozentpunkte besser als der Zweitplatzierte, eine dramatische Verbesserung, die die Computer-Vision-Gemeinschaft verblüffte.
Auswirkungen und Vermächtnis
Der Erfolg von AlexNet demonstrierte die Leistungsfähigkeit tiefer Faltungsnetzwerke für die groß angelegte visuelle Erkennung und beeinflusste direkt nachfolgende Architekturen wie ResNet und U-Net. Es popularisierte auch die Verwendung von GPUs für das Training tiefer Netzwerke, eine Praxis, die in dem Feld Standard wurde. Die Betonung der Tiefe und die Wirksamkeit von ReLU, Dropout und Datenaugmentierung in dem Papier prägten die moderne Praxis des Deep Learning. AlexNet wird oft als Katalysator für die Deep-Learning-Revolution zitiert, die zu Durchbrüchen in generativer KI und der Entwicklung von großen Sprachmodellen und Transformatoren führte. Sein Einfluss reichte über die Wissenschaft hinaus und förderte Investitionen in die KI-Forschung bei Unternehmen wie OpenAI, Google DeepMind und Anthropic.