AlexNet ist eine Convolutional Neural Network-Architektur, die für die Bildklassifikation entwickelt wurde und insbesondere durch ihre Leistung in der ImageNet Large Scale Visual Recognition Challenge (ILSVRC) Bekanntheit erlangte. Sie klassifiziert Bilder in 1.000 verschiedene Objektkategorien und gilt als die erste weithin anerkannte Anwendung tiefer convolutional neuronaler Netze in der großflächigen visuellen Erkennung.
Entwickelt im Jahr 2012 von Alex Krizhevsky in Zusammenarbeit mit Ilya Sutskever und seinem Doktorvater Geoffrey Hinton an der University of Toronto, enthält das Modell 60 Millionen Parameter und 650.000 Neuronen. Das Hauptergebnis der ursprünglichen Arbeit war, dass die Tiefe des Modells für seine hohe Leistung entscheidend war, was rechenintensiv, aber durch die Nutzung von Grafikprozessoren (GPUs) während des Trainings machbar war.
Architektur
AlexNet enthält acht Schichten: Die ersten fünf sind convolutional Schichten, einige gefolgt von Max-Pooling-Schichten, und die letzten drei sind vollständig verbundene Schichten. Das Netzwerk ist, mit Ausnahme der letzten Schicht, in zwei Kopien aufgeteilt, die jeweils auf einer GPU laufen, da das Netzwerk nicht in den VRAM einer einzelnen Nvidia GTX 580 3GB GPU passte. Die gesamte Struktur kann als (CONV → RN → MP)2 → (CONV3 → MP) → (FC → DO)2 → Linear → Softmax geschrieben werden, wobei CONV = convolutional Schicht (mit ReLU-Aktivierung), RN = lokale Antwortnormalisierung, MP = Max-Pooling, FC = vollständig verbundene Schicht (mit ReLU-Aktivierung), Linear = vollständig verbundene Schicht (ohne Aktivierung) und DO = Dropout bedeutet.
Bemerkenswerterweise waren die convolutional Schichten 3, 4 und 5 ohne Pooling oder Normalisierung miteinander verbunden. Es verwendete die nicht-sättigende ReLU-Aktivierungsfunktion, die besser trainierte als tanh und sigmoid. Die Architektur beeinflusste eine große Anzahl nachfolgender Arbeiten im Deep Learning, insbesondere bei der Anwendung neuronaler Netze auf Computer Vision.
Training
Der ImageNet-Trainingssatz enthielt 1,2 Millionen Bilder. Das Modell wurde über 90 Epochen in einem Zeitraum von fünf bis sechs Tagen mit zwei Nvidia GTX 580 GPUs (jeweils 3GB) trainiert. Diese GPUs haben eine theoretische Leistung von 1,581 TFLOPS in float32 und waren bei der Veröffentlichung für 500 US-Dollar erhältlich. Jeder Vorwärtsdurchlauf von AlexNet erforderte etwa 1,43 GFLOPs. Basierend auf diesen Werten waren die beiden GPUs zusammen theoretisch in der Lage, unter idealen Bedingungen über 2.200 Vorwärtsdurchläufe pro Sekunde durchzuführen.
Die Datenbankbilder wurden im JPEG-Format gespeichert und belegten 27 GB Speicherplatz. Das neuronale Netzwerk belegte 2 GB RAM auf jeder GPU und etwa 5 GB System-RAM während des Trainings. Die GPUs waren für das Training verantwortlich, während die CPUs für das Laden der Bilder von der Festplatte und die Datenaugmentierung der Bilder zuständig waren.
AlexNet wurde mit Momentum-Gradientenabstieg mit einer Batch-Größe von 128 Beispielen, einem Momentum von 0,9 und einem Gewichtsabfall von 0,0005 trainiert. Die Lernrate begann bei 10−2 und wurde manuell um den Faktor 10 verringert, wann immer der Validierungsfehler aufhörte zu sinken; sie wurde während des Trainings dreimal reduziert und endete bei 10−5.
Es verwendete zwei Formen der Datenaugmentierung, beide on-the-fly auf der CPU berechnet, also "rechenfrei":
- Jedes Bild aus ImageNet wurde zuerst so skaliert, dass seine kürzere Seite eine Länge von 256 hatte. Dann wurde der zentrale 256×256-Patch ausgeschnitten und normalisiert (die Pixelwerte werden dividiert, sodass sie zwischen 0 und 1 liegen, dann wird [0,485, 0,456, 0,406] subtrahiert und dann durch [0,229, 0,224, 0,225] dividiert). Dies sind die Mittelwerte und Standardabweichungen für ImageNet, sodass die Eingabedaten gebleicht werden.
- Das Extrahieren zufälliger 224×224-Patches (und ihrer horizontalen Spiegelungen) aus dem 256×256-Crop vergrößert den Trainingssatz um den Faktor 2048.
- Zufälliges Verschieben des RGB-Werts jedes Bildes entlang der drei Hauptrichtungen der RGB-Werte seiner Pixel.
Die Auflösung 224×224 wurde gewählt, weil 256 - 16 - 16 = 224, was bedeutet, dass bei einem 256×256-Bild das Einrahmen einer Breite von 16 auf seinen 4 Seiten ein 224×224-Bild ergibt.
Es verwendete lokale Antwortnormalisierung und Dropout-Regularisierung mit einer Drop-Wahrscheinlichkeit von 0,5. Alle Gewichte wurden als Gauß-Verteilungen mit Mittelwert 0 und Standardabweichung 0,01 initialisiert. Die Bias in den convolutional Schichten 2, 4, 5 und allen vollständig verbundenen Schichten wurden auf die Konstante 1 initialisiert, um das Problem des sterbenden ReLU zu vermeiden.
Zur Testzeit, um ein trainiertes AlexNet zur Vorhersage der Klasse eines Bildes zu verwenden, wird das Bild zuerst so skaliert, dass seine kürzere Seite eine Länge von 256 hat. Dann wird der zentrale 256×256-Patch ausgeschnitten. Dann werden die fünf 224×224-Patches (die vier Eck-Patches und der mittlere Patch) sowie ihre horizontalen Spiegelungen berechnet, insgesamt 10 Patches. Die vorhergesagten Wahrscheinlichkeiten des Netzwerks für alle 10 Patches werden gemittelt, und das ist die endgültige vorhergesagte Wahrscheinlichkeit.
ImageNet-Wettbewerb
Die Version, die für den 2012 ImageNet-Wettbewerb verwendet wurde, war ein Ensemble von 7 AlexNets. Genauer gesagt trainierten sie 5 AlexNets der zuvor beschriebenen Architektur (mit 5 CONV-Schichten) auf dem ILSVRC-2012-Trainingssatz (1,2 Millionen Bilder). Sie trainierten auch 2 Varianten von AlexNets, die durch Hinzufügen einer zusätzlichen CONV-Schicht über der letzten Pooling-Schicht erhalten wurden. Diese wurden trainiert, indem zuerst auf der gesamten ImageNet-Fall-2011-Veröffentlichung (15 Millionen Bilder in 22K Kategorien) trainiert und dann auf dem ILSVRC-2012-Trainingssatz feinabgestimmt wurde. Das endgültige System aus 7 AlexNets wurde durch Mittelung ihrer vorhergesagten Wahrscheinlichkeiten verwendet.
Die drei bildeten das Team SuperVision und reichten AlexNet in der ImageNet Large Scale Visual Recognition Challenge am 30. September 2012 ein. Das Netzwerk erreichte eine Top-5-Fehlerrate von 15,3 % und gewann den Wettbewerb, mehr als 10,8 % über dem Zweitplatzierten.
Geschichte
Frühere Arbeiten
Im Jahr 1980 schlug Kunihiko Fukushima ein frühes CNN namens Neocognitron vor, das mit einem unüberwachten Lernalgorithmus trainiert wurde. Das LeNet-5 (Yann LeCun et al., 1989) wurde mit überwachtem Lernen mit dem Backpropagation-Algorithmus trainiert, mit einer Architektur, die im Wesentlichen dieselbe wie AlexNet in kleinem Maßstab war. Max-Pooling wurde 1990 für die Sprachverarbeitung verwendet (im Wesentlichen ein 1-dimensionales CNN) und für die Bildverarbeitung erstmals im Cresceptron von 1992 verwendet.
Während der 2000er Jahre, als sich die GPU-Hardware verbesserte, passten einige Forscher diese für allgemeine Berechnungen an, einschließlich des Trainings neuronaler Netze. K. Chellapilla et al. (2006) trainierten ein CNN auf einer GPU, das 4-mal schneller war als eine äquivalente CPU-Implementierung. Raina et al. (2009) trainierten ein Deep Belief Network mit 100 Millionen Parametern auf einer Nvidia GeForce GTX 280 mit bis zu 70-facher Beschleunigung gegenüber CPUs. Ein tiefes CNN von Dan Cireșan et al. (2011) bei IDSIA war 60-mal schneller als eine äquivalente CPU-Implementierung. Zwischen dem 15. Mai 2011 und dem 10. September 2012 gewann ihr CNN vier Bildwettbewerbe und erreichte den Stand der Technik für mehrere Bilddatenbanken. Laut dem AlexNet-Papier ist Cireșans früheres Netz "etwas ähnlich". Beide wurden mit CUDA geschrieben, um auf der GPU zu laufen.
Computer Vision
Während des Zeitraums 1990–2010 waren neuronale Netze nicht besser als andere Machine-Learning-Methoden wie Kernel-Regression und Support Vector Machines. AlexNets Erfolg in der ILSVRC 2012 markierte einen Wendepunkt und zeigte, dass tiefe CNNs traditionelle Ansätze mit großem Abstand übertreffen konnten, was zur weit verbreiteten Übernahme von Deep Learning in der Computer Vision und darüber hinaus führte.