GoogLeNet (Inception)

GoogLeNet, später in Inception v1 umbenannt, ist ein faltendes neuronales Netz (CNN) für Computer Vision, das 2014 von Forschern bei Google eingeführt wurde. Es gewann die ImageNet Large-Scale Visual Recognition Challenge 2014 (ILSVRC14) und reduzierte die Fehlerrate bei der Bildklassifikation erheblich. Die Architektur war historisch bedeutsam als ein frühes CNN, das den Stamm (Dateneingabe), den Körper (Datenverarbeitung) und den Kopf (Vorhersage) trennt - ein Design, das in den meisten modernen CNN-Architekturen fortbesteht.

Der Name "GoogLeNet" war eine Hommage an LeNet, das CNN von Yann LeCun aus dem Jahr 1998, da beide CNNs sind. Das Team nannte es auch "Inception" nach einem Internet-Meme mit dem Satz "we need to go deeper", einem Zitat aus dem Film Inception von 2010. Da spätere Versionen veröffentlicht wurden, wurde die ursprüngliche Architektur in "Inception v1" umbenannt. Die Modelle und der Code wurden unter der Apache-2.0-Lizenz auf GitHub veröffentlicht.

Architektur und wichtigste Neuerungen

Inception v1 ist ein tiefes CNN, das aus 22 Schichten besteht, von denen die meisten "Inception-Module" sind. Das ursprüngliche Papier beschrieb Inception-Module als einen "logischen Höhepunkt" des Network-in-Network-Ansatzes und der Arbeit von Arora et al. (2014). Jedes Inception-Modul wendet mehrere Faltungsfilter unterschiedlicher Größen (1x1, 3x3, 5x5) und Pooling parallel an und verkettet dann deren Ausgaben, wodurch das Netzwerk Merkmale auf verschiedenen Skalen erfassen kann.

Aufgrund seiner Tiefe litt Inception v1 unter dem Problem des verschwindenden Gradienten. Das Team adressierte dies durch die Einfügung von zwei "Hilfsklassifikatoren" bei einem Drittel und zwei Dritteln der Tiefe innerhalb des Netzwerks. Die Verlustfunktion war eine gewichtete Summe aller drei Klassifikatoren: L = 0,3 L_aux1 + 0,3 L_aux2 + L_real. Diese Hilfsklassifikatoren wurden nach Abschluss des Trainings entfernt. Dieses Problem wurde später grundlegender durch die ResNet-Architektur gelöst.

Die Architektur besteht aus drei Teilen, die übereinander gestapelt sind:

• Der Stamm (Dateneingabe): Die ersten Faltungsschichten führen eine Datenvorverarbeitung durch, um Bilder auf eine kleinere Größe zu verkleinern.
• Der Körper (Datenverarbeitung): Die folgenden vielen Inception-Module übernehmen den Großteil der Datenverarbeitung.
• Der Kopf (Vorhersage): Die abschließende vollständig verbundene Schicht und Softmax erzeugen eine Wahrscheinlichkeitsverteilung für die Bildklassifikation.

Inception v2

Inception v2 wurde 2015 veröffentlicht, in einem Papier, das eher für die Einführung der Batch-Normalisierung bekannt ist. Es hatte 13,6 Millionen Parameter. Es verbesserte Inception v1 durch die Hinzufügung der Batch-Normalisierung und entfernte Dropout und lokale Antwortnormalisierung, die die Forscher als unnötig empfanden, wenn Batch-Normalisierung verwendet wurde.

Inception v3

Inception v3 wurde 2016 veröffentlicht. Es verbesserte Inception v2 durch die Verwendung faktorisierter Faltungen. Beispielsweise kann eine einzelne 5x5-Faltung in zwei gestapelte 3x3-Faltungen zerlegt werden, die beide ein rezeptives Feld der Größe 5x5 haben. Der 5x5-Kernel hat 25 Parameter im Vergleich zu 18 in der faktorisierten Version, was die faktorisierte Version parameter-effizienter macht. Das Team stellte empirisch fest, dass faktorisierte Faltungen die Leistung verbesserten.

Es führte auch eine Form der Dimensionsreduktion ein, indem die Ausgabe einer Faltungsschicht und einer Pooling-Schicht verkettet wurde. Beispielsweise kann ein Tensor der Größe 35x35x320 durch eine Faltung mit Schrittweite 2 auf 17x17x320 verkleinert werden und durch Maxpooling mit Poolgröße 2x2 auf 17x17x320, die dann zu 17x17x640 verkettet werden.

Inception v3 entfernte auch den untersten Hilfsklassifikator während des Trainings und stellte fest, dass der Hilfskopf als eine Form der Regularisierung fungierte. Zusätzlich schlug es eine Label-Smoothing-Regularisierung vor: Für ein Bild mit Label c sagt das Modell anstelle der One-Hot-Verteilung δ_c eine geglättete Verteilung (1 - ε)δ_c + ε/K voraus, wobei K die Gesamtzahl der Klassen ist.

Inception v4 und Inception ResNet

Im Jahr 2017 veröffentlichte das Team Inception v4, Inception ResNet v1 und Inception ResNet v2. Inception v4 war ein inkrementelles Update mit noch mehr faktorisierten Faltungen und anderen Komplikationen, die empirisch als vorteilhaft für Benchmarks befunden wurden. Inception ResNet v1 und v2 sind beide Modifikationen von Inception v4, bei denen Restverbindungen zu jedem Inception-Modul hinzugefügt wurden, inspiriert von der ResNet-Architektur.

Xception

Xception ("Extreme Inception") wurde 2017 veröffentlicht. Es ist ein linearer Stapel von Tiefen-getrennten Faltungsschichten mit Restverbindungen. Das Design wurde auf der Hypothese vorgeschlagen, dass in einem CNN die Querkanalkorrelationen und räumlichen Korrelationen in den Merkmalskarten vollständig entkoppelt werden können. Das Training jedes Xception-Netzwerks dauerte 3 Tage auf 60 K80-GPUs, was ungefähr 0,5 PetaFLOP-Tagen entspricht.

Die Inception-Familie war sehr einflussreich in der Entwicklung des Deep Learning für Computer Vision, und ihre architektonischen Prinzipien beeinflussen weiterhin das moderne CNN-Design.