SqueezeNet ist ein tiefes neuronales Netzwerk zur Bildklassifikation, das 2016 veröffentlicht wurde. Es wurde von Forschern bei DeepScale, der University of California, Berkeley, und der Stanford University entwickelt. Das primäre Entwurfsziel war es, ein kleineres neuronales Netzwerk mit weniger Parametern zu erstellen und dabei eine wettbewerbsfähige Genauigkeit beizubehalten. Das beste SqueezeNet-Modell erreichte auf der ImageNet-Klassifikation die gleiche Genauigkeit wie AlexNet, war jedoch 510-mal kleiner als AlexNets 240-MB-Parameterdatei und reduzierte diese auf nur 5 MB.
SqueezeNets Architektur basiert auf „Fire-Modulen", die eine Squeeze-Schicht (1x1-Faltungen) zur Reduzierung der Kanalanzahl mit einer anschließenden Expand-Schicht (eine Mischung aus 1x1- und 3x3-Faltungen) zur Erhöhung der Feature-Maps kombinieren. Dieses Design reduziert die Parameteranzahl im Vergleich zu herkömmlichen Faltungsnetzwerken drastisch. Das Modell ist keine komprimierte Version von AlexNet, sondern eine völlig eigenständige Architektur, die auf dem ImageNet-Validierungsdatensatz zufällig eine ähnliche Genauigkeit erreicht.
Versionsgeschichte
SqueezeNet wurde ursprünglich am 22. Februar 2016 veröffentlicht und auf dem Caffe-Deep-Learning-Framework implementiert. Kurz darauf portierte die Open-Source-Community es auf andere Frameworks. Am 26. Februar 2016 veröffentlichte Eddie Bell einen Port für Chainer; am 2. März 2016 veröffentlichte Guo Haria einen Port für Apache MXNet; und am 3. Juni 2016 veröffentlichte Tammy Yang einen Port für Keras. Im Jahr 2017 demonstrierten Unternehmen wie Baidu, Xilinx, Imagination Technologies und Synopsys SqueezeNet auf stromsparenden Plattformen wie Smartphones, FPGAs und kundenspezifischen Prozessoren. Ab 2018 ist SqueezeNet nativ in Frameworks wie PyTorch, Apache MXNet und Apple CoreML integriert, mit Drittanbieter-Implementierungen für TensorFlow.
Beziehung zu anderen Netzwerken
AlexNet
SqueezeNet wurde ursprünglich in dem Paper „SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size" beschrieben. AlexNet hat 240 MB an Parametern, während SqueezeNet nur 5 MB hat. Diese geringe Größe erleichtert es, SqueezeNet in den Computerspeicher zu laden und über ein Netzwerk zu übertragen. SqueezeNet ist jedoch keine komprimierte Version von AlexNet, sondern eine völlig andere Architektur eines tiefen neuronalen Netzwerks. Beide erreichen ungefähr die gleiche Genauigkeit auf dem ImageNet-Validierungsdatensatz zur Bildklassifikation.
Modellkompression
Techniken zur Modellkompression, wie Quantisierung und Pruning, können nach dem Training angewendet werden. Im SqueezeNet-Paper demonstrierten die Autoren, dass eine Technik namens Deep Compression die Parameterdatei von 5 MB auf 500 KB reduzieren kann. Deep Compression wurde auch auf andere Netzwerke wie AlexNet und VGG angewendet, aber SqueezeNets kleine Ausgangsbasis macht es besonders für den Einsatz am Rand geeignet.
Varianten
Einige Mitglieder des ursprünglichen SqueezeNet-Teams entwickelten ressourceneffiziente Netzwerke weiter, was zu Varianten wie SqueezeNext und anderen Modellen der „Squeeze"-Familie führte. Die Open-Source-Community hat SqueezeNet auch auf andere Anwendungen erweitert, darunter semantische Segmentierung von Bildern und Stiltransfer. Diese Varianten und Anpassungen wahren das Kernprinzip, Genauigkeit und Parametereffizienz in Einklang zu bringen.