SqueezeNet es una red neuronal profunda para la clasificación de imágenes publicada en 2016. Fue desarrollada por investigadores de DeepScale, la Universidad de California, Berkeley, y la Universidad de Stanford. El objetivo principal de diseño fue crear una red neuronal más pequeña con menos parámetros mientras se mantenía una precisión competitiva. El modelo SqueezeNet de mejor rendimiento logró la misma precisión que AlexNet en la clasificación de ImageNet, pero con un tamaño 510 veces menor que el archivo de parámetros de 240 MB de AlexNet, reduciéndolo a solo 5 MB.
La arquitectura de SqueezeNet se basa en "módulos de fuego", que combinan una capa de compresión (convoluciones de 1x1) para reducir el número de canales, seguida de una capa de expansión (una mezcla de convoluciones de 1x1 y 3x3) para aumentar los mapas de características. Este diseño reduce drásticamente el número de parámetros en comparación con las redes convolucionales tradicionales. El modelo no es una versión comprimida de AlexNet, sino una arquitectura completamente distinta que logra una precisión similar en el conjunto de datos de validación de ImageNet.
Historial de versiones
SqueezeNet se publicó originalmente el 22 de febrero de 2016, implementado sobre el marco de aprendizaje profundo Caffe. Poco después, la comunidad de código abierto lo portó a otros marcos. El 26 de febrero de 2016, Eddie Bell publicó una versión para Chainer; el 2 de marzo de 2016, Guo Haria publicó una versión para Apache MXNet; y el 3 de junio de 2016, Tammy Yang publicó una versión para Keras. En 2017, empresas como Baidu, Xilinx, Imagination Technologies y Synopsys demostraron SqueezeNet ejecutándose en plataformas de bajo consumo, como teléfonos inteligentes, FPGA y procesadores personalizados. A partir de 2018, SqueezeNet se incluye de forma nativa en marcos como PyTorch, Apache MXNet y Apple CoreML, con implementaciones de terceros disponibles para TensorFlow.
Relación con otras redes
AlexNet
SqueezeNet se describió originalmente en el artículo "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size". AlexNet tiene 240 MB de parámetros, mientras que SqueezeNet tiene solo 5 MB. Este pequeño tamaño facilita que SqueezeNet quepa en la memoria de la computadora y se transmita a través de una red. Sin embargo, SqueezeNet no es una versión comprimida de AlexNet; es una arquitectura de red neuronal profunda completamente diferente. Ambas logran aproximadamente la misma precisión en el conjunto de datos de validación de clasificación de imágenes de ImageNet.
Compresión de modelos
Las técnicas de compresión de modelos, como la cuantización y la poda, se pueden aplicar después del entrenamiento. En el artículo de SqueezeNet, los autores demostraron que una técnica llamada Deep Compression puede reducir el archivo de parámetros de 5 MB a 500 KB. Deep Compression también se ha aplicado a otras redes como AlexNet y VGG, pero el pequeño tamaño base de SqueezeNet lo hace particularmente adecuado para la implementación en el borde.
Variantes
Algunos miembros originales del equipo de SqueezeNet continuaron desarrollando redes eficientes en recursos, lo que llevó a variantes como SqueezeNext y otros modelos de la "familia squeeze". La comunidad de código abierto también ha extendido SqueezeNet a otras aplicaciones, incluida la segmentación semántica de imágenes y la transferencia de estilo. Estas variantes y adaptaciones mantienen el principio central de equilibrar la precisión con la eficiencia de parámetros.