SqueezeNetは、2016年に公開された画像分類用のディープニューラルネットワークである。DeepScale、カリフォルニア大学バークレー校、スタンフォード大学の研究者らによって開発された。主な設計目標は、競争力のある精度を維持しながら、より少ないパラメータでより小さなニューラルネットワークを作成することであった。最も性能の高いSqueezeNetモデルは、ImageNet分類においてAlexNetと同じ精度を達成したが、サイズはAlexNetの240 MBのパラメータファイルより510倍小さく、わずか5 MBに削減された。
SqueezeNetのアーキテクチャは「ファイアモジュール」に依存しており、これはチャネル数を削減するスクイーズ層（1x1畳み込み）と、特徴マップを増やすエキスパンド層（1x1と3x3の畳み込みの混合）を組み合わせたものである。この設計により、従来の畳み込みネットワークと比較してパラメータ数が大幅に削減される。このモデルはAlexNetの圧縮版ではなく、ImageNet検証データセットで同様の精度を達成するまったく異なるアーキテクチャである。
バージョン履歴
SqueezeNetは当初、2016年2月22日にCaffeディープラーニングフレームワーク上で実装されて公開された。その後まもなく、オープンソースコミュニティによって他のフレームワークにも移植された。2016年2月26日にはEddie BellがChainer用の移植版を公開し、2016年3月2日にはGuo HariaがApache MXNet用の移植版を公開し、2016年6月3日にはTammy YangがKeras用の移植版を公開した。2017年には、Baidu、Xilinx、Imagination Technologies、Synopsysなどの企業が、スマートフォン、FPGA、カスタムプロセッサなどの低消費電力プラットフォーム上でSqueezeNetを実証した。2018年時点で、SqueezeNetはPyTorch、Apache MXNet、Apple CoreMLなどのフレームワークにネイティブで搭載されており、TensorFlow向けのサードパーティ実装も利用可能である。
他のネットワークとの関係
AlexNet
SqueezeNetは当初、論文「SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size」で説明された。AlexNetは240 MBのパラメータを持つ一方、SqueezeNetはわずか5 MBである。この小さなサイズにより、SqueezeNetはコンピュータメモリへの格納やネットワーク経由の送信が容易になる。しかし、SqueezeNetはAlexNetの圧縮版ではなく、まったく異なるディープニューラルネットワークアーキテクチャである。両者はImageNet画像分類検証データセットでほぼ同じ精度を達成する。
モデル圧縮
量子化やプルーニングなどのモデル圧縮技術は、トレーニング後に適用できる。SqueezeNetの論文では、著者らがDeep Compressionと呼ばれる技術を用いてパラメータファイルを5 MBから500 KBに削減できることを実証した。Deep CompressionはAlexNetやVGGなどの他のネットワークにも適用されているが、SqueezeNetの小さなベースラインは、エッジ展開に特に適している。
バリアント
元のSqueezeNetチームの一部のメンバーは、リソース効率の高いネットワークの開発を継続し、SqueezeNextやその他の「スクイーズ」ファミリーモデルなどのバリアントを生み出した。オープンソースコミュニティはまた、SqueezeNetを画像のセマンティックセグメンテーションやスタイル転送などの他のアプリケーションにも拡張している。これらのバリアントと適応は、精度とパラメータ効率のバランスを取るという中核的な原則を維持している。