SqueezeNet एक गहरा तंत्रिका नेटवर्क है जो छवि वर्गीकरण के लिए 2016 में जारी किया गया था। इसे DeepScale, कैलिफोर्निया विश्वविद्यालय, बर्कले, और स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं द्वारा विकसित किया गया था। प्राथमिक डिज़ाइन लक्ष्य प्रतिस्पर्धी सटीकता बनाए रखते हुए कम पैरामीटर वाला एक छोटा तंत्रिका नेटवर्क बनाना था। सर्वश्रेष्ठ प्रदर्शन करने वाले SqueezeNet मॉडल ने ImageNet वर्गीकरण पर AlexNet के समान सटीकता प्राप्त की, लेकिन AlexNet के 240 MB पैरामीटर फ़ाइल से 510 गुना छोटे आकार के साथ, इसे घटाकर केवल 5 MB कर दिया।
SqueezeNet की वास्तुकला "फायर मॉड्यूल" पर निर्भर करती है, जो चैनलों की संख्या कम करने के लिए एक स्क्वीज़ परत (1x1 कनवल्शन) को जोड़ती है, उसके बाद फीचर मैप बढ़ाने के लिए एक विस्तार परत (1x1 और 3x3 कनवल्शन का मिश्रण) होती है। यह डिज़ाइन पारंपरिक कनवल्शनल नेटवर्क की तुलना में पैरामीटर गणना को काफी कम कर देता है। यह मॉडल AlexNet का संपीड़ित संस्करण नहीं है, बल्कि एक पूरी तरह से अलग वास्तुकला है जो ImageNet सत्यापन डेटासेट पर समान सटीकता प्राप्त करती है।
संस्करण इतिहास
SqueezeNet मूल रूप से 22 फरवरी, 2016 को जारी किया गया था, जिसे Caffe गहन शिक्षण ढांचे के शीर्ष पर लागू किया गया था। इसके तुरंत बाद, ओपन-सोर्स समुदाय ने इसे अन्य ढांचों में पोर्ट किया। 26 फरवरी, 2016 को, एडी बेल ने Chainer के लिए एक पोर्ट जारी किया; 2 मार्च, 2016 को, गुओ हरिया ने Apache MXNet के लिए एक पोर्ट जारी किया; और 3 जून, 2016 को, टैमी यांग ने Keras के लिए एक पोर्ट जारी किया। 2017 में, Baidu, Xilinx, Imagination Technologies, और Synopsys सहित कंपनियों ने स्मार्टफोन, FPGA, और कस्टम प्रोसेसर जैसे कम-शक्ति वाले प्लेटफार्मों पर SqueezeNet चलाने का प्रदर्शन किया। 2018 तक, SqueezeNet PyTorch, Apache MXNet, और Apple CoreML जैसे ढांचों में मूल रूप से शामिल है, जिसमें TensorFlow के लिए तृतीय-पक्ष कार्यान्वयन उपलब्ध हैं।
अन्य नेटवर्क से संबंध
AlexNet
SqueezeNet मूल रूप से पेपर "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size" में वर्णित किया गया था। AlexNet में 240 MB पैरामीटर हैं, जबकि SqueezeNet में केवल 5 MB हैं। यह छोटा आकार SqueezeNet को कंप्यूटर मेमोरी में फिट करने और नेटवर्क पर संचारित करने में आसान बनाता है। हालांकि, SqueezeNet AlexNet का संपीड़ित संस्करण नहीं है; यह एक पूरी तरह से अलग गहन तंत्रिका नेटवर्क वास्तुकला है। दोनों ImageNet छवि वर्गीकरण सत्यापन डेटासेट पर लगभग समान सटीकता प्राप्त करते हैं।
मॉडल संपीड़न
मॉडल संपीड़न तकनीकें, जैसे कि क्वांटीकरण और प्रूनिंग, प्रशिक्षण के बाद लागू की जा सकती हैं। SqueezeNet पेपर में, लेखकों ने प्रदर्शित किया कि डीप कंप्रेशन नामक तकनीक पैरामीटर फ़ाइल को 5 MB से घटाकर 500 KB कर सकती है। डीप कंप्रेशन को AlexNet और VGG जैसे अन्य नेटवर्कों पर भी लागू किया गया है, लेकिन SqueezeNet का छोटा आधार इसे एज परिनियोजन के लिए विशेष रूप से उपयुक्त बनाता है।
वेरिएंट
कुछ मूल SqueezeNet टीम के सदस्यों ने संसाधन-कुशल नेटवर्क विकसित करना जारी रखा, जिससे SqueezeNext और अन्य "स्क्वीज़"-परिवार मॉडल जैसे वेरिएंट सामने आए। ओपन-सोर्स समुदाय ने SqueezeNet को अन्य अनुप्रयोगों तक भी विस्तारित किया है, जिसमें छवियों का शब्दार्थ विभाजन और शैली स्थानांतरण शामिल हैं। ये वेरिएंट और अनुकूलन सटीकता और पैरामीटर दक्षता के बीच संतुलन के मूल सिद्धांत को बनाए रखते हैं।