SENet, जिसे Squeeze-and-Excitation Networks के रूप में संक्षिप्त किया जाता है, एक डीप लर्निंग आर्किटेक्चर है जो चैनल-वार निर्भरताओं को मॉडल करके तंत्रिका नेटवर्क की प्रतिनिधित्वात्मक शक्ति को बढ़ाता है। इसे 2018 में जी हू, ली शेन, और गैंग सन द्वारा प्रस्तुत किया गया था, और इसने उस वर्ष की ImageNet Large Scale Visual Recognition Challenge (ILSVRC) जीती। मुख्य नवाचार squeeze-and-excitation (SE) ब्लॉक है, जो चैनलों के बीच अंतर्निर्भरताओं को स्पष्ट रूप से मॉडल करके चैनल-वार फीचर प्रतिक्रियाओं को अनुकूल रूप से पुनःकैलिब्रेट करता है। यह तंत्र नेटवर्क को सूचनात्मक फीचर्स पर जोर देने और कम उपयोगी फीचर्स को दबाने की अनुमति देता है, जिससे कम्प्यूटेशनल लागत में मामूली वृद्धि के साथ सटीकता में सुधार होता है।
SE ब्लॉकों को विभिन्न आधार आर्किटेक्चर में एकीकृत किया जा सकता है, विशेष रूप से अवशिष्ट नेटवर्क (ResNets) में, जहां उन्हें अवशिष्ट ब्लॉकों में डाला जाता है। चैनल ध्यान लागू करके, SENet छवि वर्गीकरण कार्यों पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है, जैसा कि ImageNet डेटासेट पर इसकी 2.25% की शीर्ष-1 त्रुटि दर से प्रदर्शित होता है, जो पिछले अत्याधुनिक मॉडलों की तुलना में एक पर्याप्त सुधार है। आर्किचेक्चर को अन्य डोमेनों में भी विस्तारित किया गया है, जिसमें ऑब्जेक्ट डिटेक्शन और सिमेंटिक सेगमेंटेशन शामिल हैं, और इसने डीप लर्निंग में बाद के ध्यान तंत्रों को प्रभावित किया है।
Squeeze-and-Excitation ब्लॉक
SE ब्लॉक आकार H × W × C के फीचर मैप U पर कार्य करता है, जहां H और W स्थानिक आयाम हैं और C चैनलों की संख्या है। इसमें दो मुख्य संचालन शामिल हैं: squeeze और excitation।
Squeeze: स्थानिक आयामों पर वैश्विक औसत पूलिंग लागू की जाती है, जो लंबाई C का एक चैनल विवरणक z उत्पन्न करती है। यह संचालन वैश्विक स्थानिक जानकारी को एकत्र करता है, प्रत्येक चैनल की औसत प्रतिक्रिया को कैप्चर करता है। औपचारिक रूप से, प्रत्येक चैनल c के लिए, z_c = (1/(H×W)) Σ_{i=1}^{H} Σ_{j=1}^{W} u_{c}(i,j), जहां u_c U का c-वां चैनल है।
Excitation: चैनल विवरणक को एक छोटे गेटिंग तंत्र के माध्यम से पारित किया जाता है, आमतौर पर एक दो-परत पूरी तरह से जुड़ा नेटवर्क। पहली परत आयाम को C/r तक कम करती है (जहां r एक कमी अनुपात है, आमतौर पर 16), उसके बाद ReLU सक्रियण, और दूसरी परत C तक विस्तार करती है, उसके बाद sigmoid सक्रियण। यह प्रति-चैनल स्केलिंग भार s का एक सेट उत्पन्न करता है, जहां s = σ(W_2 δ(W_1 z)), W_1 और W_2 सीखे गए भार मैट्रिक्स हैं, δ ReLU को दर्शाता है, और σ sigmoid फ़ंक्शन को दर्शाता है।
अंतिम आउटपुट मूल फीचर मैप को पुनःस्केल करके प्राप्त किया जाता है: x̂_c = s_c · u_c, जहां s_c चैनल c के लिए स्केलिंग भार है। यह पुनःकैलिब्रेशन उन चैनलों पर जोर देता है जो कार्य के लिए अधिक सूचनात्मक हैं।
अवशिष्ट नेटवर्क के साथ एकीकरण
SENet को अक्सर ResNet के अवशिष्ट ब्लॉकों में SE ब्लॉकों को डालकर कार्यान्वित किया जाता है। एक मानक अवशिष्ट ब्लॉक में, इनपुट x को कन्वोल्यूशनल सबनेटवर्क F(x) के आउटपुट में जोड़ा जाता है, जिससे x + F(x) प्राप्त होता है। एक SE-ResNet ब्लॉक में, SE ब्लॉक को अवशिष्ट जोड़ से पहले कन्वोल्यूशनल परतों के आउटपुट पर लागू किया जाता है। विशेष रूप से, ब्लॉक में अंतिम कन्वोल्यूशन के बाद, फीचर मैप को पुनःकैलिब्रेटेड फीचर्स उत्पन्न करने के लिए SE ब्लॉक के माध्यम से पारित किया जाता है, जिन्हें फिर स्किप कनेक्शन में जोड़ा जाता है।
यह एकीकरण नेटवर्क को चैनल-वार ध्यान सीखने की अनुमति देता है जबकि अवशिष्ट कनेक्शन के लाभों को संरक्षित करता है, जैसे स्थिर प्रशिक्षण और ग्रेडिएंट प्रवाह। SE ब्लॉक प्रति ब्लॉक छोटी संख्या में पैरामीटर (लगभग 2C²/r) और नगण्य मात्रा में गणना जोड़ता है, जिससे यह गहरे नेटवर्क के लिए कुशल बन जाता है।
प्रदर्शन और प्रभाव
SENet ने ImageNet वर्गीकरण बेंचमार्क पर 2.25% की शीर्ष-5 त्रुटि दर प्राप्त की, जो पिछले विजेता से बेहतर थी, जिसकी शीर्ष-5 त्रुटि 2.99% थी। इस परिणाम ने सटीकता में सुधार में चैनल ध्यान की प्रभावशीलता को प्रदर्शित किया। आर्किटेक्चर ने CIFAR-10 और CIFAR-100 सहित अन्य बेंचमार्कों पर भी अच्छा प्रदर्शन किया, और ऑब्जेक्ट डिटेक्शन और इंस्टेंस सेगमेंटेशन जैसे कार्यों के लिए अनुकूलित किया गया, जहां इसने COCO डेटासेट पर माध्य औसत परिशुद्धता (mAP) में सुधार किया।
SENet की सफलता ने तंत्रिका नेटवर्क में ध्यान तंत्रों पर शोध को प्रेरित किया। इसने ट्रांसफॉर्मरों में मल्टी-हेड ध्यान जैसे बाद के आर्किटेक्चर को प्रभावित किया, हालांकि ट्रांसफॉर्मर एक अलग प्रकार के ध्यान का उपयोग करते हैं। SE ब्लॉक अब कई अत्याधुनिक मॉडलों में एक सामान्य घटक हैं, जिनमें छवि वर्गीकरण, सेगमेंटेशन, और यहां तक कि प्राकृतिक भाषा प्रसंस्करण के लिए मॉडल शामिल हैं।
गणितीय सूत्रीकरण
एक इनपुट फीचर मैप U दिए जाने पर, SE ब्लॉक एक स्केलिंग वेक्टर s की गणना करता है जैसा कि वर्णित है। Squeeze संचालन वैश्विक औसत पूलिंग का उपयोग करता है, जो स्थानिक जानकारी एकत्रीकरण का एक रूप है। Excitation संचालन चैनल-वार निर्भरताओं को कैप्चर करने के लिए एक बाधा आर्किटेक्चर का उपयोग करता है। अंतिम स्केलिंग एक सरल तत्व-वार गुणन है।
कमी अनुपात r गेटिंग तंत्र की क्षमता को नियंत्रित करता है। एक छोटा r पैरामीटरों की संख्या बढ़ाता है लेकिन प्रदर्शन में सुधार कर सकता है, जबकि एक बड़ा r कम्प्यूटेशनल लागत को कम करता है। व्यवहार में, r=16 एक सामान्य विकल्प है जो सटीकता और दक्षता को संतुलित करता है।
विविधताएं और विस्तार
SE ब्लॉकों के कई विविधताएं प्रस्तावित की गई हैं। उदाहरण के लिए, समवर्ती स्थानिक और चैनल squeeze-and-excitation (scSE) ब्लॉक स्थानिक और चैनल दोनों आयामों पर ध्यान लागू करता है। एक अन्य विविधता, gather-excite (GE) ब्लॉक, एक अलग एकत्रीकरण रणनीति का उपयोग करता है। इन विस्तारों का उद्देश्य ध्यान तंत्रों की लचीलापन और प्रभावशीलता में सुधार करना है।
SE ब्लॉकों को बैच नॉर्मलाइज़ेशन और ड्रॉपआउट जैसी अन्य तकनीकों के साथ भी जोड़ा गया है, ताकि प्रशिक्षण को और स्थिर किया जा सके। कुछ कार्यों में, SE ब्लॉकों को गैर-अवशिष्ट आर्किटेक्चर में डाला जाता है, जैसे चिकित्सा छवि सेगमेंटेशन के लिए U-Net, जिससे प्रदर्शन में सुधार होता है।
कम्प्यूटेशनल लागत
SE ब्लॉकों के प्रमुख लाभों में से एक उनका कम कम्प्यूटेशनल ओवरहेड है। एक विशिष्ट ResNet-50 के लिए, SE ब्लॉकों को जोड़ने से पैरामीटरों की संख्या लगभग 10% बढ़ जाती है, लेकिन फ्लोटिंग-पॉइंट संचालन (FLOPs) में 1% से कम की वृद्धि होती है। यह SENet को संसाधन-सीमित उपकरणों, जैसे मोबाइल फोन, पर तैनाती के लिए उपयुक्त बनाता है, जहां दक्षता महत्वपूर्ण है।
Squeeze संचालन वैश्विक औसत पूलिंग का उपयोग करता है, जो कम्प्यूटेशनल रूप से सस्ता है। Excitation संचालन में दो पूरी तरह से जुड़ी परतें शामिल हैं, लेकिन कमी अनुपात पैरामीटरों की संख्या को छोटा रखता है। परिणामस्वरूप, SE ब्लॉकों को गति में महत्वपूर्ण गिरावट के बिना लगभग किसी भी कन्वोल्यूशनल नेटवर्क में जोड़ा जा सकता है।
ध्यान तंत्रों से संबंध
SENet को अक्सर चैनल ध्यान के एक रूप के रूप में वर्णित किया जाता है, क्योंकि यह महत्वपूर्ण चैनलों पर ध्यान केंद्रित करना सीखता है। यह अवधारणात्मक रूप से अन्य डोमेनों में ध्यान तंत्रों के समान है, जैसे प्राकृतिक भाषा प्रसंस्करण में ट्रांसफॉर्मर, जहां टोकनों पर ध्यान भार की गणना की जाती है। हालांकि, SE ब्लॉक फीचर मैप पर कार्य करते हैं और स्थानिक ध्यान शामिल नहीं करते हैं। बाद के कार्य, जैसे कन्वोल्यूशनल ब्लॉक अटेंशन मॉड्यूल (CBAM), चैनल और स्थानिक ध्यान को जोड़ते हैं, जो SENet के विचारों पर आधारित है।
SENet की सफलता ने डीप लर्निंग में फीचर पुनःकैलिब्रेशन के महत्व को उजागर किया। इसने दिखाया कि सभी चैनल समान रूप से महत्वपूर्ण नहीं हैं, और उन्हें भार देने का सीखना महत्वपूर्ण सटीकता लाभ ले सकता है। यह सिद्धांत आधुनिक आर्किटेक्चर में व्यापक रूप से अपनाया गया है।
विरासत और प्रभाव
SENet कई डीप लर्निंग मॉडलों में एक मानक घटक बन गया है। इसका प्रभाव छवि वर्गीकरण से परे डीप लर्निंग के सामान्य क्षेत्रों तक फैला हुआ है, जहां ध्यान तंत्र अब सर्वव्यापी हैं। आर्किटेक्चर का उपयोग अक्सर नए ध्यान विधियों का मूल्यांकन करने के लिए एक आधार रेखा के रूप में किया जाता है।
व्यापक क्षेत्र के संदर्भ में, SENet ने केवल गहराई या चौड़ाई बढ़ाने के बजाय आर्किटेक्चरल नवाचारों के माध्यम से तंत्रिका नेटवर्क में सुधार की प्रवृत्ति में योगदान दिया। इसने प्रदर्शित किया कि सावधानीपूर्वक डिज़ाइन किए गए मॉड्यूल पर्याप्त सुधार ला सकते हैं, जिससे अन्य डोमेनों में समान दृष्टिकोण प्रेरित हुए।
2020 के दशक की शुरुआत तक, SE ब्लॉक अनुसंधान और उद्योग में व्यापक रूप से उपयोग में बने हुए हैं। वे TensorFlow और PyTorch जैसे लोकप्रिय डीप लर्निंग फ्रेमवर्क में कार्यान्वित हैं, और मॉडल ज़ू में उपलब्ध हैं। Squeeze-and-excitation के सिद्धांत ध्यान-आधारित आर्किटेक्चर में नए विकास को सूचित करना जारी रखते हैं।