इंसेप्शन मॉड्यूल कन्वोल्यूशनल न्यूरल नेटवर्क का एक संरचनात्मक घटक है जो समान इनपुट फीचर मैप पर कई पैमानों पर समानांतर कन्वोल्यूशन करता है और उनके आउटपुट को जोड़ता है। इसे 2014 में Google के शोधकर्ताओं (अब Google DeepMind) द्वारा पेश किया गया था, जो GoogLeNet आर्किटेक्चर का मुख्य निर्माण खंड था, जिसने उस वर्ष ImageNet लार्ज स्केल विज़ुअल रिकग्निशन चैलेंज (ILSVRC) जीता। मॉड्यूल को दो विरोधाभासी लक्ष्यों को संबोधित करने के लिए डिज़ाइन किया गया था: बेहतर सटीकता के लिए नेटवर्क गहराई बढ़ाना, जबकि कम्प्यूटेशनल लागत और ओवरफिटिंग को नियंत्रित करना।
इंसेप्शन मॉड्यूल की मुख्य नवीनता एक ही परत के भीतर कई फिल्टर आकारों का उपयोग है। एक मानक कन्वोल्यूशनल परत पूरे इनपुट पर एक फिल्टर आकार (जैसे, 3x3) लागू करती है। इंसेप्शन मॉड्यूल इसके बजाय चार समानांतर ऑपरेशन लागू करता है: एक 1x1 कन्वोल्यूशन, एक 3x3 कन्वोल्यूशन, एक 5x5 कन्वोल्यूशन, और एक 3x3 मैक्स-पूलिंग ऑपरेशन। इन चार शाखाओं के आउटपुट को फिर चैनल आयाम के साथ जोड़ा जाता है, जिससे एक फीचर मैप उत्पन्न होता है जो विभिन्न स्थानिक रिज़ॉल्यूशन पर जानकारी कैप्चर करता है। यह डिज़ाइन नेटवर्क को विभिन्न विशेषताओं के लिए सबसे प्रासंगिक रिसेप्टिव फील्ड को अनुकूल रूप से चुनने की अनुमति देता है, जो जैविक दृष्टि प्रणालियों में देखे गए बहु-पैमाने प्रसंस्करण की नकल करता है।
एक महत्वपूर्ण तकनीकी विवरण बड़े फिल्टर से पहले आयामीता कम करने वाले बाधाओं के रूप में 1x1 कन्वोल्यूशन का उपयोग है। मूल मॉड्यूल में, 3x3 और 5x5 शाखाएं प्रत्येक एक 1x1 कन्वोल्यूशन से शुरू होती हैं जो इनपुट चैनलों की संख्या को कम करती है (आमतौर पर क्रमशः 192 से 96 और 16 तक)। यह कमी बाद के कन्वोल्यूशन के लिए आवश्यक पैरामीटर और गुणन की संख्या को काफी कम कर देती है। उदाहरण के लिए, 192 इनपुट चैनलों पर 32 आउटपुट फिल्टर के साथ एक 5x5 कन्वोल्यूशन के लिए प्रति स्थानिक स्थान 1925532 = 153,600 गुणन की आवश्यकता होगी; 16 चैनलों तक कम करने के बाद, यह घटकर 165532 = 12,800 हो जाता है। इस तकनीक ने उस युग की हार्डवेयर मेमोरी सीमाओं से अधिक हुए बिना कई इंसेप्शन मॉड्यूल को स्टैक करना संभव बना दिया।
ऐतिहासिक संदर्भ और GoogLeNet
इंसेप्शन मॉड्यूल क्रिश्चियन स्ज़ेगेडी के नेतृत्व में एक टीम द्वारा विकसित किया गया था, जिसमें वेई लियू, यांगकिंग जिया, पियरे सेरमनेट, स्कॉट रीड, ड्रैगोमिर एंगुएलोव, डुमित्रु एरहान, विंसेंट वैनहाउके और एंड्रयू राबिनोविच का योगदान था। 'इंसेप्शन' नाम फिल्म 'इंसेप्शन' (2010) से प्रेरित था, जो वाक्यांश 'हमें गहराई में जाने की आवश्यकता है' का संदर्भ देता है। GoogLeNet आर्किटेक्चर, जिसने एक पंक्ति में नौ इंसेप्शन मॉड्यूल स्टैक किए (प्रारंभिक और अंतिम परत ब्लॉक के साथ), ILSVRC 2014 वर्गीकरण कार्य पर 6.67% की शीर्ष-5 त्रुटि दर हासिल की, जो पिछले वर्ष के विजेता से काफी अधिक थी। यह डीप लर्निंग में एक ऐतिहासिक उपलब्धि थी, क्योंकि इसने प्रदर्शित किया कि सावधानीपूर्वक डिज़ाइन किए गए बहु-शाखा आर्किटेक्चर उथले चौड़े नेटवर्क और भोलेपन से गहरे नेटवर्क दोनों को बेहतर कर सकते हैं जो वैनिशिंग ग्रेडिएंट और ओवरफिटिंग से पीड़ित थे।
GoogLeNet डिज़ाइन में मध्यवर्ती गहराई पर सहायक क्लासिफायर भी शामिल थे (विशेष रूप से तीसरे और छठे इंसेप्शन मॉड्यूल के बाद)। इन सहायक क्लासिफायर ने प्रारंभिक भविष्यवाणियां उत्पन्न करने के लिए औसत पूलिंग, एक 1x1 कन्वोल्यूशन और पूरी तरह से जुड़ी परतें लागू कीं, जिन्हें प्रशिक्षण के दौरान कुल नुकसान में 0.3 के वजन के साथ जोड़ा गया। इसने पहले की परतों में ग्रेडिएंट प्रसारित करने में मदद की, गहरे नेटवर्क में आम वैनिशिंग ग्रेडिएंट समस्या को कम किया। अनुमान के दौरान, इन सहायक शाखाओं को आमतौर पर हटा दिया गया, केवल मुख्य मार्ग छोड़ दिया गया।
आर्किटेक्चरल वेरिएंट
मूल इंसेप्शन मॉड्यूल को बाद के पेपरों में परिष्कृत किया गया, जिससे कई वेरिएंट सामने आए। सबसे उल्लेखनीय इंसेप्शन-v2 है, जिसे 2015 में पेश किया गया, जिसमें बैच नॉर्मलाइज़ेशन शामिल था और बड़े कन्वोल्यूशन को फैक्टराइज़ किया गया। विशेष रूप से, 5x5 कन्वोल्यूशन को दो स्टैक किए गए 3x3 कन्वोल्यूशन द्वारा प्रतिस्थापित किया गया, जिससे पैरामीटर कम हुए जबकि समान रिसेप्टिव फील्ड बनाए रखा गया। एक अधिक आक्रामक वेरिएंट, इंसेप्शन-v3, ने बड़े कन्वोल्यूशन को असममित फैक्टराइज़ेशन (जैसे, एक 3x3 कन्वोल्यूशन को 1x3 और फिर 3x1 में विभाजित) के साथ बदल दिया, जिससे मूल की तुलना में कम्प्यूटेशनल लागत लगभग 33% कम हो गई। ये परिवर्तन 2016 के पेपर 'Rethinking the Inception Architecture for Computer Vision' में प्रकाशित हुए थे।
इंसेप्शन-v4 और इंसेप्शन-रेसनेट 2016 में पेश किए गए, जो मॉड्यूल को अवशिष्ट कनेक्शन (जैसा कि ResNet द्वारा लोकप्रिय बनाया गया) के साथ जोड़ते हैं। इंसेप्शन-रेसनेट संस्करणों ने पूरे मॉड्यूल के चारों ओर अवशिष्ट कनेक्शन का उपयोग किया, जिससे और भी गहरे नेटवर्क और तेज़ प्रशिक्षण अभिसरण की अनुमति मिली। हालांकि, कोर मल्टी-स्केल समानांतर शाखा संरचना सभी वेरिएंट में सुसंगत रही।
डिज़ाइन सिद्धांत और तर्क
इंसेप्शन मॉड्यूल कई अनुमानी अवलोकनों से प्रेरित था। पहले, लेखकों ने नोट किया कि एलेक्सनेट (2012) जैसे पहले के नेटवर्क में, विभिन्न परतों ने विभिन्न स्थानिक पैमानों पर विशेषताएं सीखीं - प्रारंभिक परतों में निम्न-स्तरीय किनारे और बनावट, और बाद की परतों में उच्च-स्तरीय वस्तु भाग। एक बहु-पैमाने मॉड्यूल ने एक ही परत को संभावित रूप से दोनों सीखने की अनुमति दी। दूसरे, 1x1 कन्वोल्यूशन का उपयोग, जो नेटवर्क-इन-नेटवर्क आर्किटेक्चर (2013) में पेश किया गया था, स्थानिक विस्तार जोड़े बिना नेटवर्क की गैर-रेखीय प्रतिनिधित्व शक्ति बढ़ाने के तरीके के रूप में कार्य करता था। तीसरे, मॉड्यूल के डिज़ाइन ने नेटवर्क को प्रत्येक स्तर पर व्यापक बनने में सक्षम बनाया, कई फीचर मैप्स में सहसंबंधों को एक साथ कैप्चर किया, जो वस्तु पहचान और विभाजन जैसे कार्यों के लिए फायदेमंद था।
एक और महत्वपूर्ण पहलू पूलिंग शाखा थी। विशिष्ट पूलिंग के विपरीत जो स्थानिक आयामों को कम करती है, मॉड्यूल के अंदर 3x3 मैक्स-पूलिंग ने स्थानिक आयामों को संरक्षित किया (स्ट्राइड 1 और पैडिंग 1 का उपयोग करके) और इसका आउटपुट कन्वोल्यूशन आउटपुट के साथ जोड़ा गया। इसने नेटवर्क को पूलिंग-व्युत्पन्न जानकारी को सीधे फीचर प्रतिनिधित्व में शामिल करने की अनुमति दी, जो स्थानीय पैमाने पर अनुवाद अपरिवर्तनशीलता का एक रूप प्रदान करता है।
बाद के आर्किटेक्चर पर प्रभाव
इंसेप्शन मॉड्यूल का प्रभाव GoogLeNet से कहीं आगे तक फैला हुआ है। इसकी बहु-शाखा, बहु-पैमाने प्रसंस्करण और बाधा डिज़ाइन की अवधारणाओं को कई बाद के आर्किचेक्चर में अपनाया गया। उदाहरण के लिए, स्क्वीज़-एंड-एक्साइटेशन नेटवर्क (2018) ने चैनल-वार प्रतिक्रियाओं को पुन: कैलिब्रेट करने के लिए एक वैश्विक पूलिंग शाखा का उपयोग किया, एक अवधारणा जो इंसेप्शन के समानांतर शाखा डिज़ाइन के समानांतर है। बायोमेडिकल छवि विभाजन के लिए U-Net आर्किटेक्चर, हालांकि पहले विकसित (2015), विभिन्न पैमानों पर विशेषताओं को संयोजित करने के लिए स्किप कनेक्शन का उपयोग करता है, एक संबंधित विचार। अधिक सामान्यतः, 'नेटवर्क इन नेटवर्क' और गहरी बहु-शाखा संरचनाओं का सिद्धांत आधुनिक आर्किटेक्चर जैसे ट्रांसफॉर्मर के लिए मार्ग प्रशस्त करता है, जो विभिन्न प्रतिनिधित्व उप-स्थानों से जानकारी एकत्र करने के लिए मल्टी-हेड अटेंशन का उपयोग करते हैं (हालांकि ट्रांसफॉर्मर अनुक्रमों पर काम करते हैं, स्थानिक ग्रिड पर नहीं)।
इंसेप्शन मॉड्यूल ने कुशल मोबाइल नेटवर्क के डिज़ाइन को भी प्रभावित किया। उदाहरण के लिए, मोबाइलनेट (2017) पैरामीटर कम करने के लिए डेप्थवाइज़ सेपरेबल कन्वोल्यूशन का उपयोग करता है, लेकिन यह अपने 'इनवर्टेड रेसिडुअल विद लीनियर बॉटलनेक' ब्लॉक में कई समानांतर शाखाओं के विचार को शामिल करता है। इसी तरह, एफिशिएंटनेट (2019) एक यौगिक स्केलिंग विधि का उपयोग करता है जो आंशिक रूप से गहराई, चौड़ाई और रिज़ॉल्यूशन को संतुलित करने की आवश्यकता से प्रेरित थी - एक व्यापार-बंद जिसे इंसेप्शन मॉड्यूल ने प्रति परत कम्प्यूटेशनल लागत को नियंत्रित करके स्पष्ट रूप से संबोधित किया।
कम्प्यूटेशनल दक्षता और मेमोरी फुटप्रिंट
इंसेप्शन मॉड्यूल के प्राथमिक उद्देश्यों में से एक कम्प्यूटेशनल दक्षता थी। मूल GoogLeNet पेपर में, लेखकों ने बताया कि पूरे नेटवर्क में लगभग 6.8 मिलियन पैरामीटर थे, जो एलेक्सनेट (2012) के 60 मिलियन और VGGNet (2014) के 138 मिलियन से काफी कम थे, जबकि बेहतर सटीकता हासिल की। यह दक्षता 1x1 बाधाओं के आक्रामक उपयोग और आउटपुट पर बहुत बड़ी पूरी तरह से जुड़ी परतों से बचने (इसके बजाय वैश्विक औसत पूलिंग का उपयोग करके, जिसमें शून्य पैरामीटर हैं) के माध्यम से हासिल की गई थी। अनुमान के दौरान मेमोरी फुटप्रिंट भी कम हो गया, जिससे नेटवर्क उस समय सीमित GPU मेमोरी वाले हार्डवेयर पर चल सकता था, जैसे ILSVRC 2014 प्रतियोगिता में उपयोग किया गया NVIDIA K40। दक्षता पर यह ध्यान मॉड्यूल को एम्बेडेड सिस्टम और मोबाइल उपकरणों में तैनाती के लिए आकर्षक बनाता है, एक प्रवृत्ति जो बाद के वेरिएंट जैसे मोबाइलनेट के साथ जारी रही।
व्यावहारिक रूप से, विभिन्न इंसेप्शन संस्करणों को कैफे और बाद में TensorFlow (Google की ओपन-सोर्स लाइब्रेरी) जैसे फ्रेमवर्क में लागू किया गया। मूल GoogLeNet मॉडल को कैफे मॉडल के रूप में जारी किया गया और कंप्यूटर विज़न में नई तकनीकों का मूल्यांकन करने के लिए एक मानक बेंचमार्क बन गया। कई बाद के पेपरों ने GoogLeNet को तुलना के लिए आधार रेखा के रूप में उपयोग किया, विशेष रूप से वस्तु पहचान और छवि कैप्शनिंग जैसे कार्यों के लिए।
सीमाएं और आलोचनाएं
अपनी सफलता के बावजूद, इंसेप्शन मॉड्यूल की कुछ सीमाएं थीं। आर्किटेक्चर डिज़ाइन और ट्यून करने के लिए अपेक्षाकृत जटिल था, प्रत्येक शाखा के लिए फिल्टर आकार और चैनल संख्याओं के सावधानीपूर्वक चयन की आवश्यकता थी। मूल पेपर ने हाथ से बनाए गए हाइपरपैरामीटर का एक सेट इस्तेमाल किया, और बाद के वेरिएंट को अनुभवजन्य प्रयोग की आवश्यकता थी। मॉड्यूल ने अतिरिक्त संयोजन ऑपरेशन भी पेश किए जो प्रशिक्षण के दौरान मेमोरी उपयोग बढ़ाते थे, हालांकि यह पैरामीटर कमी से ऑफसेट था। कुछ शोधकर्ताओं ने तर्क दिया कि VGG जैसे सरल आर्किटेक्चर पर लाभ मामूली थे, और जटिलता हमेशा उचित नहीं थी। हालांकि, ILSVRC प्रतियोगिता में मॉड्यूल की अनुभवजन्य सफलता और स्थानांतरण सीखने के कार्यों में (जहां GoogLeNet सुविधाओं को निश्चित फीचर एक्सट्रैक्टर के रूप में उपयोग किया गया था) ने इसे एक विश्वसनीय और प्रभावशाली डिज़ाइन के रूप में स्थापित किया।
एक और आलोचना यह थी कि इंसेप्शन मॉड्यूल ने वैनिशिंग ग्रेडिएंट समस्या को उतना मौलिक रूप से संबोधित नहीं किया जितना अवशिष्ट कनेक्शन ने किया। हालांकि सहायक क्लासिफायर ने मदद की, वे अत्यधिक गहरे स्टैक (20 से अधिक मॉड्यूल) के लिए बैच नॉर्मलाइज़ेशन जैसी अतिरिक्त तकनीकों के बिना पर्याप्त नहीं थे। यह सीमा ResNet (2015) की शुरूआत से संबोधित की गई थी, जिसने सैकड़ों परतों वाले नेटवर्क को सक्षम करने के लिए स्किप कनेक्शन का उपयोग किया। इंसेप्शन-रेसनेट ने 2016 में ImageNet पर अत्याधुनिक परिणाम प्राप्त करने के लिए दोनों विचारों को जोड़ा।
विरासत और आधुनिक अनुप्रयोग
आज, इंसेप्शन मॉड्यूल शायद ही कभी नए आर्किटेक्चर में एक स्टैंडअलोन निर्माण खंड के रूप में उपयोग किया जाता है, जिसे अवशिष्ट नेटवर्क, ध्यान तंत्र, और तंत्रिका नेटवर्क खोज (NAS) आधारित आर्किटेक्चर जैसे एफिशिएंटनेट जैसे अधिक उन्नत डिज़ाइनों द्वारा प्रतिस्थापित किया गया है। हालांकि, इसकी विरासत कई तरीकों से बनी हुई है। पहले, GoogLeNet आर्किटेक्चर बारीक-वर्गीकरण और स्थानीयकरण जैसे कार्यों में नए एल्गोरिदम का मूल्यांकन करने के लिए एक सामान्य बेंचमार्क बना हुआ है। दूसरे, बहु-पैमाने प्रसंस्करण की अवधारणा अब मानक अभ्यास है: अधिकांश आधुनिक कन्वोल्यूशनल नेटवर्क बहु-पैमाने संदर्भों को कैप्चर करने के लिए फीचर पिरामिड या एट्रस कन्वोल्यूशन का उपयोग करते हैं (जैसे, DeepLab जैसे विभाजन मॉडल में)। तीसरे, चैनल मिक्सर के रूप में 1x1 कन्वोल्यूशन का उपयोग व्यावहारिक रूप से हर आधुनिक नेटवर्क में सर्वव्यापी है, जिसमें छवियों पर लागू ट्रांसफॉर्मर भी शामिल हैं (जैसे, ViT की पैच एम्बेडिंग परत में)।
इंसेप्शन मॉड्यूल के पीछे के सिद्धांतों ने कुशल ध्यान तंत्र के डिज़ाइन को भी प्रभावित किया। उदाहरण के लिए, ट्रांसफॉर्मर में मल्टी-हेड अटेंशन को समानांतर प्रसंस्करण शाखाओं के विचार के सामान्यीकरण के रूप में देखा जा सकता है, जहां प्रत्येक हेड डेटा में विभिन्न संबंधों पर ध्यान केंद्रित करता है। उस अर्थ में, इंसेप्शन मॉड्यूल समानांतर कम्प्यूटेशन प्रतिमान का अग्रदूत था जो आधुनिक डीप लर्निंग पर हावी है, भले ही इसका विशिष्ट कन्वोल्यूशनल रूप अब ऐतिहासिक है।
संक्षेप में, इंसेप्शन मॉड्यूल एक प्रमुख नवाचार था जिसने गहरे, व्यापक और अधिक कुशल कन्वोल्यूशनल नेटवर्क को सक्षम किया। इसने बहु-पैमाने विश्लेषण, आयामीता कमी और कम्प्यूटेशनल मितव्ययिता के लिए व्यावहारिक तकनीकें पेश कीं जिनके पास आर्किटेक्चर डिज़ाइन के लिए स्थायी सबक हैं। 2014 की ImageNet प्रतियोगिता जीतने में इसकी सफलता ने कंप्यूटर विज़न में एक महत्वपूर्ण मोड़ चिह्नित किया, जिसने क्षेत्र को अधिक संरचित और कुशल नेटवर्क डिज़ाइनों की ओर स्थानांतरित किया। बाद के विकासों द्वारा प्रतिस्थापित होने के बावजूद, यह डीप लर्निंग के इतिहास में एक आधारशिला और यह समझने के लिए एक संदर्भ बिंदु बना हुआ है कि आर्किटेक्चरल नवाचार कृत्रिम बुद्धिमत्ता में प्रगति कैसे चला सकते हैं।