DenseNet (घनी रूप से जुड़ा कन्वोल्यूशनल नेटवर्क) एक प्रकार का कृत्रिम तंत्रिका नेटवर्क है जिसका उपयोग मुख्य रूप से छवि पहचान और कंप्यूटर विज़न कार्यों के लिए किया जाता है। इसे गाओ हुआंग, झुआंग लियू, लॉरेंस वैन डेर माटेन, और किलियन क्यू. वेनबर्गर ने 2017 के एक पेपर "Densely Connected Convolutional Networks" में प्रस्तावित किया था। यह वास्तुकला घने कनेक्टिविटी द्वारा विशेषता है: एक घने ब्लॉक के भीतर, प्रत्येक परत पिछली सभी परतों की फीचर मैप्स को इनपुट के रूप में प्राप्त करती है और अपना आउटपुट बाद की सभी परतों को भेजती है। यह डिज़ाइन पारंपरिक कन्वोल्यूशनल नेटवर्कों से भिन्न है, जहां परतें क्रमिक रूप से जुड़ी होती हैं, और अवशिष्ट नेटवर्क (ResNets) से भी, जो ब्लॉक के इनपुट को उसके आउटपुट में जोड़ने के लिए स्किप कनेक्शन का उपयोग करते हैं।
DenseNet का मूल विचार परतों के बीच सूचना प्रवाह को अधिकतम करना है, जो गहरे नेटवर्कों में घटते-ग्रेडिएंट समस्या को कम करने में मदद करता है। फीचर मैप्स को जोड़ने के बजाय संयोजित (कॉनकैटेनेट) करके, DenseNet फीचर पुन: उपयोग को बढ़ावा देता है, पैरामीटरों की संख्या घटाता है, और प्रशिक्षण के दौरान मजबूत ग्रेडिएंट प्रवाह को प्रोत्साहित करता है। यह वास्तुकला छवि वर्गीकरण, विभाजन, और वस्तु पहचान जैसे कार्यों में व्यापक रूप से अपनाई गई है, और इसने बाद के नेटवर्क डिज़ाइनों को प्रभावित किया है।
वास्तुकला
एक DenseNet कई घने ब्लॉकों से बना होता है, जिनमें से प्रत्येक में कई परतें होती हैं। एक घने ब्लॉक के भीतर, प्रत्येक परत बैच नॉर्मलाइज़ेशन, एक रेक्टिफाइड लीनियर यूनिट (ReLU) सक्रियण, और 3x3 कन्वोल्यूशन करती है। प्रत्येक परत का आउटपुट ब्लॉक में पिछली सभी परतों के इनपुट के साथ संयोजित होता है, जिससे एक घनी कनेक्टिविटी पैटर्न बनता है। यदि एक ब्लॉक में \(L\) परतें हैं, तो कनेक्शनों की कुल संख्या \(L(L+1)/2\) है।
घने ब्लॉकों के बीच, स्थानिक आयामों और फीचर मैप्स की संख्या को कम करने के लिए संक्रमण परतों का उपयोग किया जाता है। एक संक्रमण परत में बैच नॉर्मलाइज़ेशन, 1x1 कन्वोल्यूशन, और 2x2 औसत पूलिंग ऑपरेशन शामिल होता है। संपीड़न कारक, जो अक्सर 0.5 पर सेट होता है, नियंत्रित करता है कि संक्रमण के बाद कितने फीचर मैप्स बनाए रखे जाते हैं।
एक विकास दर \(k\) निर्धारित करती है कि प्रत्येक परत कितने नए फीचर मैप्स उत्पन्न करती है। उदाहरण के लिए, \(k=32\) के साथ, प्रत्येक परत सामूहिक इनपुट में 32 फीचर मैप्स जोड़ती है। यह पैरामीटर मॉडल क्षमता और कम्प्यूटेशनल लागत को संतुलित करता है। सामान्य DenseNet वेरिएंट में DenseNet-121, DenseNet-169, DenseNet-201, और DenseNet-264 शामिल हैं, जहां संख्या कुल परत गणना को इंगित करती है।
गणित
एक घने ब्लॉक में, मान लीजिए \(x_0\) ब्लॉक का इनपुट है। परत \(\ell\) के लिए, इनपुट पिछली सभी परतों के आउटपुट का संयोजन है: \([x_0, x_1, \dots, x_{\ell-1}]\)। परत एक समग्र फ़ंक्शन \(H_\ell\) (जिसमें बैच नॉर्मलाइज़ेशन, ReLU, और कन्वोल्यूशन शामिल है) की गणना करती है और \(x_\ell = H_\ell([x_0, x_1, \dots, x_{\ell-1}])\) उत्पन्न करती है। यह संयोजन ऑपरेशन अवशिष्ट कनेक्शनों से मुख्य अंतर है, जो जोड़ का उपयोग करते हैं।
घनी कनेक्टिविटी सुनिश्चित करती है कि प्रत्येक परत को लॉस फ़ंक्शन से ग्रेडिएंट्स तक सीधी पहुंच हो, जिससे घटते-ग्रेडिएंट समस्या कम होती है। लेखकों ने दिखाया कि यह वास्तुकला एक नियमितीकरण प्रभाव रखती है, जो छोटे डेटासेटों पर ओवरफिटिंग को घटाती है।
प्रशिक्षण और अनुकूलन
DenseNet को मानक गहन शिक्षण तकनीकों, जैसे कि गति के साथ स्टोचैस्टिक ग्रेडिएंट डिसेंट या Adam का उपयोग करके प्रशिक्षित किया जाता है। नेटवर्क अक्सर सामान्यीकरण में सुधार के लिए डेटा संवर्धन (जैसे, यादृच्छिक क्रॉपिंग, फ्लिपिंग, और रंग जिटर) का उपयोग करते हैं। बैच नॉर्मलाइज़ेशन प्रत्येक सक्रियण से पहले लागू किया जाता है, जो प्रशिक्षण को स्थिर करता है और उच्च सीखने की दरों की अनुमति देता है।
इमेजनेट लार्ज स्केल विज़ुअल रिकग्निशन चैलेंज (ILSVRC) 2017 पर, DenseNet ने DenseNet-201 के लिए 5.11% की शीर्ष-5 त्रुटि दर के साथ अत्याधुनिक परिणाम प्राप्त किए, जो ResNet जैसी पिछली वास्तुकलाओं से बेहतर प्रदर्शन था। मॉडल ने पैरामीटर दक्षता भी प्रदर्शित की, जिसमें समान सटीकता प्राप्त करने के लिए तुलनीय ResNets की तुलना में कम पैरामीटरों की आवश्यकता थी।
अनुप्रयोग और प्रभाव
DenseNet को छवि वर्गीकरण से परे विभिन्न डोमेनों में लागू किया गया है, जिसमें चिकित्सा छवि विभाजन, रिमोट सेंसिंग, और वीडियो विश्लेषण शामिल हैं। इसके डिज़ाइन सिद्धांतों ने अन्य वास्तुकलाओं, जैसे कि डुअल पाथ नेटवर्क (DPN) और मल्टी-स्केल डेंस नेटवर्क को प्रेरित किया है। घनी कनेक्टिविटी की अवधारणा को ट्रांसफॉर्मर मॉडलों में भी खोजा गया है, हालांकि वहां प्रमुख दृष्टिकोण अवशिष्ट कनेक्शन ही बना हुआ है।
यह वास्तुकला लोकप्रिय गहन शिक्षण फ्रेमवर्क, जैसे कि PyTorch और TensorFlow में उपलब्ध है, और अक्सर वस्तु पहचान और विभाजन मॉडलों में बैकबोन के रूप में उपयोग की जाती है। इसकी सफलता ने ResNet और U-Net के साथ-साथ तेजी से गहरे और कुशल कन्वोल्यूशनल नेटवर्क डिज़ाइन करने के व्यापक चलन में योगदान दिया।
सीमाएँ और विस्तार
अपनी ताकतों के बावजूद, DenseNet फीचर मैप्स के संयोजन के कारण मेमोरी-गहन हो सकता है, जो मध्यवर्ती भंडारण आवश्यकताओं को बढ़ाता है। शोधकर्ताओं ने इसे संबोधित करने के लिए वेरिएंट प्रस्तावित किए हैं, जैसे कि DenseNet-BC (बॉटलनेक और संपीड़न) और 3D डेटा के लिए सबमैनिफोल्ड स्पार्स कन्वोल्यूशनल नेटवर्क। यह वास्तुकला कुछ हालिया डिज़ाइनों, जैसे कि EfficientNet, की तुलना में अनुमान में धीमी होती है।
कुल मिलाकर, DenseNet कंप्यूटर विज़न में एक मौलिक वास्तुकला बनी हुई है, जो फीचर पुन: उपयोग और ग्रेडिएंट प्रवाह के लिए घनी कनेक्टिविटी के लाभों को प्रदर्शित करती है। इसके विचार आधुनिक नेटवर्क डिज़ाइन को प्रभावित करते रहते हैं, विशेष रूप से उन परिदृश्यों में जहां पैरामीटर दक्षता और सटीकता महत्वपूर्ण हैं।