अवशिष्ट तंत्रिका नेटवर्क, जिन्हें आमतौर पर ResNet के रूप में जाना जाता है, गहन शिक्षण वास्तुकलाओं का एक वर्ग है जो स्किप कनेक्शन प्रस्तुत करके बहुत गहरे तंत्रिका नेटवर्क के प्रशिक्षण को सक्षम बनाता है, जो किसी परत के इनपुट को उसके आउटपुट में जोड़ते हैं। यह वास्तुकला 2015 में छवि पहचान के लिए विकसित की गई थी और उस वर्ष की ImageNet लार्ज स्केल विज़ुअल रिकग्निशन चैलेंज (ILSVRC) जीती थी। मुख्य नवाचार अवशिष्ट कनेक्शन है, जो परतों को परत इनपुट के संदर्भ में अवशिष्ट फलन सीखने की अनुमति देता है, प्रशिक्षण को स्थिर करता है और सैकड़ों परतों वाले नेटवर्क को सक्षम बनाता है।
अवशिष्ट कनेक्शन का प्रतिरूप, जिसे \(x \mapsto f(x) + x\) के रूप में परिभाषित किया गया है, पहले के मॉडलों में उपयोग किया गया था, लेकिन ResNet के प्रकाशन ने इसे फीडफॉरवर्ड नेटवर्क के लिए व्यापक रूप से लोकप्रिय बना दिया। तब से यह कई गहन तंत्रिका नेटवर्क वास्तुकलाओं में एक सामान्य घटक बन गया है, जिसमें BERT और GPT जैसे ट्रांसफॉर्मर मॉडल, साथ ही AlphaGo Zero, AlphaStar और AlphaFold जैसी प्रणालियाँ शामिल हैं।
गणित
अवशिष्ट कनेक्शन
एक बहुपरत तंत्रिका नेटवर्क में, कुछ स्तरित परतों वाले एक उपनेटवर्क पर विचार करें, जिसे \(H(x; \alpha)\) के रूप में दर्शाया गया है, जहाँ \(x\) इनपुट है और \(\alpha\) पैरामीटर हैं। मानक शिक्षण में, उपनेटवर्क का लक्ष्य एक वांछित आउटपुट \(H^\) का अनुमान लगाना होता है। अवशिष्ट शिक्षण उपनेटवर्क को \(F(x; \alpha) = H(x; \alpha) + x\) आउटपुट करने के लिए संशोधित करता है, ताकि सीखा गया इष्टतम फलन \(H^ - x\) बन जाए, जिसे \(x\) के सापेक्ष अवशिष्ट के रूप में व्याख्यायित किया जाता है। \(x\) का योग एक स्किप कनेक्शन के माध्यम से कार्यान्वित किया जाता है जो एक पहचान मैपिंग करता है, उपनेटवर्क के इनपुट को सीधे उसके आउटपुट से जोड़ता है। इस स्किप कनेक्शन को अवशिष्ट कनेक्शन कहा जाता है। उपनेटवर्क, स्किप कनेक्शन के साथ मिलकर, एक अवशिष्ट ब्लॉक बनाता है। एक गहरा अवशिष्ट नेटवर्क ऐसे कई ब्लॉकों को स्टैक करके बनाया जाता है।
अवशिष्ट कनेक्शन ग्रेडिएंट प्रवाह को सुगम बनाकर प्रशिक्षण को स्थिर करता है, जो सैकड़ों परतों वाले नेटवर्क के लिए विशेष रूप से महत्वपूर्ण है। लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क में एक मेमोरी तंत्र होता है जो अवशिष्ट कनेक्शन के रूप में कार्य करता है: फॉरगेट गेट के बिना एक LSTM में, अद्यतन नियम \(c_{t+1} = c_t + F(x_t)\) है, जहाँ \(c_t\) मेमोरी सेल है और \(F\) इनपुट का एक फलन है। फॉरगेट गेट वाला एक LSTM हाईवे नेटवर्क के समान कार्य करता है। विचरण को स्थिर करने के लिए, अवशिष्ट कनेक्शन को \(1/L\) से स्केल करने की अनुशंसा की जाती है, जहाँ \(L\) अवशिष्ट परतों की कुल संख्या है, जिसके परिणामस्वरूप \(x/L + f(x)\) प्राप्त होता है।
प्रोजेक्शन कनेक्शन
जब फलन \(F\), \(\mathbb{R}^n\) से \(\mathbb{R}^m\) में मैप करता है और \(n \neq m\) है, तो योग \(F(x) + x\) अपरिभाषित होता है। ऐसे मामलों में, एक प्रोजेक्शन कनेक्शन का उपयोग किया जाता है: \(y = F(x) + P(x)\), जहाँ \(P\) आमतौर पर \(P(x) = Mx\) द्वारा परिभाषित एक रैखिक प्रोजेक्शन है, जिसमें \(M\) एक \(m \times n\) मैट्रिक्स है। मैट्रिक्स \(M\) को मॉडल के अन्य पैरामीटरों के साथ बैकप्रोपेगेशन के माध्यम से प्रशिक्षित किया जाता है।
सिग्नल प्रसार
अवशिष्ट कनेक्शनों में पहचान मैपिंग आगे और पीछे दोनों दिशाओं में सिग्नल प्रसार को सुगम बनाती है। फॉरवर्ड पास में, यदि \(\ell\)-वें अवशिष्ट ब्लॉक का आउटपुट \((\ell+1)\)-वें ब्लॉक का इनपुट है (ब्लॉकों के बीच कोई सक्रियण नहीं मानते हुए), तो अगले ब्लॉक का इनपुट \(x_{\ell+1} = F(x_\ell) + x_\ell\) है। यह योगात्मक संरचना सूचना को नेटवर्क के माध्यम से सीधे प्रवाहित करने की अनुमति देती है, जिससे लुप्त होते ग्रेडिएंट की समस्या कम होती है।
गहन शिक्षण पर प्रभाव
2015 में ResNet की शुरूआत ने गहन शिक्षण में एक महत्वपूर्ण मील का पत्थर साबित किया। ResNet से पहले, बहुत गहरे नेटवर्क का प्रशिक्षण गहराई बढ़ने के साथ सटीकता में गिरावट के कारण चुनौतीपूर्ण था। ResNet के अवशिष्ट शिक्षण ढाँचे ने परतों को अवशिष्ट फलन सीखने के रूप में पुनःनिर्मित करके इसे संबोधित किया, जिन्हें अनुकूलित करना आसान होता है। वास्तुकला ने ILSVRC 2015 चैलेंज में अत्याधुनिक परिणाम प्राप्त किए, ImageNet परीक्षण सेट पर 3.57% की त्रुटि दर के साथ, कुछ कार्यों पर मानव-स्तरीय प्रदर्शन को पार करते हुए।
ResNet की सफलता ने ResNet-50, ResNet-101 और ResNet-152 जैसी और भी गहरी वास्तुकलाओं के विकास को प्रेरित किया, जो वस्तु पहचान और विभाजन जैसे कंप्यूटर विज़न कार्यों में बैकबोन नेटवर्क के रूप में व्यापक रूप से उपयोग की जाती हैं। अवशिष्ट कनेक्शन की अवधारणा को प्राकृतिक भाषा प्रसंस्करण और सुदृढीकरण शिक्षण सहित विभिन्न अन्य डोमेन में अपनाया गया है।
विरासत और प्रभाव
अवशिष्ट कनेक्शन आधुनिक तंत्रिका नेटवर्क डिज़ाइन में एक मौलिक निर्माण खंड बन गया है। यह ट्रांसफॉर्मर वास्तुकलाओं में एक प्रमुख घटक है, जो GPT और BERT जैसे बड़े भाषा मॉडल को शक्ति प्रदान करते हैं। यह तकनीक AlphaGo Zero, AlphaStar और AlphaFold जैसी प्रणालियों में भी उपयोग की जाती है, जो विभिन्न प्रकार के तंत्रिका नेटवर्कों में इसकी बहुमुखी प्रतिभा को प्रदर्शित करती है।
ResNet पेपर का प्रकाशन, जिसका शीर्षक "डीप रेसिड्यूअल लर्निंग फॉर इमेज रिकग्निशन" है, काइमिंग हे, ज़ियांगयु झांग, शाओकिंग रेन और जियान सन द्वारा लिखा गया था। यह कंप्यूटर विज़न और गहन शिक्षण में सबसे अधिक उद्धृत पेपरों में से एक बन गया है, जिसने नेटवर्क वास्तुकला और प्रशिक्षण स्थिरता पर बाद के शोध को प्रभावित किया है।