डीप रेसिडुअल लर्निंग, जिसे आमतौर पर ResNet के नाम से जाना जाता है, एक डीप-लर्निंग आर्किटेक्चर है जिसे 2015 में छवि पहचान के लिए पेश किया गया था। इसने उस वर्ष की ImageNet Large Scale Visual Recognition Challenge (ILSVRC) जीती, जिससे यह प्रदर्शित हुआ कि सैकड़ों परतों वाले नेटवर्क को प्रभावी ढंग से प्रशिक्षित किया जा सकता है। मुख्य नवाचार रेसिडुअल कनेक्शन है, जो परतों को अपने इनपुट के संदर्भ में रेसिडुअल फ़ंक्शन सीखने की अनुमति देता है, जिससे बहुत गहरे तंत्रिका नेटवर्क में प्रशिक्षण और अभिसरण स्थिर होता है।
रेसिडुअल कनेक्शन का स्वरूप, जिसे \(x \mapsto f(x) + x\) के रूप में परिभाषित किया गया है, जहाँ \(f\) एक मनमाना तंत्रिका नेटवर्क मॉड्यूल है, पहले के कार्यों में उपयोग किया गया था, लेकिन ResNet के प्रकाशन ने इसे फीडफॉरवर्ड नेटवर्क के लिए व्यापक रूप से लोकप्रिय बना दिया। यह स्वरूप अब कई आर्किटेक्चर में दिखाई देता है जो प्रतीत होता है कि ResNet से असंबंधित हैं, जिनमें ट्रांसफॉर्मर मॉडल जैसे BERT और GPT, साथ ही AlphaGo Zero, AlphaStar और AlphaFold जैसी प्रणालियाँ शामिल हैं।
रेसिडुअल कनेक्शन का गणित
एक बहुपरत तंत्रिका नेटवर्क में, स्टैक की गई परतों (जैसे, 2 या 3) के साथ एक सबनेटवर्क पर विचार करें। मान लें कि \(H(x; \alpha)\) सबनेटवर्क को दर्शाता है, जहाँ \(x\) इनपुट है और \(\alpha\) मापदंडों का समुच्चय है। यदि \(H^\) वांछित इष्टतम आउटपुट है, तो रेसिडुअल लर्निंग \(x\) को सीधे आउटपुट में जोड़ता है, इसलिए सीखा गया इष्टतम आउटपुट \(H^ - x\) बन जाता है, जिसे \(x\) के सापेक्ष एक "रेसिडुअल" के रूप में व्याख्यायित किया जाता है। यह एक स्किप कनेक्शन के माध्यम से लागू किया जाता है जो सबनेटवर्क के इनपुट से उसके आउटपुट तक एक पहचान मैपिंग करता है।
फ़ंक्शन \(F(x; \alpha) = H(x; \alpha) + x\) को अक्सर सक्रियण फ़ंक्शन और बैच नॉर्मलाइज़ेशन या लेयर नॉर्मलाइज़ेशन जैसे सामान्यीकरण संचालन के साथ अंतःस्थापित मैट्रिक्स गुणन द्वारा दर्शाया जाता है। एक रेसिडुअल ब्लॉक ऐसा ही एक सबनेटवर्क है, और एक गहरा रेसिडुअल नेटवर्क इन ब्लॉकों को स्टैक करके बनाया जाता है।
लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क में एक मेमोरी तंत्र होता है जो रेसिडुअल कनेक्शन के रूप में कार्य करता है। बिना फॉरगेट गेट वाले LSTM में, एक इनपुट \(x_t\) को फ़ंक्शन \(F\) द्वारा संसाधित किया जाता है और मेमोरी सेल \(c_t\) में जोड़ा जाता है, जिसके परिणामस्वरूप \(c_{t+1} = c_t + F(x_t)\) होता है। फॉरगेट गेट वाला LSTM अनिवार्य रूप से एक हाईवे नेटवर्क के रूप में कार्य करता है।
परत इनपुट के विचरण को स्थिर करने के लिए, रेसिडुअल कनेक्शन \(x + f(x)\) को \(x/L + f(x)\) से बदलने की अनुशंसा की जाती है, जहाँ \(L\) रेसिडुअल परतों की कुल संख्या है।
प्रोजेक्शन कनेक्शन
जब फ़ंक्शन \(F\) \(\mathbb{R}^n\) से \(\mathbb{R}^m\) तक मैप करता है और \(n \neq m\) है, तो अभिव्यक्ति \(F(x) + x\) अपरिभाषित है। इस मामले में, एक प्रोजेक्शन कनेक्शन का उपयोग किया जाता है: \(y = F(x) + P(x)\), जहाँ \(P\) आमतौर पर \(P(x) = Mx\) द्वारा परिभाषित एक रैखिक प्रक्षेपण है, जिसमें \(M\) एक \(m \times n\) मैट्रिक्स है। मैट्रिक्स \(M\) को बैकप्रॉपैगेशन के माध्यम से प्रशिक्षित किया जाता है, जैसे किसी अन्य मॉडल पैरामीटर को।
सिग्नल प्रसार
पहचान मैपिंग की शुरूआत आगे और पीछे दोनों दिशाओं में सिग्नल प्रसार की सुविधा प्रदान करती है। आगे की दिशा में, यदि \(\ell\)-वें रेसिडुअल ब्लॉक का आउटपुट \((\ell+1)\)-वें ब्लॉक का इनपुट है (ब्लॉकों के बीच कोई सक्रियण नहीं मानते हुए), तो अगले ब्लॉक का इनपुट \(x_{\ell+1} = F(x_\ell) + x_\ell\) है। यह योगात्मक संरचना बैकप्रॉपैगेशन के दौरान ग्रेडिएंट को सीधे नेटवर्क के माध्यम से प्रवाहित करने की अनुमति देती है, जिससे लुप्त ग्रेडिएंट समस्या कम होती है जो पहले के गहरे आर्किटेक्चर को प्रभावित करती थी।
प्रभाव और विरासत
ILSVRC 2015 में ResNet की सफलता कंप्यूटर विज़न और कृत्रिम बुद्धिमत्ता में एक महत्वपूर्ण मोड़ थी। इसने सैकड़ों परतों वाले नेटवर्क के प्रशिक्षण को सक्षम बनाया, जो पहले प्रशिक्षण सटीकता में गिरावट के कारण असंभव था। रेसिडुअल कनेक्शन तब से कई डीप लर्निंग मॉडलों में एक मानक घटक बन गया है, जिनमें प्राकृतिक भाषा प्रसंस्करण और जनरेटिव AI में उपयोग किए जाने वाले मॉडल शामिल हैं।
आर्किटेक्चर का प्रभाव छवि पहचान से परे है। रेसिडुअल कनेक्शन आधुनिक बड़े भाषा मॉडल और अन्य अनुक्रम-आधारित मॉडलों के लिए अभिन्न हैं, जहाँ वे कई परतों पर स्थिर प्रशिक्षण बनाए रखने में मदद करते हैं। पूर्ण परिवर्तनों के बजाय रेसिडुअल सीखने का सिद्धांत U-Net और अन्य एनकोडर-डिकोडर डिज़ाइनों जैसे विविधताओं को भी प्रेरित किया है।
ResNet डीप लर्निंग में एक मौलिक संदर्भ बना हुआ है, और इसके डिज़ाइन सिद्धांत पाठ्यक्रमों में पढ़ाए जाते हैं और मशीन लर्निंग डोमेन में अनुसंधान में लागू किए जाते हैं। रेसिडुअल कनेक्शन की सरलता और प्रभावशीलता ने इसे क्षेत्र के सबसे स्थायी योगदानों में से एक बना दिया है।