ResNet पेपर, जिसका औपचारिक शीर्षक "Deep Residual Learning for Image Recognition" है, 2015 में Microsoft Research के शोधकर्ताओं द्वारा प्रकाशित किया गया था। इसने अवशिष्ट तंत्रिका नेटवर्क (ResNet) पेश किया, जो एक Deep learning वास्तुकला है जिसमें परतें परत इनपुट के संदर्भ में अवशिष्ट फलन सीखती हैं। पेपर ने 2015 की ImageNet Large Scale Visual Recognition Challenge (ILSVRC) जीती, जिसमें 3.57% की शीर्ष-5 त्रुटि दर हासिल की, जो उस बेंचमार्क पर मानव-स्तरीय प्रदर्शन से बेहतर थी। इसका केंद्रीय नवाचार, अवशिष्ट कनेक्शन, बाद के Neural network डिजाइनों में एक मौलिक रूपांकन बन गया।
अवशिष्ट कनेक्शन वास्तुकला संचालन \(x \mapsto f(x) + x\) है, जहाँ \(f\) एक मनमाना तंत्रिका नेटवर्क मॉड्यूल है। एक असंदर्भित मैपिंग \(H(x)\) सीखने के बजाय, नेटवर्क एक अवशिष्ट \(F(x) = H(x) - x\) सीखता है, जिसमें इनपुट \(x\) को एक पहचान स्किप कनेक्शन के माध्यम से जोड़ा जाता है। यह सैकड़ों परतों वाले नेटवर्क के लिए प्रशिक्षण और अभिसरण को स्थिर करता है, एक समस्या जो पहले लुप्त होते ग्रेडिएंट्स और क्षरण के कारण गहराई को सीमित करती थी। इस विचार के पहले के कार्यों में उदाहरण थे, जैसे लंबी अल्पकालिक स्मृति (LSTM) कोशिकाएँ, जो अवशिष्ट पथों के समान योगात्मक स्मृति अद्यतन का उपयोग करती हैं, लेकिन ResNet ने फीडफॉरवर्ड नेटवर्क के लिए इस रूपांकन को लोकप्रिय बनाया।
वास्तुकला और अवशिष्ट ब्लॉक
एक अवशिष्ट ब्लॉक में पैरामीटर \(\alpha\) के साथ एक सबनेटवर्क \(H(x; \alpha)\) होता है, आमतौर पर दो या तीन स्टैक किए गए कन्वोल्यूशनल या पूरी तरह से जुड़ी परतें, जो सक्रियण फलनों और सामान्यीकरण (जैसे, बैच सामान्यीकरण) के साथ अंतःस्थापित होती हैं। ब्लॉक आउटपुट \(F(x) = H(x; \alpha) + x\) है। गहरे अवशिष्ट नेटवर्क ऐसे कई ब्लॉकों को स्टैक करते हैं, जिनमें ResNet-34, ResNet-50, ResNet-101, और ResNet-152 जैसे वेरिएंट परत गणनाओं को दर्शाते हैं। 152-परत संस्करण ने ILSVRC 2015 जीता, और पेपर ने प्रदर्शित किया कि गहरे अवशिष्ट नेटवर्क उथले गैर-अवशिष्ट समकक्षों से बेहतर प्रदर्शन करते हैं, जो प्रदर्शन संतृप्ति के पिछले अवलोकनों के विपरीत था।
जब इनपुट और आउटपुट आयाम भिन्न होते हैं (\(F: \mathbb{R}^n \to \mathbb{R}^m\), \(n \neq m\)), एक प्रोजेक्शन कनेक्शन का उपयोग किया जाता है: \(y = F(x) + P(x)\), जहाँ \(P(x) = Mx\) एक सीखा हुआ रैखिक प्रोजेक्शन मैट्रिक्स \(M\) है जिसका आकार \(m \times n\) है, जो बैकप्रोपेगेशन के माध्यम से प्रशिक्षित होता है। यह फीचर मैप आकार परिवर्तनों में अवशिष्ट सीखने की अनुमति देता है, जो कन्वोल्यूशनल नेटवर्क में डाउनसैंपलिंग के दौरान सामान्य है।
सिग्नल प्रसार और प्रशिक्षण स्थिरता
अवशिष्ट कनेक्शन में पहचान मैपिंग आगे और पीछे दोनों दिशाओं में सिग्नल प्रसार की सुविधा प्रदान करती है। फॉरवर्ड प्रसार में, यदि ब्लॉक \(\ell\) का आउटपुट ब्लॉक \(\ell+1\) का इनपुट है (बिना हस्तक्षेप करने वाले सक्रियणों के), तो \(x_{\ell+1} = F(x_\ell) + x_\ell\)। यह योगात्मक संरचना सुनिश्चित करती है कि ग्रेडिएंट्स बैकप्रोपेगेशन के दौरान सीधे पहले की परतों तक प्रवाहित हो सकते हैं, जिससे लुप्त होता ग्रेडिएंट समस्या कम होती है। पेपर ने दिखाया कि सैकड़ों परतों वाले अवशिष्ट नेटवर्क प्रभावी ढंग से प्रशिक्षित किए जा सकते हैं, जबकि सादे गहरे नेटवर्क में गहराई बढ़ने पर प्रशिक्षण त्रुटि बढ़ती थी।
विचरण को और स्थिर करने के लिए, बाद के कार्यों ने अवशिष्ट कनेक्शनों को \(x/L + f(x)\) के रूप में स्केल करने की सिफारिश की, जहाँ \(L\) अवशिष्ट परतों की कुल संख्या है, हालाँकि मूल ResNet पेपर ने बिना स्केल किए जोड़ का उपयोग किया। यह स्केलिंग बहुत गहरे ट्रांसफॉर्मर और अन्य वास्तुकलाओं में प्रासंगिक बन गई।
गहन शिक्षण पर प्रभाव
ResNet का प्रकाशन Artificial intelligence अनुसंधान में एक महत्वपूर्ण मोड़ था, जिसने बहुत गहरे मॉडलों के निर्माण को सक्षम बनाया। अवशिष्ट कनेक्शन कई वास्तुकलाओं में एक मानक घटक बन गया, जिसमें Transformer (architecture) मॉडल जैसे BERT और GPT (उदाहरण के लिए, Large language model सिस्टम जैसे ChatGPT), साथ ही Google DeepMind से AlphaGo Zero, AlphaStar, और AlphaFold शामिल हैं। यह रूपांकन प्रतीत होने वाले असंबंधित नेटवर्कों में दिखाई देता है, Computer vision से लेकर प्राकृतिक भाषा प्रसंस्करण तक, क्योंकि यह अनुकूलन को सरल बनाता है और बहुत गहरे स्टैक के प्रभावी प्रशिक्षण की अनुमति देता है।
पेपर ने हार्डवेयर और सॉफ्टवेयर विकास को भी प्रभावित किया, क्योंकि गहरे मॉडलों के प्रशिक्षण के लिए अधिक कंप्यूट की आवश्यकता थी, जिसने AWS Trainium जैसे विशेष एक्सेलेरेटर और Microsoft Azure और Google Cloud जैसी क्लाउड सेवाओं के उदय में योगदान दिया। University of Toronto, Stanford AI Lab, और MIT CSAIL के शोध समूहों ने बाद के अध्ययनों में अवशिष्ट नेटवर्क अपनाए, जिससे आधुनिक Machine learning अभ्यास में उनकी भूमिका मजबूत हुई।
विरासत और मान्यता
2025 तक, ResNet पेपर कंप्यूटर विज्ञान में सबसे अधिक उद्धृत में से एक बन गया था, जिसमें हजारों उद्धरण थे। इसके लेखकों, जिनमें Kaiming He, Xiangyu Zhang, Shaoqing Ren, और Jian Sun शामिल हैं, ने कई पुरस्कार प्राप्त किए, जिनमें 2023 IEEE Frank Rosenblatt Award शामिल है। वास्तुकला छवि वर्गीकरण कार्यों के लिए एक आधार रेखा बनी हुई है, और इसके सिद्धांत कई अत्याधुनिक सिस्टमों को रेखांकित करते हैं। "अवशिष्ट कनेक्शन" शब्द अब गहन शिक्षण पाठ्यपुस्तकों और पाठ्यक्रमों में मानक शब्दावली है, और पहचान मैपिंग पर पेपर की अंतर्दृष्टि नेटवर्क गहराई और प्रशिक्षण क्षमता पर शोध को सूचित करना जारी रखती है।
पेपर की सफलता ने और गहरी वास्तुकलाओं में रुचि भी बढ़ाई, जिससे DenseNet और ResNeXt जैसे नवाचार हुए, हालाँकि किसी ने भी मौलिक अवशिष्ट विचार को विस्थापित नहीं किया। 2025 तक, अवशिष्ट कनेक्शन उत्पादन AI सिस्टमों में सर्वव्यापी हैं, OpenAI के मॉडलों से लेकर Anthropic के Claude तक, जो 2015 के कार्य के स्थायी प्रभाव को प्रदर्शित करता है।