बैकप्रोपेगेशन पेपर

बैकप्रोपेगेशन मशीन लर्निंग में न्यूरल नेटवर्क को प्रशिक्षित करने के लिए व्यापक रूप से उपयोग किया जाने वाला एल्गोरिदम है। यह श्रृंखला नियम के अनुप्रयोग का उपयोग करके नेटवर्क के भारों के सापेक्ष हानि फलन के ग्रेडिएंट की कुशलता से गणना करता है। यह विधि व्युत्पन्नों को आउटपुट परत से इनपुट परत तक, एक समय में एक परत, पीछे की ओर प्रसारित करती है, जिससे स्टोकेस्टिक ग्रेडिएंट डिसेंट या एडम ऑप्टिमाइज़र जैसे अधिक जटिल ऑप्टिमाइज़र के माध्यम से सीखना संभव होता है। "बैकप्रोपेगेशन" शब्द सख्ती से ग्रेडिएंट गणना को संदर्भित करता है, लेकिन इसका उपयोग अक्सर त्रुटि को कम करने के लिए भारों को समायोजित करने वाली संपूर्ण सीखने की प्रक्रिया का वर्णन करने के लिए किया जाता है।

डेविड ई. रुमेलहार्ट, जेफ्री ई. हिंटन और रोनाल्ड जे. विलियम्स द्वारा लिखित 1986 का पेपर "लर्निंग रिप्रेजेंटेशन्स बाय बैक-प्रोपेगेटिंग एरर्स" डीप लर्निंग में एक मील का पत्थर था। जर्नल नेचर में प्रकाशित, इसने बहु-परत नेटवर्क के लिए विधि का वर्णन किया और प्रदर्शित किया कि छिपी हुई परतें उपयोगी आंतरिक प्रतिनिधित्व सीख सकती हैं। यह कार्य पहले के विकासों पर आधारित था, जिसमें स्वचालित विभेदन का रिवर्स मोड भी शामिल था, लेकिन पेपर की स्पष्टता और प्रयोगात्मक परिणामों ने बैकप्रोपेगेशन को न्यूरल नेटवर्क को प्रशिक्षित करने के लिए मानक उपकरण बना दिया।

सैद्धांतिक आधार

बैकप्रोपेगेशन का मूल विचार कुशल श्रृंखला-नियम गणना है। एक फीडफॉरवर्ड नेटवर्क के लिए, इनपुट आउटपुट उत्पन्न करने के लिए भार और सक्रियण की परतों से गुजरता है। एक हानि फलन पूर्वानुमानित और लक्ष्य आउटपुट के बीच के अंतर को मापता है। इस त्रुटि को कम करने के लिए, प्रत्येक भार के सापेक्ष हानि के ग्रेडिएंट की गणना की जानी चाहिए। बैकप्रोपेगेशन पहले सक्रियण और हानि मान की गणना करने के लिए एक फॉरवर्ड पास करके काम करता है, फिर परत-वार व्युत्पन्नों की गणना करने के लिए एक बैकवर्ड पास करता है। इसमें आउटपुट परत पर त्रुटि की गणना करना और स्थानीय व्युत्पन्नों को संयोजित करने के लिए श्रृंखला नियम का उपयोग करके इसे नेटवर्क के माध्यम से पीछे की ओर प्रसारित करना शामिल है।

गणितीय रूप से, नेटवर्क फलनों की एक संरचना है: एक इनपुट x के लिए, आउटपुट की गणना परिवर्तनों की एक श्रृंखला के रूप में की जाती है, जिनमें से प्रत्येक एक भार मैट्रिक्स और एक सक्रियण फलन लागू करता है। लागत फलन C(y, g(x)) विचलन को मापता है। बैकप्रोपेगेशन व्यक्तिगत भारों के सापेक्ष लागत के आंशिक व्युत्पन्नों की गणना करता है, जिनका उपयोग तब भारों को ऋणात्मक व्युत्पन्न की दिशा में अद्यतन करने के लिए किया जाता है, एक प्रक्रिया जिसे ग्रेडिएंट डिसेंट के रूप में जाना जाता है।

यह विधि सामान्य है और सक्रियण फलनों (जैसे सिग्मॉइड, रेक्टिफाइड लीनियर यूनिट, या टैन) या हानि फलन (जैसे वर्ग त्रुटि या क्रॉस-एन्ट्रॉपी) की विशिष्ट पसंद पर निर्भर नहीं करती है, जब तक वे अवकलनीय हैं। इस लचीलेपन ने बैकप्रोपेगेशन को वास्तुकलाओं की एक विस्तृत श्रृंखला के लिए उपयुक्त बना दिया है।

ऐतिहासिक संदर्भ और 1986 का पेपर

1986 के पेपर से पहले, न्यूरल नेटवर्क के क्षेत्र में उत्साह और गिरावट की अवधि का अनुभव हुआ था। प्रारंभिक पर्सेप्ट्रॉन, जो एकल परतों तक सीमित थे, केवल रैखिक रूप से वियोज्य समस्याओं को सीख सकते थे। शोधकर्ता बहु-परत नेटवर्क की खोज कर रहे थे, लेकिन एक व्यावहारिक प्रशिक्षण विधि की कमी ने उनके उपयोग को प्रतिबंधित कर दिया। पॉल वेरबोस ने अपनी 1974 की पीएचडी थीसिस में बैकप्रोपेगेशन का प्रस्ताव रखा था, और डेविड पार्कर और यान लेकुन सहित अन्य शोधकर्ताओं ने 1980 के दशक की शुरुआत में समान विचार विकसित किए। हालाँकि, 1986 के प्रकाशन के समान प्रभाव किसी का नहीं था।

पेपर ने प्रदर्शित किया कि बैकप्रोपेगेशन छिपी हुई परतों में उपयोगी विशेषताएं सीख सकता है और पैटर्न पहचान और अनुक्रम भविष्यवाणी जैसे कार्यों को प्रभावी ढंग से संभाल सकता है। इसने इस बात पर जोर दिया कि एल्गोरिदम की सफलता बहु-परत नेटवर्क में आंतरिक प्रतिनिधित्व की खोज करने की इसकी क्षमता में निहित है। परिणाम आश्चर्यजनक थे और न्यूरल नेटवर्क में रुचि को फिर से जगाया, विशेष रूप से शैक्षणिक और औद्योगिक अनुसंधान में। पेपर ने यह विचार भी पेश किया कि लागत फलन को कम करने के लिए ग्रेडिएंट डिसेंट का उपयोग किया जा सकता है, जो आज भी डीप लर्निंग में मौलिक बना हुआ है।

एल्गोरिदम और इसकी कार्यप्रणाली

बैकप्रोपेगेशन आमतौर पर तीन चरणों में काम करता है: फॉरवर्ड प्रसार, बैकवर्ड प्रसार और पैरामीटर अद्यतन। फॉरवर्ड प्रसार के दौरान, इनपुट को प्रत्येक परत के माध्यम से क्रमिक रूप से पारित किया जाता है, रैखिक संयोजन और सक्रियण चरणों को लागू करते हुए। नेटवर्क के आउटपुट की तुलना लक्ष्य से हानि फलन का उपयोग करके की जाती है, जिससे एक अदिश लागत उत्पन्न होती है। बैकवर्ड चरण में, आउटपुट सक्रियणों के सापेक्ष लागत के ग्रेडिएंट की गणना की जाती है और फिर परत दर परत प्रसारित किया जाता है। प्रत्येक परत के लिए, त्रुटि को सक्रियण फलन के व्युत्पन्न और भार मैट्रिक्स से गुणा किया जाता है, ग्रेडिएंट जमा करते हुए। ये ग्रेडिएंट संकेत देते हैं कि प्रत्येक भार में एक छोटा परिवर्तन लागत को कितना बदल देगा।

पैरामीटर अद्यतन चरण उसके बाद आता है, जहां लागत को कम करने के लिए भारों को समायोजित किया जाता है, आमतौर पर स्टोकेस्टिक ग्रेडिएंट डिसेंट (एसजीडी) या एडम जैसे ऑप्टिमाइज़र का उपयोग करके। सीखने की दर समायोजन के परिमाण को नियंत्रित करती है। चक्र कई प्रशिक्षण पुनरावृत्तियों पर दोहराया जाता है, अक्सर मिनी-बैचों के साथ, जब तक कि नेटवर्क एक उचित त्रुटि स्तर पर अभिसरण नहीं करता।

बैकप्रोपेगेशन के लिए हानि फलन और सभी सक्रियण फलनों का निरंतर अवकलनीय होना आवश्यक है। सामान्य विकल्पों में लॉजिस्टिक सिग्मॉइड, वेट इनिशियलाइज़ेशन योजनाएं और क्रॉस-एन्ट्रॉपी जैसी हानियां शामिल हैं। कम्प्यूटेशनल जटिलता मापदंडों और परतों की संख्या के समानुपाती है, जो इसे बड़े पैमाने पर अनुप्रयोगों के लिए उपयुक्त बनाती है।

अनुप्रयोग और विकास

1986 के पेपर के बाद से, बैकप्रोपेगेशन आर्टिफिशियल इंटेलिजेंस अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए मौलिक प्रशिक्षण विधि बन गया है। इसका उपयोग छवि पहचान के लिए कन्वोल्यूशनल नेटवर्क, अनुक्रम भविष्यवाणी के लिए आवर्तक नेटवर्क और हाल ही में, बड़े भाषा मॉडल को शक्ति देने वाले ट्रांसफॉर्मर जैसी वास्तुकलाओं को प्रशिक्षित करने के लिए किया जाता है। डीप लर्निंग और आधुनिक जनरेटिव एआई प्रणालियों का उदय, जिसमें ओपनएआई जीपीटी मॉडल और एंथ्रोपिक का क्लॉड शामिल है, कुशल बैकप्रोपेगेशन वेरिएंट पर निर्भर करता है।

आधुनिक ऑप्टिमाइज़र ने आधार एल्गोरिदम को बढ़ाया है। उदाहरण के लिए, एडम-ऑप्टिमाइज़र प्रत्येक पैरामीटर के लिए अनुकूली सीखने की दरों का उपयोग करता है, और बैच नॉर्मलाइज़ेशन और लेयर नॉर्म अक्सर प्रशिक्षण को स्थिर करने के लिए लागू किए जाते हैं। लुप्त होते ग्रेडिएंट्स को संभालने में भी शोध किया गया है, जिससे रेसनेट और ग्रेडिएंट क्लिपिंग तकनीकें सामने आई हैं।

अपने प्रभुत्व के बावजूद, बैकप्रोपेगेशन की सीमाएं हैं। यह सीखने की दर और प्रारंभिक भारों के विकल्पों के प्रति संवेदनशील है, और बहुत बड़े मॉडलों के लिए प्रशिक्षण कम्प्यूटेशनल रूप से महंगा हो सकता है। वैकल्पिक प्रशिक्षण विधियों का पता लगाया गया है, लेकिन बैकप्रोपेगेशन सबसे व्यापक रूप से उपयोग किया जाने वाला दृष्टिकोण बना हुआ है।

निरंतर महत्व और भविष्य की दिशाएं

1986 का पेपर मशीन लर्निंग में एक महत्वपूर्ण सफलता के रूप में ऐतिहासिक महत्व रखता है। इसने एक सैद्धांतिक विधि को एक व्यावहारिक उपकरण में बदल दिया। आज, आर्टिफिशियल इंटेलिजेंस, डीप लर्निंग और मशीन लर्निंग के क्षेत्र उद्योग और अनुसंधान के केंद्र में हैं, जिनमें अरबों का निवेश है। पेपर के प्रभाव को 2024 में जॉन हॉपफील्ड के साथ मशीन लर्निंग में योगदान के लिए जेफ्री हिंटन को भौतिकी में नोबेल पुरस्कार से मान्यता दी गई थी।

हालाँकि, बैकप्रोपेगेशन भी बहस का विषय है। कुछ शोधकर्ताओं ने इसकी सीमाओं पर तर्क दिया है, जैसे कि अस्थायी निर्भरता सीखने में चुनौतियां, और स्व-पर्यवेक्षित या जैव-प्रेरित विधियों जैसे विकल्पों का प्रस्ताव रखा है। फिर भी, बैकप्रोपेगेशन निकट भविष्य के लिए मुख्य प्रशिक्षण विधि बने रहने की उम्मीद है, भले ही सिस्टम वर्तमान एआई उत्पादों की तरह हजारों नेटवर्क तक बढ़ें।

यूनिवर्सिटी ऑफ टोरंटो और स्टैनफोर्ड एआई लैब उन शोध केंद्रों में से रहे हैं जहां बैकप्रोपेगेशन विकास का अध्ययन किया गया। कई समकालीन प्रगति, जैसे अवशिष्ट नेटवर्क, बैच नॉर्मलाइज़ेशन और ऑप्टिमाइज़ेशन एल्गोरिदम, बैकप्रोपेगेशन के पूरक के लिए डिज़ाइन किए गए थे, जो क्षेत्र में इसके पारिस्थितिक स्थान को प्रदर्शित करते हैं।

निष्कर्ष

1986 का बैकप्रोपेगेशन पेपर उदाहरण देता है कि कैसे एक गणितीय रूप से सुरुचिपूर्ण विधि एक तकनीकी क्रांति को आगे बढ़ा सकती है। डीप लर्निंग और एआई के निरंतर विकास के साथ, एल्गोरिदम के सिद्धांत पहले से कहीं अधिक प्रासंगिक बने हुए हैं। विरासत न केवल असंख्य अनुप्रयोगों में बल्कि समकालीन शोध में इसकी मौलिक भूमिका में भी स्पष्ट है। त्रुटि प्रसार के माध्यम से सीखने का पेपर का मूल दृष्टिकोण लचीला, स्केलेबल और स्थायी साबित हुआ है।