1986 में, डेविड रुमेलहार्ट, जेफ्री हिंटन और रोनाल्ड विलियम्स ने एक महत्वपूर्ण शोधपत्र प्रकाशित किया जिसने बैकप्रोपेगेशन को लोकप्रिय बनाया - यह तंत्रिका नेटवर्क में ग्रेडिएंट की कुशल गणना के लिए एक एल्गोरिदम है। बैकप्रोपेगेशन कैलकुलस के चेन नियम को लागू करके नेटवर्क के वज़न के सापेक्ष लॉस फ़ंक्शन के ग्रेडिएंट की गणना करता है, आउटपुट परत से इनपुट परत तक डेरिवेटिव को पीछे की ओर प्रसारित करता है। यह विधि अनावश्यक गणनाओं से बचती है, जिससे बहु-परत नेटवर्क को प्रशिक्षित करना व्यावहारिक हो जाता है। हालाँकि यह शब्द सख्ती से ग्रेडिएंट गणना को संदर्भित करता है, इसे अक्सर पूरी सीखने की प्रक्रिया का वर्णन करने के लिए ढीले ढंग से उपयोग किया जाता है, जिसमें स्टोकेस्टिक ग्रेडिएंट डिसेंट जैसी विधियों या एडम जैसे ऑप्टिमाइज़र के माध्यम से पैरामीटर अपडेट शामिल हैं। 1986 का शोधपत्र पहले के विचारों को समेकित करता है और एल्गोरिदम की प्रभावशीलता को प्रदर्शित करता है, जिससे मशीन लर्निंग में व्यापक अपनाने की शुरुआत हुई और आधुनिक डीप लर्निंग और कृत्रिम बुद्धिमत्ता अनुप्रयोगों की नींव रखी गई।
ऐतिहासिक संदर्भ
बैकप्रोपेगेशन का 1986 से पहले कई खोजों के साथ एक उलझा हुआ इतिहास रहा है। 1960 और 1970 के दशक के शुरुआती कार्यों में सेप्पो लिन्नामा जैसे शोधकर्ताओं का योगदान शामिल था, जिन्होंने 1970 में रिवर्स-मोड ऑटोमैटिक डिफरेंशिएशन पेश किया, और पॉल वेरबोस, जिन्होंने 1974 में अपने पीएचडी शोधपत्र में एल्गोरिदम का वर्णन किया। हालाँकि, ये प्रयास अपेक्षाकृत अस्पष्ट रहे। 1986 में, रुमेलहार्ट, हिंटन और विलियम्स ने जर्नल नेचर में "लर्निंग रिप्रेजेंटेशन्स बाय बैक-प्रोपेगेटिंग एरर्स" प्रकाशित किया, जिसने एल्गोरिदम को स्पष्ट रूप से प्रस्तुत किया और XOR फ़ंक्शन सीखने जैसी समस्याओं पर इसकी शक्ति का प्रदर्शन किया। यह प्रकाशन, साथ ही पुस्तक पैरेलल डिस्ट्रिब्यूटेड प्रोसेसिंग (1986 भी), बैकप्रोपेगेशन को तंत्रिका नेटवर्क अनुसंधान के अग्रभाग में ले आया। शोधपत्र का प्रभाव इसकी सुलभता और कनेक्शनिस्ट मॉडलों में बढ़ती रुचि से बढ़ा, जिससे 1980 के दशक के अंत में अनुसंधान में उछाल आया।
तकनीकी आधार
बैकप्रोपेगेशन फीडफॉरवर्ड नेटवर्क में प्रत्येक वज़न के सापेक्ष लॉस फ़ंक्शन के ग्रेडिएंट की गणना करता है। एक इनपुट-आउटपुट जोड़ी \((x_i, y_i)\) के लिए, नेटवर्क परतों के भारित योग और सक्रियण फ़ंक्शनों के माध्यम से एक भविष्यवाणी \(g(x_i)\) उत्पन्न करता है। लॉस \(C(y_i, g(x_i))\) भविष्यवाणी और लक्ष्य के बीच त्रुटि को मापता है। एल्गोरिदम चेन नियम लागू करके लॉस के आंशिक डेरिवेटिव की गणना करता है, आउटपुट परत से पीछे की ओर काम करता है। इसके लिए सक्रियण फ़ंक्शनों और लॉस फ़ंक्शन के डेरिवेटिव का मूल्यांकन आवश्यक है, जो अवकलनीय होना चाहिए। सामान्य विकल्पों में छिपी परतों के लिए सिग्मॉइड या ReLU सक्रियण और लॉस के लिए क्रॉस-एंट्रॉपी या वर्ग त्रुटि शामिल हैं। ग्रेडिएंट लॉस को कम करने के लिए वज़न समायोजित करने की दिशा इंगित करता है, आमतौर पर ग्रेडिएंट डिसेंट का उपयोग करके। 1986 का शोधपत्र इस बात पर जोर देता है कि बैकप्रोपेगेशन छिपी परतों में आंतरिक प्रतिनिधित्व सीख सकता है, जिससे नेटवर्क उन समस्याओं को हल कर सकते हैं जो पहले असंभव थीं।
प्रभाव और विरासत
1986 का शोधपत्र तंत्रिका नेटवर्क के क्षेत्र के लिए एक उत्प्रेरक था, लेकिन 1990 के दशक में उस युग के हार्डवेयर पर धीमी प्रशिक्षण और गहरे नेटवर्क को प्रशिक्षित करने की कठिनाई जैसी सीमाओं के कारण रुचि कम हो गई। हालाँकि, एल्गोरिदम मौलिक बना रहा। 2010 के दशक में, कंप्यूटिंग शक्ति, बड़े डेटासेट और बैच नॉर्मलाइज़ेशन और रिज़िड्यूअल नेटवर्क जैसी तकनीकों में प्रगति ने डीप लर्निंग को पुनर्जीवित किया, जिसमें बैकप्रोपेगेशन मुख्य प्रशिक्षण तंत्र था। आज, बैकप्रोपेगेशन लगभग सभी आधुनिक AI प्रणालियों को रेखांकित करता है, जिसमें बड़े भाषा मॉडल जैसे ओपनएआई, एंथ्रोपिक और गूगल डीपमाइंड द्वारा विकसित, साथ ही ट्रांसफॉर्मर और जनरेटिव AI उपकरण शामिल हैं। एल्गोरिदम की दक्षता और सामान्यता ने इसे क्षेत्र में एक मानक बना दिया है, जो हर मशीन लर्निंग पाठ्यक्रम में पढ़ाया जाता है और हर प्रमुख फ्रेमवर्क में लागू किया जाता है।
संबंधित विकास
बैकप्रोपेगेशन की सफलता ने कई विस्तार और वेरिएंट को प्रेरित किया। शोधकर्ताओं ने एडम और SGD वेरिएंट जैसे बेहतर ऑप्टिमाइज़ेशन एल्गोरिदम विकसित किए, साथ ही ड्रॉपआउट और वज़न इनिशियलाइज़ेशन रणनीतियों जैसी नियमितीकरण तकनीकें भी। रिवर्स-मोड ऑटोमैटिक डिफरेंशिएशन की अवधारणा, जिसे बैकप्रोपेगेशन मूर्त रूप देता है, अब तंत्रिका नेटवर्क से परे वैज्ञानिक कंप्यूटिंग में व्यापक रूप से उपयोग की जाती है। टोरंटो विश्वविद्यालय जैसे संस्थान, जहाँ हिंटन ने काम किया, और स्टैनफोर्ड AI लैब डीप लर्निंग अनुसंधान के केंद्र बन गए। 1986 का शोधपत्र अक्सर एक मोड़ बिंदु के रूप में उद्धृत किया जाता है, और इसके लेखकों को कई पुरस्कार मिले, जिसमें 2018 का ट्यूरिंग अवार्ड हिंटन को, योशुआ बेंगियो और यान लेकुन के साथ, डीप लर्निंग में उनके योगदान के लिए शामिल है। अपनी उम्र के बावजूद, बैकप्रोपेगेशन प्रमुख प्रशिक्षण विधि बना हुआ है, हालाँकि चल रहे अनुसंधान पाठ्यक्रम सीखने और जैविक रूप से प्रेरित दृष्टिकोण जैसे विकल्पों की खोज करता है।