फीडबैक तंत्रिका नेटवर्क कृत्रिम तंत्रिका नेटवर्क का एक वर्ग है जिसमें कनेक्शन निर्देशित चक्र बनाते हैं, जिससे सूचना लूप में प्रवाहित हो सकती है। फीडफॉरवर्ड नेटवर्क के विपरीत, जहां सिग्नल सख्ती से इनपुट से आउटपुट की ओर बढ़ते हैं, फीडबैक नेटवर्क आंतरिक स्थिति बनाए रखते हैं जो समय के साथ विकसित होती है, जिससे वे अनुक्रमिक डेटा प्रोसेसिंग, गतिशील प्रणालियों के मॉडलिंग और मेमोरी लागू करने के लिए उपयुक्त होते हैं। सामान्य उदाहरणों में आवर्ती तंत्रिका नेटवर्क (RNN), हॉपफील्ड नेटवर्क और इको स्टेट नेटवर्क शामिल हैं। ये आर्किटेक्चर कई आधुनिक मशीन लर्निंग प्रणालियों की नींव हैं, जिनमें बड़े भाषा मॉडल शामिल हैं जो आवर्ती या गेटेड फीडबैक तंत्र का उपयोग करते हैं।
फीडबैक तंत्रिका नेटवर्क की परिभाषित विशेषता आवर्ती कनेक्शन की उपस्थिति है। ये लूप नेटवर्क को पिछले समय चरणों से जानकारी बनाए रखने में सक्षम बनाते हैं, प्रभावी रूप से इसे अल्पकालिक मेमोरी का एक रूप देते हैं। यह गुण समय-श्रृंखला भविष्यवाणी, भाषण पहचान, प्राकृतिक भाषा प्रसंस्करण और नियंत्रण प्रणालियों जैसे कार्यों के लिए आवश्यक है। फीडबैक स्थानीय (एक परत के भीतर), वैश्विक (परतों के बीच), या दोनों हो सकता है, और इसमें स्व-कनेक्शन शामिल हो सकते हैं। ऐसे नेटवर्क की गतिशीलता अंतर या अंतर समीकरणों द्वारा नियंत्रित होती है, और उनका व्यवहार स्थिर निश्चित बिंदुओं से लेकर अराजक दोलनों तक हो सकता है, जो वजन और सक्रियण कार्यों पर निर्भर करता है।
ऐतिहासिक विकास
तंत्रिका गणना में फीडबैक की अवधारणा 20वीं सदी के मध्य से चली आ रही है। 1943 में, वॉरेन मैककुलोच और वाल्टर पिट्स ने बाइनरी थ्रेशोल्ड वाले न्यूरॉन्स का एक सरल मॉडल प्रस्तावित किया, लेकिन इसमें फीडबैक की कमी थी। 1956 में, फ्रैंक रोसेनब्लैट ने परसेप्ट्रॉन पेश किया, जो एक फीडफॉरवर्ड नेटवर्क था, लेकिन सीमाएं जल्द ही पहचान ली गईं। 1969 में, मार्विन मिंस्की और सीमोर पेपर्ट ने एकल-परत परसेप्ट्रॉन की गैर-रैखिक समस्याओं को हल करने में असमर्थता पर प्रकाश डाला, जिसने अनुसंधान को अस्थायी रूप से धीमा कर दिया। हालांकि, 1982 में जॉन हॉपफील्ड के काम से फीडबैक नेटवर्क में रुचि पुनर्जीवित हुई, जिन्होंने हॉपफील्ड नेटवर्क पेश किया, जो एक आवर्ती साहचर्य मेमोरी मॉडल था जो पैटर्न संग्रहीत और पुनर्प्राप्त कर सकता था। उसी समय के आसपास, बर्कले के शोधकर्ताओं और अन्य ने आवर्ती बैकप्रोपेगेशन का पता लगाया। 1985 में, कार्नेगी मेलन के शोधकर्ताओं ने बैकप्रोपेगेशन थ्रू टाइम एल्गोरिदम विकसित किया, जिससे आवर्ती नेटवर्क का प्रशिक्षण संभव हुआ। बाद में, 1997 में, सेप होचरेइटर और जुर्गन श्मिधुबर ने लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) आर्किटेक्चर पेश किया, जिसने लुप्त होती ढाल समस्या को संबोधित किया और आधुनिक अनुक्रम मॉडलिंग की आधारशिला बन गया।
प्रकार और आर्किटेक्चर
फीडबैक तंत्रिका नेटवर्क कई रूपों में आते हैं। हॉपफील्ड नेटवर्क एक पूरी तरह से जुड़ा आवर्ती नेटवर्क है जिसमें सममित वजन होते हैं, जिसका उपयोग साहचर्य मेमोरी और अनुकूलन के लिए किया जाता है। एलमैन नेटवर्क, जिसे 1990 में जेफ्री एलमैन द्वारा प्रस्तावित किया गया था, एक सरल आवर्ती नेटवर्क है जिसमें संदर्भ इकाइयां होती हैं जो पिछले छिपे हुए राज्यों को संग्रहीत करती हैं। जॉर्डन नेटवर्क, जिसे 1986 में माइकल जॉर्डन द्वारा पेश किया गया था, आउटपुट को इनपुट परत में वापस फीड करता है। इको स्टेट नेटवर्क, जो 2001 में हर्बर्ट जैगर द्वारा विकसित किए गए थे, यादृच्छिक रूप से आरंभिक जलाशय का उपयोग करते हैं जिसमें निश्चित वजन होते हैं और केवल रीडआउट परत को प्रशिक्षित करते हैं। LSTM और गेटेड आवर्ती इकाइयों (GRU) जैसे गेटेड आर्किटेक्चर सूचना प्रवाह को नियंत्रित करने के लिए सीखने योग्य गेट शामिल करते हैं, जिससे लुप्त होती ढाल समस्या कम होती है। ये विविधताएं अनुक्रम-से-अनुक्रम मॉडल में व्यापक रूप से उपयोग की जाती हैं, और ट्रांसफॉर्मर अक्सर हाइब्रिड डिजाइनों में आवर्ती या फीडबैक जैसे तंत्र शामिल करते हैं।
प्रशिक्षण और चुनौतियां
फीडबैक नेटवर्क का प्रशिक्षण अस्थायी निर्भरताओं के कारण फीडफॉरवर्ड नेटवर्क के प्रशिक्षण से अधिक जटिल है। मानक विधि बैकप्रोपेगेशन थ्रू टाइम (BPTT) है, जो नेटवर्क को समय में खोलती है और मानक बैकप्रोपेगेशन लागू करती है। हालांकि, BPTT लुप्त या विस्फोटित ढाल से पीड़ित हो सकता है, जहां लंबे अनुक्रमों पर ढाल बहुत छोटे या बहुत बड़े हो जाते हैं। ग्रेडिएंट क्लिपिंग, लेयर नॉर्मलाइजेशन और सावधानीपूर्वक वजन आरंभीकरण जैसी तकनीकें इन मुद्दों को कम करने में मदद करती हैं। इसके अतिरिक्त, एडम जैसे ऑप्टिमाइज़र और लर्निंग रेट शेड्यूल आमतौर पर उपयोग किए जाते हैं। बड़े पैमाने के मॉडल के लिए, प्रशिक्षण कम्प्यूटेशनल रूप से गहन हो सकता है, जिसके लिए अक्सर AWS ट्रेनियम या गूगल क्लाउड TPU जैसे विशेष हार्डवेयर की आवश्यकता होती है। इन चुनौतियों के बावजूद, फीडबैक नेटवर्क ने कई डोमेन में अत्याधुनिक परिणाम प्राप्त किए हैं।
अनुप्रयोग
फीडबैक तंत्रिका नेटवर्क कई क्षेत्रों में लागू होते हैं। प्राकृतिक भाषा प्रसंस्करण में, वे भाषा मॉडल को शक्ति प्रदान करते हैं जो पाठ उत्पन्न करते हैं, भाषाओं का अनुवाद करते हैं और भावना विश्लेषण करते हैं। भाषण पहचान में, वे ऑडियो सिग्नल को पाठ में परिवर्तित करते हैं। रोबोटिक्स में, वे नियंत्रण प्रणालियों को सक्षम करते हैं जो अनुक्रमिक सेंसर डेटा संभालते हैं। वित्त में, वे स्टॉक मूल्यों की भविष्यवाणी करते हैं और विसंगतियों का पता लगाते हैं। स्वास्थ्य सेवा में, वे पहनने योग्य उपकरणों से समय-श्रृंखला डेटा का विश्लेषण करते हैं। ओपनएआई और एंथ्रोपिक ने बड़े भाषा मॉडल विकसित किए हैं जो मुख्य रूप से ट्रांसफॉर्मर-आधारित होते हुए भी, दक्षता के लिए अक्सर आवर्ती या फीडबैक तत्वों को शामिल करते हैं। गूगल डीपमाइंड ने गेम खेलने और सुदृढीकरण सीखने के लिए आवर्ती नेटवर्क का उपयोग किया है। इसके अतिरिक्त, फीडबैक नेटवर्क जनरेटिव एआई में संगीत और वीडियो बनाने के लिए उपयोग किए जाते हैं।
आधुनिक एआई से संबंध
जबकि ट्रांसफॉर्मर कई क्षेत्रों में प्रमुख हो गए हैं, फीडबैक तंत्रिका नेटवर्क अत्यधिक प्रासंगिक बने हुए हैं। ट्रांसफॉर्मर अनुक्रमों को समानांतर में संसाधित करते हैं, लेकिन उनमें अंतर्निहित अस्थायी गतिशीलता की कमी होती है; वे अक्सर स्थितीय एन्कोडिंग पर निर्भर करते हैं। फीडबैक नेटवर्क, इसके विपरीत, स्वाभाविक रूप से समय और मेमोरी संभालते हैं। ट्रांसफॉर्मर को आवर्ती परतों के साथ संयोजित करने वाले हाइब्रिड आर्किटेक्चर एक सक्रिय अनुसंधान क्षेत्र हैं। उदाहरण के लिए, कुछ मॉडल संदर्भ को संपीड़ित करने के लिए एक आवर्ती तंत्र का उपयोग करते हैं, जिससे कम्प्यूटेशनल लागत कम होती है। फीडबैक के सिद्धांत सुदृढीकरण सीखने और आरएलएचएफ (मानव फीडबैक से सुदृढीकरण सीखना) के लिए भी मौलिक हैं, जहां एक एजेंट परीक्षण और त्रुटि के माध्यम से सीखता है। 2020 के दशक के मध्य तक, फीडबैक तंत्रिका नेटवर्क कुशल अनुक्रम मॉडलिंग और न्यूरोमॉर्फिक कंप्यूटिंग में नवाचारों को प्रेरित करना जारी रखते हैं।
यह भी देखें
संदर्भ
- हॉपफील्ड, जे. जे. (1982)। तंत्रिका नेटवर्क और उभरती सामूहिक कम्प्यूटेशनल क्षमताओं वाली भौतिक प्रणालियां।
- होचरेइटर, एस., और श्मिधुबर, जे. (1997)। लॉन्ग शॉर्ट-टर्म मेमोरी।
- एलमैन, जे. एल. (1990)। समय में संरचना ढूंढना।
- जैगर, एच. (2001)। आवर्ती तंत्रिका नेटवर्क का विश्लेषण और प्रशिक्षण के लिए इको स्टेट दृष्टिकोण।