जीनरेक

GeneRec एक सीखने का एल्गोरिदम है जिसे 1989 में जेफ्री हिंटन द्वारा तंत्रिका नेटवर्क के लिए पेश किया गया था। इसे बैकप्रोपेगेशन के जैविक रूप से प्रशंसनीय विकल्प के रूप में डिज़ाइन किया गया था, जिसका उद्देश्य यह समझाना था कि मस्तिष्क वैश्विक त्रुटि संकेत या सटीक व्युत्पन्न गणना की आवश्यकता के बिना सिनैप्टिक भार को कैसे समायोजित कर सकता है। यह नाम 'जीन' (उत्पत्ति के रूप में) और 'रेक' (आवर्ती के लिए) से लिया गया है, जो आवर्ती नेटवर्क सिद्धांत में इसकी जड़ों और स्थानीय गतिविधि पैटर्न से सीखने के नियम उत्पन्न करने के इसके लक्ष्य को दर्शाता है।

मानक बैकप्रोपेगेशन के विपरीत, जो नेटवर्क के माध्यम से त्रुटि संकेतों को पीछे की ओर प्रसारित करता है, GeneRec एक विपरीत हेबियन सीखने के नियम का उपयोग करता है। यह दो चरणों में काम करता है: एक 'प्लस' चरण जहां नेटवर्क को लक्ष्य आउटपुट पर क्लैंप किया जाता है, और एक 'माइनस' चरण जहां नेटवर्क स्वतंत्र रूप से चलता है। फिर भार अद्यतन की गणना इन दो चरणों में पूर्व- और पोस्ट-सिनैप्टिक गतिविधियों के सहसंबंधों के बीच अंतर के रूप में की जाती है। यह स्थानीय नियम इसे जैविक बाधाओं के साथ अधिक संगत बनाता है, क्योंकि इसके लिए केवल प्रत्येक सिनैप्स पर उपलब्ध जानकारी की आवश्यकता होती है।

सैद्धांतिक आधार

GeneRec मशीन लर्निंग और कम्प्यूटेशनल तंत्रिका विज्ञान में पहले के काम पर आधारित है, विशेष रूप से विपरीत सीखने की अवधारणा पर। यह एल्गोरिदम बोल्ट्ज़मैन मशीन सीखने के नियम से निकटता से संबंधित है, लेकिन यह निरंतर सक्रियण वाले नियतात्मक नेटवर्क पर लागू होता है। हिंटन की प्रमुख अंतर्दृष्टि यह थी कि 'प्लस' और 'माइनस' चरण आँकड़ों के बीच का अंतर आवर्ती आर्किटेक्चर में भी त्रुटि फ़ंक्शन के ग्रेडिएंट का अनुमान लगा सकता है।

एल्गोरिदम सममित कनेक्शन वाले नेटवर्क को मानता है, एक शर्त जो गणित को सरल बनाती है लेकिन सभी प्रकारों के लिए सख्ती से आवश्यक नहीं है। व्यवहार में, GeneRec को फीडफॉरवर्ड नेटवर्क में लागू किया जा सकता है, जिसमें प्लस चरण के दौरान आउटपुट परत को क्लैंप किए गए लक्ष्य के रूप में माना जाता है। माइनस चरण तब बाहरी क्लैंपिंग के बिना एक फॉरवर्ड पास से मेल खाता है, जिससे नेटवर्क को अपनी प्राकृतिक स्थिति में स्थिर होने की अनुमति मिलती है।

बैकप्रोपेगेशन से संबंध

GeneRec को अक्सर बैकप्रोपेगेशन का 'स्थानीय' सन्निकटन कहा जाता है। जबकि बैकप्रोपेगेशन श्रृंखला नियम का उपयोग करके सटीक ग्रेडिएंट की गणना करता है, GeneRec गतिविधि में अस्थायी अंतर पर निर्भर करता है। कुछ शर्तों के तहत, जैसे कि जब नेटवर्क संतुलन के पास काम करता है और सीखने की दर छोटी होती है, GeneRec के अद्यतन बैकप्रोपेगेशन के ग्रेडिएंट के समान दिशा में परिवर्तित होते हैं। इस समानता का बाद के काम में औपचारिक रूप से विश्लेषण किया गया, विशेष रूप से 2003 में Xie और Seung द्वारा, जिन्होंने दिखाया कि GeneRec को आवर्ती नेटवर्क के लिए अधिक सामान्य Almeida-Pineda एल्गोरिदम के एक विशेष मामले के रूप में देखा जा सकता है।

हालाँकि, GeneRec अपने कार्यान्वयन में भिन्न है। इसे अलग-अलग त्रुटि संकेतों के साथ अलग फॉरवर्ड और बैकवर्ड पास की आवश्यकता नहीं होती है। इसके बजाय, यह दोनों चरणों के लिए समान नेटवर्क गतिशीलता का उपयोग करता है, जिससे यह उन हार्डवेयर कार्यान्वयनों के लिए अधिक उपयुक्त हो जाता है जो जैविक प्रणालियों की नकल करते हैं। इसने न्यूरोमॉर्फिक चिप्स पर ऊर्जा-कुशल गहन शिक्षण के लिए एक उम्मीदवार के रूप में GeneRec में नई रुचि पैदा की है।

जैविक प्रशंसनीयता

GeneRec के लिए एक प्रमुख प्रेरणा तंत्रिका विज्ञान में 'क्रेडिट असाइनमेंट समस्या' को संबोधित करना था। बैकप्रोपेगेशन के लिए सटीक त्रुटि प्रसार की आवश्यकता होती है, जिसे ज्ञात तंत्रिका सर्किटरी के साथ समेटना मुश्किल है। GeneRec एक अधिक प्रशंसनीय तंत्र प्रदान करता है: यह हेबियन प्लास्टिसिटी पर निर्भर करता है, जो चरण (प्लस या माइनस) को इंगित करने वाले वैश्विक संकेतों द्वारा संशोधित होता है। यह स्पाइक-टाइमिंग-निर्भर प्लास्टिसिटी और सीखने में न्यूरोमॉड्यूलेटर की भूमिका पर प्रयोगात्मक निष्कर्षों के साथ संरेखित होता है।

शोधकर्ताओं ने नोट किया है कि GeneRec की दो-चरणीय गतिशीलता कुछ अनपर्यवेक्षित सीखने के मॉडल में उपयोग किए जाने वाले 'वेक-स्लीप' एल्गोरिदम से मिलती जुलती है। जागने के चरण में, नेटवर्क संवेदी इनपुट संसाधित करता है; नींद के चरण में, यह यादों को समेकित करता है। इस सादृश्य ने इस बारे में आगे के अध्ययनों को प्रेरित किया है कि कॉर्टिकल क्षेत्र आवर्ती इंटरैक्शन के माध्यम से विपरीत सीखने को कैसे लागू कर सकते हैं।

अनुप्रयोग और प्रभाव

हालाँकि GeneRec को मुख्यधारा की मशीन लर्निंग में व्यापक रूप से नहीं अपनाया गया था, इसने जैविक रूप से प्रेरित एल्गोरिदम पर बाद के शोध को प्रभावित किया। यह आधुनिक विपरीत सीखने के तरीकों का अग्रदूत है और ऊर्जा-आधारित मॉडल और भविष्य कहनेवाला कोडिंग पर काम में उद्धृत किया गया है। 2010 और 2020 के दशक में, विशेष हार्डवेयर पर बड़े पैमाने के मॉडल को प्रशिक्षित करने के लिए बैकप्रोपेगेशन के विकल्पों की तलाश करने वाले शोधकर्ताओं के रूप में रुचि पुनर्जीवित हुई।

GeneRec को कृत्रिम बुद्धिमत्ता प्रणालियों के संदर्भ में खोजा गया है जो कॉर्टिकल प्रोसेसिंग की नकल करने का लक्ष्य रखते हैं। उदाहरण के लिए, इसका उपयोग दृश्य कॉर्टेक्स विकास के सिमुलेशन और मोटर सीखने के मॉडल में किया गया है। इसका स्थानीय अद्यतन नियम इसे वितरित कार्यान्वयन के लिए आकर्षक बनाता है, जैसे कि Graphcore के IPU या अन्य समानांतर आर्किटेक्चर पर, हालाँकि कोई बड़ी व्यावसायिक तैनाती नहीं हुई है।

सीमाएँ और विस्तार

GeneRec की मुख्य सीमा सममित भार और नेटवर्क गतिशीलता के सावधानीपूर्वक नियंत्रण की आवश्यकता है। व्यवहार में, प्लस और माइनस चरण कम्प्यूटेशनल रूप से महंगे हो सकते हैं, क्योंकि नेटवर्क को प्रत्येक चरण में संतुलन तक पहुँचना चाहिए। यह इसे बड़े पैमाने की समस्याओं के लिए मानक बैकप्रोपेगेशन की तुलना में धीमा बनाता है। इसके अतिरिक्त, एल्गोरिदम शोर और पैरामीटर विकल्पों के प्रति संवेदनशील हो सकता है, जिसने प्रतिस्पर्धी बेंचमार्क में इसके अपनाने में बाधा उत्पन्न की है।

GeneRec के विस्तार में समरूपता धारणा को शिथिल करने वाले प्रकार शामिल हैं, जैसे 'रैंडम फीडबैक अलाइनमेंट' दृष्टिकोण, और हाइब्रिड विधियाँ जो स्थानीय हेबियन अद्यतनों को कभी-कभी वैश्विक सुधारों के साथ जोड़ती हैं। हाल के सैद्धांतिक कार्य ने GeneRec को संतुलन प्रसार से भी जोड़ा है, एक विधि जो 2017 में Scellier और Bengio द्वारा प्रस्तावित की गई थी, जो समान दो-चरणीय विपरीत नियम का उपयोग करती है। ये कनेक्शन बताते हैं कि GeneRec जैविक और कृत्रिम दोनों प्रणालियों में सीखने को समझने के लिए एक प्रासंगिक ढांचा बना हुआ है।

विरासत

GeneRec जैविक रूप से प्रशंसनीय सीखने के एल्गोरिदम की खोज में एक मील का पत्थर है। स्थानीय गणना और अस्थायी विरोधाभास पर इसका जोर तंत्रिका गणना और संज्ञानात्मक विज्ञान में शोधकर्ताओं की पीढ़ियों को प्रेरित किया है। जबकि बैकप्रोपेगेशन व्यवहार में प्रमुख बना हुआ है, GeneRec के सिद्धांत अधिक कुशल और मस्तिष्क-जैसे AI सिस्टम बनाने के प्रयासों को सूचित करना जारी रखते हैं। 2020 के दशक तक, इसका मुख्य रूप से शैक्षणिक संदर्भों में अध्ययन किया जाता है, लेकिन इसके विचार न्यूरोमॉर्फिक हार्डवेयर के डिजाइन और सीखने की गतिशीलता के सैद्धांतिक विश्लेषण में बने रहते हैं।