एक इको स्टेट नेटवर्क (ESN) आवर्तक तंत्रिका नेटवर्क का एक वर्ग है जिसका उपयोग मुख्य रूप से समय-श्रृंखला डेटा और गतिशील प्रणालियों के प्रसंस्करण के लिए किया जाता है। इसकी परिभाषित विशेषता परस्पर जुड़े न्यूरॉन्स का एक बड़ा, यादृच्छिक रूप से आरंभिक जलाशय है जिसके आंतरिक भार प्रशिक्षण के दौरान स्थिर रहते हैं। केवल आउटपुट परत, जिसे रीडआउट कहा जाता है, प्रशिक्षित की जाती है, आमतौर पर रिज रिग्रेशन जैसी सरल रैखिक विधि के साथ। यह डिज़ाइन पारंपरिक आवर्तक नेटवर्कों की तुलना में कम्प्यूटेशनल लागत को काफी कम कर देता है, जो समय के माध्यम से बैकप्रोपेगेशन के माध्यम से सभी भारों को समायोजित करते हैं। ESN रिजर्वायर कंप्यूटिंग के व्यापक परिवार से संबंधित हैं, जिसमें लिक्विड स्टेट मशीनें भी शामिल हैं, और 2000 के दशक की शुरुआत में हर्बर्ट जैगर द्वारा पेश किए गए थे, जो यादृच्छिक आवर्तक नेटवर्कों में पहले के काम पर आधारित थे। "इको स्टेट" नाम इस गुण को दर्शाता है कि जलाशय की आंतरिक स्थिति इनपुट इतिहास की एक प्रतिध्वनि के रूप में कार्य करती है, जो समय के साथ फीकी पड़ जाती है, जो नेटवर्क को स्पष्ट मेमोरी इकाइयों के बिना अस्थायी निर्भरता को पकड़ने की अनुमति देती है।
ESN अनुक्रमिक डेटा से भविष्यवाणी, फ़िल्टरिंग और पैटर्न निर्माण से जुड़े कार्यों के लिए विशेष रूप से प्रभावी हैं, जैसे कि भाषण पहचान, वित्तीय पूर्वानुमान और रोबोटिक नियंत्रण। उनकी सरलता और गति उन्हें एम्बेडेड सिस्टम और वास्तविक समय अनुप्रयोगों के लिए आकर्षक बनाती है, हालांकि वे बड़े पैमाने के आधुनिक डीप लर्निंग पाइपलाइनों में कम उपयोग किए जाते हैं, जो ट्रांसफॉर्मर और बड़े भाषा मॉडल जैसे आर्किटेक्चर का पक्ष लेते हैं। इसके बावजूद, ESN एक सक्रिय शोध क्षेत्र बना हुआ है, विशेष रूप से भौतिक रिजर्वायर कंप्यूटिंग और न्यूरोमॉर्फिक हार्डवेयर कार्यान्वयन के लिए।
आर्किटेक्चर और प्रशिक्षण
एक ESN में तीन मुख्य घटक होते हैं: एक इनपुट परत, एक जलाशय और एक रीडआउट परत। इनपुट परत यादृच्छिक रूप से उत्पन्न इनपुट भार मैट्रिक्स के माध्यम से बाहरी संकेतों को जलाशय में मैप करती है। जलाशय न्यूरॉन्स का एक विरल, आवर्तक नेटवर्क है (अक्सर tanh या sigmoid सक्रियण फ़ंक्शन का उपयोग करके) जिसमें यादृच्छिक रूप से निर्दिष्ट कनेक्शन भार होते हैं, जो इको स्टेट गुण को संतुष्ट करने के लिए स्केल किए जाते हैं। यह गुण सुनिश्चित करता है कि जलाशय की स्थिति स्पर्शोन्मुख रूप से अपनी प्रारंभिक स्थितियों से स्वतंत्र है, केवल इनपुट इतिहास पर निर्भर करती है, जो स्थिर और सार्थक प्रतिनिधित्व के लिए महत्वपूर्ण है।
रीडआउट परत एक रैखिक या कभी-कभी अरेखीय फ़ंक्शन है जो जलाशय की स्थिति (अक्सर वर्तमान इनपुट के साथ संयोजित) को वांछित आउटपुट में मैप करती है। प्रशिक्षण में केवल रीडआउट भार को समायोजित करना शामिल है, आमतौर पर कम से कम वर्ग या रिज रिग्रेशन का उपयोग करके एक रैखिक प्रणाली को हल करके। यह लुप्त होने और विस्फोटक ढाल समस्याओं से बचाता है जो प्रशिक्षित आवर्तक नेटवर्कों को परेशान करती हैं, और यह तेज़, बंद-रूप समाधान की अनुमति देता है। जलाशय का आकार, भार मैट्रिक्स की वर्णक्रमीय त्रिज्या, इनपुट स्केलिंग और विरलता हाइपरपैरामीटर हैं जिन्हें किसी दिए गए कार्य के लिए ट्यून किया जाना चाहिए।
ऐतिहासिक विकास
कम्प्यूटेशन के लिए यादृच्छिक आवर्तक नेटवर्कों का उपयोग करने की अवधारणा 1980 के दशक की है, जिसमें बर्नार्ड विड्रो और अन्य शोधकर्ताओं द्वारा निश्चित-भार नेटवर्कों की खोज करने वाले शुरुआती काम शामिल हैं। हालांकि, इको स्टेट नेटवर्कों का औपचारिकीकरण हर्बर्ट जैगर को दिया जाता है, जिन्होंने 2001 में फ्रौनहोफर इंस्टीट्यूट फॉर ऑटोनॉमस इंटेलिजेंट सिस्टम्स में रहते हुए मौलिक पेपर प्रकाशित किया। उसी समय के आसपास, वोल्फगैंग मास ने लिक्विड स्टेट मशीनों की शुरुआत की, जो कम्प्यूटेशनल तंत्रिका विज्ञान में एक समानांतर दृष्टिकोण है। ये दो धाराएं रिजर्वायर कंप्यूटिंग के क्षेत्र में विलीन हो गईं, जिसने 2000 के दशक में अपनी सरलता और प्रभावशीलता के लिए लोकप्रियता हासिल की। बाद के विकासों में डीप इको स्टेट नेटवर्क शामिल हैं, जो कई जलाशयों को स्टैक करते हैं, और धीमी गतिशीलता को संभालने के लिए लीकी इंटीग्रेटर न्यूरॉन्स वाले वेरिएंट शामिल हैं।
अनुप्रयोग और उपयोग के मामले
ESN को कई डोमेन में लागू किया गया है। मशीन लर्निंग और कृत्रिम बुद्धिमत्ता में, उनका उपयोग समय-श्रृंखला भविष्यवाणी के लिए किया जाता है, जैसे कि बिजली की मांग, स्टॉक की कीमतें या मौसम के पैटर्न का पूर्वानुमान। सिग्नल प्रोसेसिंग में, वे शोर फ़िल्टरिंग और चैनल समीकरण करते हैं। रोबोटिक्स में, वे मोटर नियंत्रण और प्रक्षेपवक्र निर्माण सक्षम करते हैं। ESN का उपयोग भाषण पहचान और संगीत निर्माण में भी किया गया है, जहां अस्थायी अनुक्रमों को मॉडल करने की उनकी क्षमता फायदेमंद है। वैज्ञानिक कंप्यूटिंग में, वे अराजक प्रणालियों, जैसे लोरेंज आकर्षक, को मॉडल करते हैं और सिस्टम पहचान में उपयोग किए जाते हैं। क्योंकि उन्हें एनालॉग हार्डवेयर पर लागू किया जा सकता है, ESN को ऑप्टिकल, इलेक्ट्रॉनिक या यांत्रिक सब्सट्रेट का उपयोग करके भौतिक रिजर्वायर कंप्यूटिंग के लिए खोजा जाता है, जिसमें नोकिया बेल लैब्स और MIT CSAIL जैसे संस्थानों में शोध शामिल है।
अन्य आर्किटेक्चर के साथ तुलना
लंबी अल्पकालिक मेमोरी (LSTM) नेटवर्क जैसे पूरी तरह से प्रशिक्षित आवर्तक नेटवर्कों की तुलना में, ESN बहुत कम प्रशिक्षण लागत प्रदान करते हैं और ढाल-आधारित अनुकूलन से बचते हैं। हालांकि, तुलनीय सटीकता प्राप्त करने के लिए उन्हें बड़े जलाशयों की आवश्यकता हो सकती है, और उनका प्रदर्शन हाइपरपैरामीटर चयन पर काफी हद तक निर्भर करता है। अवशिष्ट नेटवर्क या यू-नेट जैसे फीडफॉरवर्ड नेटवर्कों के विपरीत, ESN स्वाभाविक रूप से अनुक्रमिक हैं और परिवर्तनीय-लंबाई इनपुट को संभाल सकते हैं। आधुनिक डीप लर्निंग दृष्टिकोण, विशेष रूप से मल्टी-हेड अटेंशन और स्थितीय एन्कोडिंग वाले ट्रांसफॉर्मर, ने बड़े पैमाने पर प्राकृतिक भाषा प्रसंस्करण और जनरेटिव कार्यों में ESN को काफी हद तक बदल दिया है, जैसा कि ओपनएआई, एंथ्रोपिक और गूगल डीपमाइंड जैसी कंपनियों के बड़े भाषा मॉडल में देखा गया है। फिर भी, ESN कम-शक्ति, वास्तविक समय अनुप्रयोगों और गतिशील प्रणालियों को समझने के लिए मूल्यवान बने हुए हैं।
सीमाएं और भविष्य की दिशाएं
ESN की प्राथमिक सीमाओं में इष्टतम जलाशयों को डिजाइन करने की कठिनाई, जटिल कार्यों के लिए बड़े जलाशयों की आवश्यकता और हाइपरपैरामीटर सेट करने के लिए सैद्धांतिक विधि की कमी शामिल है। इको स्टेट गुण आवश्यक है लेकिन अच्छे प्रदर्शन के लिए पर्याप्त नहीं है, और अनुभवजन्य ट्यूनिंग अक्सर आवश्यक होती है। अनुकूली जलाशयों, ऑनलाइन सीखने के नियमों और हाइब्रिड दृष्टिकोणों पर शोध जारी है जो ESN को अन्य आर्किटेक्चर के साथ जोड़ते हैं। एज कंप्यूटिंग और एएमडी, इंटेल और एआरएम होल्डिंग्स प्रोसेसर के उदय के साथ, ESN को सेंसर डेटा विश्लेषण के लिए माइक्रोकंट्रोलर पर तैनात किया जा रहा है। इसके अतिरिक्त, न्यूरोमॉर्फिक चिप्स और क्वांटम रिजर्वायर कंप्यूटिंग उभरती हुई सीमाएं हैं, जो संभावित रूप से इको स्टेट नेटवर्कों की पहुंच को पारंपरिक सॉफ्टवेयर कार्यान्वयन से परे बढ़ा सकती हैं।