एलमैन नेटवर्क एक प्रकार का पुनरावर्ती तंत्रिका नेटवर्क है, जिसे 1990 में जेफ्री एलमैन द्वारा प्रस्तुत किया गया था। इसे अनुक्रमिक डेटा, जैसे कि पाठ, भाषण और समय श्रृंखला, को संसाधित करने के लिए डिज़ाइन किया गया है, जहां तत्वों का क्रम महत्वपूर्ण होता है। फीडफॉरवर्ड तंत्रिका नेटवर्क के विपरीत, जो इनपुट को स्वतंत्र रूप से संसाधित करते हैं, एलमैन नेटवर्क अनुक्रमों के भीतर अस्थायी निर्भरताओं और पैटर्न को पकड़ने के लिए पुनरावर्ती कनेक्शन का उपयोग करता है।
वास्तुकला में एक इनपुट परत, एक छिपी परत और एक आउटपुट परत होती है, साथ ही संदर्भ इकाइयों का एक अतिरिक्त सेट होता है। ये संदर्भ इकाइयाँ पिछले समय चरण से छिपी परत के सक्रियण की एक प्रति संग्रहीत करती हैं और इसे वर्तमान समय चरण में छिपी परत में वापस भेजती हैं। यह फीडबैक तंत्र नेटवर्क को अल्पकालिक स्मृति का एक रूप प्रदान करता है, जिससे यह पिछले इनपुट से सीख सकता है और उस ज्ञान को अपनी वर्तमान प्रक्रिया में शामिल कर सकता है। एलमैन नेटवर्क को अक्सर एक सरल पुनरावर्ती नेटवर्क (SRN) के रूप में वर्णित किया जाता है और यह अनुक्रम मॉडलिंग के लिए मशीन लर्निंग और डीप लर्निंग के अध्ययन में एक आधारभूत मॉडल के रूप में कार्य करता है।
ऐतिहासिक संदर्भ
एलमैन नेटवर्क 1980 और 1990 के दशक की शुरुआत में तंत्रिका नेटवर्क के पुनरुत्थान के दौरान उभरा। इसे अन्य प्रभावशाली पुनरावर्ती वास्तुकलाओं के साथ प्रस्तावित किया गया था, जैसे कि जॉर्डन नेटवर्क, जिसे 1986 में माइकल आई. जॉर्डन द्वारा प्रस्तुत किया गया था। जबकि जॉर्डन नेटवर्क ने संदर्भ इकाइयों का उपयोग किया जो आउटपुट परत की पिछली स्थिति को संग्रहीत करती थीं, एलमैन नेटवर्क ने छिपी परत की स्थिति को संग्रहीत किया, जो कुछ कार्यों के लिए अधिक प्रभावी साबित हुआ। यह नेटवर्क उस समय विकसित किया गया था जब शोधकर्ता यह खोज रहे थे कि कृत्रिम बुद्धिमत्ता अस्थायी निर्भरताओं को कैसे मॉडल कर सकती है, संज्ञानात्मक विज्ञान और तंत्रिका विज्ञान से प्रेरणा लेकर। जेफ्री एलमैन का कार्य मनोभाषाविज्ञान के क्षेत्र में विशेष रूप से प्रभावशाली था, जहां नेटवर्क का उपयोग यह मॉडल करने के लिए किया गया था कि मनुष्य भाषा को कैसे संसाधित और सीखते हैं।
वास्तुकला और कार्य
एलमैन नेटवर्क की वास्तुकला बाद के पुनरावर्ती मॉडलों की तुलना में अपेक्षाकृत सरल है। प्रत्येक समय चरण पर, नेटवर्क एक इनपुट वेक्टर प्राप्त करता है और इसे संदर्भ वेक्टर के साथ जोड़ता है, जो पिछले समय चरण से छिपी परत का सक्रियण होता है। यह संयुक्त इनपुट छिपी परत से गुजरता है, जो एक गैर-रैखिक सक्रियण फ़ंक्शन लागू करती है, आमतौर पर सिग्मॉइड या हाइपरबोलिक टेंजेंट। छिपी परत का आउटपुट फिर नेटवर्क का आउटपुट उत्पन्न करने के लिए उपयोग किया जाता है, और एक प्रति अगले समय चरण के लिए संदर्भ इकाइयों में संग्रहीत की जाती है।
यह डिज़ाइन नेटवर्क को एक स्थिति बनाए रखने की अनुमति देता है जो समय के साथ विकसित होती है, जिससे यह चर लंबाई के अनुक्रमों को संसाधित करने में सक्षम होता है। हालांकि, एलमैन नेटवर्क लुप्त ग्रेडिएंट समस्या से ग्रस्त है, जो लंबी दूरी की निर्भरताओं को सीखने की इसकी क्षमता को सीमित करता है। इस मुद्दे को बाद में 1997 में लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) वास्तुकला द्वारा संबोधित किया गया, जिसने सूचना के प्रवाह को नियंत्रित करने के लिए गेटिंग तंत्र पेश किए। इस सीमा के बावजूद, एलमैन नेटवर्क एक मूल्यवान शैक्षणिक उपकरण और पुनरावर्ती वास्तुकलाओं को समझने के लिए एक आधार रेखा बना हुआ है।
अनुप्रयोग
एलमैन नेटवर्क को अनुक्रमिक डेटा से जुड़े विभिन्न कार्यों पर लागू किया गया है। अपने शुरुआती वर्षों में, इसका उपयोग भाषा मॉडलिंग के लिए किया गया था, जहां यह पिछले शब्दों के आधार पर अनुक्रम में अगले शब्द की भविष्यवाणी कर सकता था। इसे भाषण पहचान, हस्तलेखन पहचान और अन्य समय-श्रृंखला भविष्यवाणी कार्यों में भी अनुप्रयोग मिला। सरल व्याकरणिक संरचनाओं को सीखने की नेटवर्क की क्षमता ने इसे संज्ञानात्मक विज्ञान में अध्ययन के लिए एक लोकप्रिय विकल्प बना दिया, विशेष रूप से बच्चों में भाषा अधिग्रहण के मॉडलिंग में।
जबकि आधुनिक वास्तुकलाएं जैसे ट्रांसफॉर्मर लंबी दूरी की निर्भरताओं के बेहतर संचालन और समानांतरीकरण के कारण कई अनुक्रम-प्रसंस्करण कार्यों के लिए प्रमुख बन गई हैं, एलमैन नेटवर्क उन संदर्भों में प्रासंगिक बना हुआ है जहां कम्प्यूटेशनल दक्षता और वास्तविक समय प्रसंस्करण महत्वपूर्ण हैं। इसकी सरलता इसे लागू करने और प्रशिक्षित करने में आसान बनाती है, और यह अधिक जटिल पुनरावर्ती मॉडलों को समझने के लिए एक निर्माण खंड के रूप में कार्य करता है।
विरासत और प्रभाव
एलमैन नेटवर्क का तंत्रिका नेटवर्क के क्षेत्र पर स्थायी प्रभाव पड़ा है। इसने अस्थायी डेटा के मॉडलिंग में पुनरावर्ती कनेक्शन के महत्व को स्थापित करने में मदद की और बाद की वास्तुकलाओं के विकास को प्रभावित किया, जिसमें गेटेड रिकरंट यूनिट्स (GRUs) और द्विदिशात्मक पुनरावर्ती नेटवर्क शामिल हैं। संदर्भ इकाइयों की अवधारणा ने मेमोरी-संवर्धित नेटवर्कों में अनुसंधान को प्रेरित किया और इस बात की व्यापक समझ में योगदान दिया कि तंत्रिका नेटवर्क आंतरिक स्थितियों को कैसे बनाए रख सकते हैं।
हाल के वर्षों में, एलमैन नेटवर्क के अंतर्निहित सिद्धांतों को हाइब्रिड मॉडलों में शामिल किया गया है जो पुनरावर्ती और ध्यान-आधारित तंत्रों को जोड़ते हैं। हालांकि नेटवर्क आज बड़े पैमाने पर उत्पादन प्रणालियों में शायद ही उपयोग किया जाता है, यह विश्वविद्यालय के डीप लर्निंग पाठ्यक्रमों में एक मानक विषय बना हुआ है और साहित्य में अक्सर एक सरल पुनरावर्ती नेटवर्क के आधारभूत उदाहरण के रूप में उद्धृत किया जाता है।