एक आवर्तक तंत्रिका नेटवर्क, या RNN, एक तंत्रिका-नेटवर्क वास्तुकला है जिसे अनुक्रमिक डेटा को संसाधित करने के लिए डिज़ाइन किया गया है, जो एक आंतरिक छिपी हुई अवस्था को बनाए रखता है जिसे प्रत्येक चरण पर अद्यतन किया जाता है और आगे ले जाया जाता है ताकि बाद के इनपुट को संसाधित करने के तरीके को प्रभावित किया जा सके। फीडफॉरवर्ड नेटवर्क के विपरीत, जो पिछले इनपुट की कोई स्मृति के बिना एक निश्चित इनपुट को एक निश्चित आउटपुट में मैप करते हैं, RNN अनुक्रम के प्रत्येक चरण में समान भार साझा करते हैं और, सिद्धांत रूप में, उस अनुक्रम में मनमाने ढंग से पीछे की जानकारी का उपयोग करके प्रत्येक नई भविष्यवाणी को सूचित कर सकते हैं।
इतिहास
प्रारंभिक आवर्तक वास्तुकलाओं में जॉन-हॉपफील्ड का 1982 का हॉपफील्ड नेटवर्क, एक साहचर्य स्मृति मॉडल, और 1990 में जेफ्री एलमैन द्वारा प्रस्तावित सरल आवर्तक नेटवर्क शामिल थे, जिसने दिखाया कि एक नेटवर्क नियमों को स्पष्ट रूप से बताए बिना शब्दों की एक धारा में व्याकरणिक संरचना का प्रतिनिधित्व करना सीख सकता है। 1990 और 2000 के दशक के दौरान, RNN प्राकृतिक-भाषा-प्रसंस्करण और वाक्-पहचान में अनुक्रम कार्यों के लिए डिफ़ॉल्ट वास्तुकला थे, लेकिन सादे RNN को लंबे अनुक्रमों पर प्रशिक्षित करना कठिन साबित हुआ क्योंकि बैकप्रोपेगेशन के माध्यम से समय के साथ गणना किए गए ग्रेडिएंट अनुक्रम की लंबाई के साथ तेजी से सिकुड़ते या बढ़ते हैं, एक समस्या जिसका सेप-होकरेइटर द्वारा 1991 में औपचारिक रूप से विश्लेषण किया गया था। इस लुप्त और विस्फोटक ग्रेडिएंट समस्या ने 1997 में LSTM वास्तुकला को प्रेरित किया और, बाद में, सरल गेटेड आवर्तक इकाई को, दोनों ने गेटिंग तंत्र जोड़े जो ग्रेडिएंट को कई चरणों में अधिक स्थिर रूप से प्रवाहित करने देते हैं।
वास्तुकला और प्रशिक्षण
एक RNN एक अनुक्रम को एक समय में एक तत्व संसाधित करता है, वर्तमान इनपुट को पिछले चरण से ले जाए गए छिपी हुई अवस्था के साथ जोड़कर एक नई छिपी हुई अवस्था और, वैकल्पिक रूप से, उस चरण पर एक आउटपुट उत्पन्न करता है। प्रशिक्षण समय के माध्यम से बैकप्रोपेगेशन का उपयोग करता है, जो एक अनुक्रम के सभी चरणों में आवर्तक गणना को खोलता है और परिणामी, प्रभावी रूप से बहुत गहरे, खोले गए नेटवर्क पर साधारण ग्रेडिएंट-डिसेंट लागू करता है। यह खोलना RNN की मुख्य कम्प्यूटेशनल कमी भी है: क्योंकि प्रत्येक चरण पिछले एक के आउटपुट पर निर्भर करता है, अनुक्रम को काफी हद तक समानांतर के बजाय चरण दर चरण संसाधित किया जाना चाहिए, जिससे RNN लंबे अनुक्रमों और बड़े डेटासेट पर प्रशिक्षित करने में धीमे हो जाते हैं जो 2010 के दशक में मानक बन गए थे।
शिखर और पतन
RNN, और विशेष रूप से स्टैक्ड LSTM वेरिएंट, ने seq2seq जैसी वास्तुकलाओं के माध्यम से व्यावहारिक मशीन-अनुवाद और वाक् प्रणालियों की पहली पीढ़ी को शक्ति प्रदान की, जिसे 2014 में पेश किया गया था, जिसने एक एनकोडर RNN को जोड़ा जो एक इनपुट अनुक्रम को एक निश्चित वेक्टर में संपीड़ित करता था और एक डिकोडर RNN जो उससे आउटपुट अनुक्रम उत्पन्न करता था। 2015 के आसपास seq2seq मॉडल में जोड़े गए ध्यान तंत्र, जो डिकोडर को एकल संपीड़ित वेक्टर पर भरोसा करने के बजाय सभी एनकोडर अवस्थाओं को वापस देखने देते हैं, ने अनुवाद गुणवत्ता में सुधार किया और 2017 के ट्रांसफॉर्मर वास्तुकला के लिए मंच तैयार किया, जिसने पुनरावृत्ति को पूरी तरह से त्याग दिया और स्व-ध्यान के पक्ष में था और पूरी तरह से समानांतर में प्रशिक्षित किया जा सकता था। क्योंकि ट्रांसफॉर्मर ने उस समय उपलब्ध GPU हार्डवेयर पर बहुत तेजी से प्रशिक्षण लेते हुए RNN के प्रदर्शन को बराबर या पार कर लिया, उन्होंने कुछ वर्षों के भीतर बड़े-भाषा-मॉडल और अधिकांश प्राकृतिक-भाषा-प्रसंस्करण के लिए प्रमुख अनुक्रम वास्तुकला के रूप में RNN को विस्थापित कर दिया।
विरासत
RNN सख्त स्मृति या विलंबता बाधाओं वाले सेटिंग्स में और कुछ समय-श्रृंखला और नियंत्रण अनुप्रयोगों में उपयोग में बने हुए हैं, और उनका मूल विचार, कि एक निश्चित आकार की छिपी हुई अवस्था एक असीम रूप से लंबे इतिहास को संक्षेप में प्रस्तुत कर सकती है, 2020 के दशक के मध्य में राज्य-अंतरिक्ष-मॉडल जैसे माम्बा में फिर से उभरा, जिसका उद्देश्य RNN जैसी रैखिक-समय अनुमान को प्रशिक्षण दक्षता के साथ जोड़ना है।