एक differentiable neural computer (DNC) एक प्रकार का कृत्रिम तंत्रिका नेटवर्क है जिसे एक बाहरी मेमोरी बैंक के साथ बढ़ाया जाता है, जिसे पूरी तरह से differentiable तरीके से पढ़ा और लिखा जा सकता है। मानक तंत्रिका नेटवर्क के विपरीत, जो जानकारी को अपने वज़न और छिपी अवस्थाओं में परोक्ष रूप से संग्रहीत करते हैं, एक DNC के पास एक स्पष्ट मेमोरी मैट्रिक्स होता है जिसे वह सीखे हुए ध्यान तंत्र का उपयोग करके एक्सेस कर सकता है। यह डिज़ाइन नेटवर्क को लंबे समय के क्षितिज पर जानकारी संग्रहीत करने और पुनर्प्राप्त करने की सीखने की अनुमति देता है, जिससे यह एल्गोरिदमिक तर्क, प्रश्न उत्तर, और संरचित डेटा हेरफेर से जुड़े कार्यों के लिए उपयुक्त हो जाता है। इस वास्तुकला को 2016 में Google DeepMind के शोधकर्ताओं द्वारा पेश किया गया था, जो न्यूरल ट्यूरिंग मशीन पर पहले के काम पर आधारित था।
DNC की प्रमुख नवीनता इसकी differentiable मेमोरी एक्सेस है। नियंत्रक, जो आमतौर पर एक आवर्तक तंत्रिका नेटवर्क होता है, पढ़ने और लिखने वाले हेड उत्सर्जित करता है जो मेमोरी स्थानों पर ध्यान वितरण उत्पन्न करते हैं। ये वितरण softmax फ़ंक्शन का उपयोग करके गणना किए जाते हैं, जो पूरी पढ़ने और लिखने की प्रक्रिया को differentiable बनाता है, जिससे नेटवर्क को ग्रेडिएंट डिसेंट का उपयोग करके अंत-से-अंत तक प्रशिक्षित किया जा सकता है। मेमोरी वास्तविक-मूल्य वाले वैक्टर के मैट्रिक्स के रूप में व्यवस्थित होती है, और नियंत्रक नया डेटा लिख सकता है, मौजूदा डेटा मिटा सकता है, और एक साथ कई स्थानों से पढ़ सकता है। नेटवर्क को महत्वपूर्ण जानकारी को अधिलेखित करने से रोकने के लिए, DNC में एक अस्थायी लिंक मैट्रिक्स भी शामिल है जो उस क्रम को ट्रैक करता है जिसमें मेमोरी स्थान लिखे गए थे, जिससे नेटवर्क संचालन के अनुक्रमों को याद कर सकता है।
DNC को कई कार्यों पर प्रदर्शित किया गया था जिनके लिए जटिल तर्क और दीर्घकालिक स्मृति की आवश्यकता होती है। मूल 2016 पेपर में, लेखकों ने DNC को कहानियों के बारे में प्रश्नों के उत्तर देने, एक आभासी भूलभुलैया में नेविगेट करने, और ग्राफ़ से लापता जानकारी का अनुमान लगाने के लिए प्रशिक्षित किया। नेटवर्क ने सफलतापूर्वक मनमानी लंबाई के अनुक्रमों की प्रतिलिपि बनाना, सूचियों को क्रमबद्ध करना, और ग्राफ़ ट्रैवर्सल करना सीखा, जो मानक आवर्तक नेटवर्क के लिए कठिन कार्य हैं। DNC ने प्रशिक्षण के दौरान देखे गए इनपुट आकारों से बड़े आकारों में सामान्यीकरण करने की क्षमता भी दिखाई, जो एल्गोरिदमिक कार्यों के लिए महत्वपूर्ण गुण है।
Architecture and Components
DNC में तीन मुख्य घटक होते हैं: एक नियंत्रक, एक मेमोरी मैट्रिक्स, और पढ़ने और लिखने वाले हेड का एक सेट। नियंत्रक आमतौर पर एक long short-term memory (LSTM) नेटवर्क या आवर्तक कनेक्शन वाला एक फीडफॉरवर्ड नेटवर्क होता है। प्रत्येक समय चरण पर, नियंत्रक एक इनपुट और पिछले समय चरण से पढ़ने वाले हेड के आउटपुट प्राप्त करता है। फिर यह नियंत्रण संकेतों का एक सेट उत्पन्न करता है जो यह निर्धारित करते हैं कि मेमोरी कैसे एक्सेस की जाती है। इन संकेतों में लिखने का स्थान, लिखने की सामग्री, मिटाने वाला वेक्टर, और पढ़ने के स्थान शामिल हैं।
मेमोरी मैट्रिक्स के आयाम N बटा M हैं, जहाँ N मेमोरी स्थानों की संख्या है और M प्रत्येक स्थान का आकार है। लिखने वाला हेड सामग्री-आधारित एड्रेसिंग और स्थान-आधारित एड्रेसिंग के संयोजन का उपयोग करता है। सामग्री-आधारित एड्रेसिंग लिखने की कुंजी और प्रत्येक मेमोरी स्थान के बीच समानता की गणना करता है, जबकि स्थान-आधारित एड्रेसिंग पास के स्थानों पर ध्यान स्थानांतरित करने के लिए अस्थायी लिंक मैट्रिक्स का उपयोग करता है। पढ़ने वाले हेड समान रूप से काम करते हैं, पढ़ने के वज़न उत्पन्न करते हैं जिनका उपयोग मेमोरी सामग्री के भारित योग की गणना करने के लिए किया जाता है।
अस्थायी लिंक मैट्रिक्स DNC की एक प्रमुख विशेषता है। यह उस क्रम को रिकॉर्ड करता है जिसमें मेमोरी स्थान अंतिम बार लिखे गए थे, जिसमें प्रविष्टियाँ यह संकेत देती हैं कि क्या एक स्थान तुरंत दूसरे के बाद लिखा गया था। यह नेटवर्क को अनुक्रमिक क्रम में मेमोरी पढ़ने की अनुमति देता है, जो अनुक्रम की प्रतिलिपि बनाने या ग्राफ़ को पार करने जैसे कार्यों के लिए आवश्यक है। लिंक मैट्रिक्स को प्रत्येक समय चरण पर लिखने के वज़न के आधार पर अद्यतन किया जाता है, और इसका उपयोग पढ़ने वाले हेड के लिए पिछड़े और आगे के बदलाव की गणना करने के लिए भी किया जाता है।
Training and Optimization
DNC को मानक बैकप्रोपेगेशन थ्रू टाइम का उपयोग करके प्रशिक्षित किया जाता है, जिसमें हानि फ़ंक्शन आमतौर पर कार्य के आधार पर क्रॉस-एन्ट्रॉपी या माध्य वर्ग त्रुटि होती है। चूंकि मेमोरी एक्सेस में सभी संचालन differentiable हैं, ग्रेडिएंट ध्यान तंत्र और मेमोरी अपडेट के माध्यम से प्रवाहित हो सकते हैं। हालांकि, बड़ी संख्या में मापदंडों और सावधानीपूर्वक आरंभीकरण की आवश्यकता के कारण DNC को प्रशिक्षित करना चुनौतीपूर्ण हो सकता है। लेखकों ने प्रशिक्षण को स्थिर करने के लिए ग्रेडिएंट क्लिपिंग और सीखने की दर अनुसूची के संयोजन का उपयोग किया। उन्होंने यह भी पाया कि प्रशिक्षण के दौरान थोड़ी मात्रा में शोर का उपयोग करने से नेटवर्क को बेहतर सामान्यीकरण करने में मदद मिली।
मुख्य कठिनाइयों में से एक यह है कि मेमोरी का उपयोग कई अलग-अलग तरीकों से किया जा सकता है, और नेटवर्क को मेमोरी को कुशलतापूर्वक आवंटित करना सीखना चाहिए। इसे संबोधित करने के लिए, DNC में एक मुक्त सूची शामिल है जो ट्रैक करती है कि कौन से मेमोरी स्थान वर्तमान में उपयोग में नहीं हैं। लिखने वाला हेड मुक्त सूची पर स्थानों को प्राथमिकता से लिखता है, और लिखने के बाद, स्थान को मुक्त सूची से हटा दिया जाता है जब तक कि इसे पढ़ा न जाए और फिर मुक्त न किया जाए। यह तंत्र नेटवर्क को मेमोरी का पुन: उपयोग करने के लिए प्रोत्साहित करता है और इसे महत्वपूर्ण डेटा को अधिलेखित करने से रोकता है।
Applications and Limitations
DNC को मूल प्रदर्शनों से परे विभिन्न कार्यों पर लागू किया गया है। इनका उपयोग प्रोग्राम संश्लेषण के लिए किया गया है, जहाँ नेटवर्क कोड उत्पन्न करना या सरल प्रोग्राम निष्पादित करना सीखता है। इन्हें ज्ञान आधारों पर प्रश्न उत्तर के लिए भी खोजा गया है, जहाँ मेमोरी तथ्यों को संग्रहीत कर सकती है और नेटवर्क उन्हें पुनर्प्राप्त करना और संयोजित करना सीखता है। मशीन लर्निंग के क्षेत्र में, DNC को अक्सर तंत्रिका नेटवर्क की दिशा में एक महत्वपूर्ण कदम के रूप में उद्धृत किया जाता है जो स्पष्ट तर्क कर सकते हैं और प्रतीकात्मक डेटा में हेरफेर कर सकते हैं।
हालांकि, DNC की कई सीमाएँ हैं। वे कम्प्यूटेशनल रूप से महंगे हैं, क्योंकि मेमोरी एक्सेस संचालन के लिए अस्थायी लिंक मैट्रिक्स के कारण प्रति चरण O(N^2) समय की आवश्यकता होती है। यह उन्हें बड़े मेमोरी आकारों तक स्केल करना कठिन बनाता है। वे बहुत लंबे अनुक्रमों के साथ भी संघर्ष करते हैं, क्योंकि मेमोरी अव्यवस्थित हो सकती है और ध्यान तंत्र सही स्थानों पर ध्यान केंद्रित करने में विफल हो सकते हैं। परिणामस्वरूप, DNC को बड़े पैमाने पर अन्य वास्तुकलाओं द्वारा प्रतिस्थापित किया गया है, जैसे कि ट्रांसफॉर्मर, जो पूरे इनपुट अनुक्रम में जानकारी एक्सेस करने के लिए स्व-ध्यान का उपयोग करते हैं। फिर भी, DNC के विचारों ने मेमोरी-वर्धित तंत्रिका नेटवर्क और गहन शिक्षण में बाहरी मेमोरी पर बाद के काम को प्रभावित किया है।
Relationship to Other Architectures
DNC न्यूरल ट्यूरिंग मशीन (NTM) का एक विस्तार है, जिसे 2014 में एलेक्स ग्रेव्स, ग्रेग वेन और इवो डैनिहेल्का द्वारा पेश किया गया था। NTM की संरचना समान थी लेकिन इसमें अस्थायी लिंक मैट्रिक्स और मुक्त सूची का अभाव था, जिससे यह अनुक्रमिक संचालन सीखने में कम प्रभावी था। DNC अवशिष्ट नेटवर्क के साथ वैचारिक समानताएँ भी साझा करता है, क्योंकि दोनों का उद्देश्य सूचना प्रवाह में सुधार करना है, लेकिन वे विभिन्न डोमेन में काम करते हैं: अवशिष्ट नेटवर्क गहरे फीडफॉरवर्ड नेटवर्क में लुप्त ग्रेडिएंट को संबोधित करते हैं, जबकि DNC आवर्तक नेटवर्क में दीर्घकालिक स्मृति को संबोधित करते हैं।
गहन शिक्षण के संदर्भ में, DNC बाहरी घटकों, जैसे ध्यान तंत्र और मेमोरी के साथ तंत्रिका नेटवर्क को बढ़ाने की व्यापक प्रवृत्ति का हिस्सा हैं। ट्रांसफॉर्मर में उपयोग किया जाने वाला मल्टी-हेड अटेंशन सामग्री-आधारित मेमोरी एक्सेस का एक रूप माना जा सकता है, लेकिन स्पष्ट लिखने और मिटाने के संचालन के बिना। DNC पाठ्यक्रम शिक्षण से भी संबंधित हैं, क्योंकि लेखकों ने पाया कि बढ़ती कठिनाई के कार्यों पर प्रशिक्षण से नेटवर्क को अधिक जटिल व्यवहार सीखने में मदद मिली।
Legacy and Influence
हालाँकि DNC आज उत्पादन प्रणालियों में व्यापक रूप से उपयोग नहीं किए जाते हैं, उन्होंने कृत्रिम बुद्धिमत्ता के क्षेत्र पर स्थायी प्रभाव डाला है। उन्होंने प्रदर्शित किया कि तंत्रिका नेटवर्क एल्गोरिदमिक कार्य करना सीख सकते हैं जिनके लिए स्पष्ट मेमोरी हेरफेर की आवश्यकता होती है, जिसे पहले ग्रेडिएंट-आधारित विधियों की पहुँच से परे माना जाता था। differentiable मेमोरी की अवधारणा को विभिन्न अन्य मॉडलों में शामिल किया गया है, जैसे कि कुछ-शॉट शिक्षण के लिए मेमोरी-वर्धित तंत्रिका नेटवर्क और ग्राफ़ तर्क के लिए differentiable न्यूरल कंप्यूटर। इस काम ने differentiable सॉर्टिंग और differentiable डेटा संरचनाओं पर शोध को भी प्रेरित किया, जिनके जनरेटिव AI और उससे परे अनुप्रयोग हैं।
DNC को DeepMind की एक टीम द्वारा विकसित किया गया था, जिसमें एलेक्स ग्रेव्स, ग्रेग वेन और अन्य शामिल थे। उनका पेपर, जिसका शीर्षक "Hybrid computing using a neural network with dynamic external memory" है, अक्टूबर 2016 में Nature में प्रकाशित हुआ था। DNC के लिए कोड बाद में ओपन सोर्स के रूप में जारी किया गया था, जिससे शोधकर्ताओं को वास्तुकला के साथ प्रयोग करने की अनुमति मिली। जबकि DNC को स्वयं एक ऐतिहासिक मील का पत्थर माना जा सकता है, इसके सिद्धांत आधुनिक तंत्रिका नेटवर्क के डिज़ाइन को सूचित करना जारी रखते हैं जिन्हें दीर्घकालिक स्मृति और तर्क क्षमताओं की आवश्यकता होती है।