पदानुक्रमित अस्थायी मेमोरी (HTM) एक जैविक रूप से विवश मशीन बुद्धिमत्ता तकनीक है जिसे नुमेंटा द्वारा विकसित किया गया है। मूल रूप से 2004 की पुस्तक ऑन इंटेलिजेंस में जेफ हॉकिंस और सैंड्रा ब्लेकस्ली द्वारा वर्णित, HTM का उपयोग आज मुख्य रूप से स्ट्रीमिंग डेटा में विसंगति का पता लगाने के लिए किया जाता है। यह तकनीक तंत्रिका विज्ञान और स्तनधारी (विशेष रूप से मानव) मस्तिष्क के नियोकॉर्टेक्स में पिरामिडी न्यूरॉन्स की फिजियोलॉजी और अंतःक्रिया पर आधारित है।
HTM के केंद्र में सीखने के एल्गोरिदम हैं जो उच्च-क्रम अनुक्रमों को संग्रहीत, सीख, अनुमान और स्मरण कर सकते हैं। अधिकांश अन्य मशीन-लर्निंग विधियों के विपरीत, HTM लगातार (एक अनुपर्यवेक्षित प्रक्रिया में) लेबल रहित डेटा में समय-आधारित पैटर्न सीखता है। HTM शोर के प्रति मजबूत है, और इसमें उच्च क्षमता है (यह एक साथ कई पैटर्न सीख सकता है)। जब कंप्यूटरों पर लागू किया जाता है, तो HTM भविष्यवाणी, विसंगति का पता लगाने, वर्गीकरण और अंततः सेंसरिमोटर अनुप्रयोगों के लिए उपयुक्त है।
संरचना और एल्गोरिदम
एक विशिष्ट HTM नेटवर्क स्तरों का एक पेड़-आकार का पदानुक्रम है (जैसा कि नीचे वर्णित है, नियोकॉर्टेक्स की "परतों" के साथ भ्रमित नहीं होना चाहिए)। ये स्तर क्षेत्रों (या नोड्स) नामक छोटे तत्वों से बने होते हैं। पदानुक्रम में एक एकल स्तर में कई क्षेत्र शामिल हो सकते हैं। उच्च पदानुक्रम स्तरों में अक्सर कम क्षेत्र होते हैं। उच्च पदानुक्रम स्तर निचले स्तरों पर सीखे गए पैटर्न को उन्हें जोड़कर पुनः उपयोग कर सकते हैं ताकि अधिक जटिल पैटर्न को याद किया जा सके।
प्रत्येक HTM क्षेत्र का मूल कार्य समान होता है। सीखने और अनुमान मोड में, संवेदी डेटा (उदाहरण के लिए, आंखों से डेटा) निचले-स्तर के क्षेत्रों में आता है। जनरेशन मोड में, निचले स्तर के क्षेत्र किसी दिए गए श्रेणी का उत्पन्न पैटर्न आउटपुट करते हैं। शीर्ष स्तर में आमतौर पर एक एकल क्षेत्र होता है जो सबसे सामान्य और सबसे स्थायी श्रेणियों (अवधारणाओं) को संग्रहीत करता है; ये निचले स्तरों पर छोटी अवधारणाओं को निर्धारित करते हैं, या उनके द्वारा निर्धारित होते हैं - अवधारणाएं जो समय और स्थान में अधिक प्रतिबंधित हैं। जब अनुमान मोड में सेट किया जाता है, तो एक क्षेत्र (प्रत्येक स्तर में) अपने "चाइल्ड" क्षेत्रों से आने वाली जानकारी को अपनी स्मृति में मौजूद श्रेणियों की संभावनाओं के रूप में व्याख्या करता है।
प्रत्येक HTM क्षेत्र स्थानिक पैटर्न - इनपुट बिट्स के संयोजन जो अक्सर एक ही समय में होते हैं - की पहचान और स्मरण करके सीखता है। फिर यह स्थानिक पैटर्न के अस्थायी अनुक्रमों की पहचान करता है जो एक के बाद एक होने की संभावना रखते हैं।
एक विकसित मॉडल के रूप में
HTM जेफ हॉकिंस के थाउज़ेंड ब्रेन्स थ्योरी ऑफ इंटेलिजेंस का एल्गोरिदमिक घटक है। इसलिए नियोकॉर्टेक्स पर नई खोजों को धीरे-धीरे HTM मॉडल में शामिल किया जाता है, जो प्रतिक्रिया में समय के साथ बदलता है। नई खोजें आवश्यक रूप से मॉडल के पिछले हिस्सों को अमान्य नहीं करती हैं, इसलिए एक पीढ़ी के विचार आवश्यक रूप से उसके क्रमिक पीढ़ी में बाहर नहीं किए जाते हैं। सिद्धांत की विकसित प्रकृति के कारण, HTM एल्गोरिदम की कई पीढ़ियाँ रही हैं, जिनका संक्षेप में नीचे वर्णन किया गया है।
पहली पीढ़ी: जीटा 1
HTM एल्गोरिदम की पहली पीढ़ी को कभी-कभी जीटा 1 कहा जाता है।
#### प्रशिक्षण
प्रशिक्षण के दौरान, एक नोड (या क्षेत्र) अपने इनपुट के रूप में स्थानिक पैटर्न का एक अस्थायी अनुक्रम प्राप्त करता है। सीखने की प्रक्रिया में दो चरण होते हैं:
स्थानिक पूलिंग इनपुट में बार-बार देखे जाने वाले पैटर्न की पहचान करती है और उन्हें "संयोग" के रूप में याद करती है। जो पैटर्न एक-दूसरे से काफी समान होते हैं, उन्हें एक ही संयोग माना जाता है। संभावित इनपुट पैटर्न की एक बड़ी संख्या को ज्ञात संयोगों की एक प्रबंधनीय संख्या में घटा दिया जाता है।
अस्थायी पूलिंग उन संयोगों को विभाजित करती है जो प्रशिक्षण अनुक्रम में एक के बाद एक होने की संभावना रखते हैं, अस्थायी समूहों में। पैटर्न का प्रत्येक समूह इनपुट पैटर्न के एक "कारण" (या ऑन इंटेलिजेंस में "नाम") का प्रतिनिधित्व करता है।
स्थानिक पूलिंग और अस्थायी पूलिंग की अवधारणाएं वर्तमान HTM एल्गोरिदम में अभी भी काफी महत्वपूर्ण हैं। अस्थायी पूलिंग अभी तक अच्छी तरह से समझ में नहीं आई है, और इसका अर्थ समय के साथ बदल गया है (जैसे-जैसे HTM एल्गोरिदम विकसित हुए हैं)।
#### अनुमान
अनुमान के दौरान, नोड संभावनाओं का सेट गणना करता है कि एक पैटर्न प्रत्येक ज्ञात संयोग से संबंधित है। फिर यह गणना करता है कि इनपुट प्रत्येक अस्थायी समूह का प्रतिनिधित्व करता है। समूहों को सौंपी गई संभावनाओं का सेट इनपुट पैटर्न के बारे में नोड का "विश्वास" कहा जाता है। (एक सरलीकृत कार्यान्वयन में, नोड का विश्वास केवल एक विजेता समूह से बना होता है)। यह विश्वास अनुमान का परिणाम है जो पदानुक्रम के अगले उच्च स्तर में एक या अधिक "पैरेंट" नोड्स को दिया जाता है।
नोड के लिए "अप्रत्याशित" पैटर्न में किसी एक अस्थायी समूह से संबंधित होने की प्रमुख संभावना नहीं होती है, लेकिन कई समूहों से संबंधित होने की लगभग समान संभावनाएं होती हैं। यदि पैटर्न के अनुक्रम प्रशिक्षण अनुक्रमों के समान हैं, तो समूहों को सौंपी गई संभावनाएं उतनी बार नहीं बदलेंगी जितनी बार पैटर्न प्राप्त होते हैं। नोड का आउटपुट उतना नहीं बदलेगा, और समय में एक संकल्प खो जाता है।
एक अधिक सामान्य योजना में, नोड का विश्वास किसी भी स्तर पर किसी भी नोड (नोड्स) के इनपुट पर भेजा जा सकता है, लेकिन नोड्स के बीच कनेक्शन अभी भी निश्चित हैं। उच्च-स्तरीय नोड इस आउटपुट को अन्य चाइल्ड नोड्स के आउटपुट के साथ जोड़ता है, इस प्रकार अपना स्वयं का इनपुट पैटर्न बनाता है।
चूंकि ऊपर वर्णित प्रत्येक नोड में स्थान और समय में संकल्प खो जाता है, उच्च-स्तरीय नोड्स द्वारा गठित विश्वास स्थान और समय की एक और भी बड़ी सीमा का प्रतिनिधित्व करते हैं। यह भौतिक दुनिया के संगठन को प्रतिबिंबित करने के लिए है जैसा कि मानव मस्तिष्क द्वारा माना जाता है। बड़ी अवधारणाएं (जैसे, कारण, क्रियाएं, और वस्तुएं) को अधिक धीरे-धीरे बदलते हुए माना जाता है और छोटी अवधारणाओं से बना होता है जो अधिक तेज़ी से बदलते हैं। जेफ हॉकिंस ने सिद्धांत दिया कि मस्तिष्क बाहरी दुनिया के संगठन से मेल खाने, भविष्यवाणी करने और प्रभावित करने के लिए इस प्रकार के पदानुक्रम को विकसित किया।
जीटा 1 HTM के कामकाज के बारे में अधिक विवरण नुमेंटा के पुराने दस्तावेज़ में पाए जा सकते हैं।
दूसरी पीढ़ी: कॉर्टिकल लर्निंग एल्गोरिदम
HTM सीखने के एल्गोरिदम की दूसरी पीढ़ी, जिसे अक्सर कॉर्टिकल लर्निंग एल्गोरिदम (CLA) कहा जाता है, जीटा 1 से काफी अलग थी। यह मस्तिष्क गतिविधि का प्रतिनिधित्व करने के लिए विरल वितरित प्रतिनिधित्व नामक एक डेटा संरचना (अर्थात, एक डेटा संरचना जिसके तत्व बाइनरी, 1 या 0 हैं, और जिसके 1 बिट्स की संख्या 0 बिट्स की संख्या की तुलना में छोटी है) और एक अधिक जैविक रूप से यथार्थवादी न्यूरॉन मॉडल (जिसे अक्सर HTM के संदर्भ में सेल भी कहा जाता है) पर निर्भर करता है। इस HTM पीढ़ी में दो मुख्य घटक हैं: एक स्थानिक पूलिंग एल्गोरिदम, जो विरल वितरित प्रतिनिधित्व (एसडीआर) आउटपुट करता है, और एक अनुक्रम स्मृति एल्गोरिदम, जो जटिल अनुक्रमों का प्रतिनिधित्व और भविष्यवाणी करना सीखता है।
इस नई पीढ़ी में, सेरेब्रल कॉर्टेक्स की परतों और मिनिकॉलम को संबोधित और आंशिक रूप से मॉडल किया गया है। प्रत्येक HTM परत (जैसा कि ऊपर वर्णित है, HTM पदानुक्रम के HTM स्तर के साथ भ्रमित नहीं होना चाहिए) में कई अत्यधिक परस्पर जुड़े मिनिकॉलम होते हैं। एक HTM परत अपने इनपुट से एक विरल वितरित प्रतिनिधित्व बनाती है, ताकि किसी भी दिए गए इनपुट के लिए बिट्स की एक निश्चित संख्या सक्रिय हो। यह प्रतिनिधित्व तब अनुक्रम स्मृति को खिलाया जाता है, जो समय के साथ पैटर्न के बीच संक्रमण सीखता है। अनुक्रम स्मृति पिरामिडी न्यूरॉन्स से प्रेरित तंत्रिका गतिशीलता का एक रूप उपयोग करती है, जिसमें डिस्टल डेंड्राइट्स और सिनैप्टिक प्लास्टिसिटी शामिल हैं।
अनुप्रयोग और कार्यान्वयन
HTM को नुमेंटा से उदाहरण अनुप्रयोगों और नुमेंटा के भागीदारों से कुछ वाणिज्यिक अनुप्रयोगों के माध्यम से सॉफ्टवेयर में परीक्षण और कार्यान्वित किया गया है। प्राथमिक वाणिज्यिक उपयोग मामला स्ट्रीमिंग डेटा में विसंगति का पता लगाना है, जैसे सर्वर मेट्रिक्स, वित्तीय लेनदेन, या सेंसर रीडिंग। लेबल किए गए डेटा के बिना लगातार सीखने की HTM की क्षमता इसे वास्तविक समय प्रणालियों में असामान्य पैटर्न का पता लगाने के लिए उपयुक्त बनाती है। नुमेंटा ने खुला-स्रोत कार्यान्वयन जारी किया है, जिसमें NuPIC (नुमेंटा प्लेटफॉर्म फॉर इंटेलिजेंट कंप्यूटिंग) लाइब्रेरी शामिल है, जो HTM-आधारित सिस्टम बनाने के लिए उपकरण प्रदान करती है। जबकि डीप-लर्निंग दृष्टिकोणों के रूप में व्यापक रूप से अपनाया नहीं गया है, HTM का उपयोग विशिष्ट अनुप्रयोगों में किया गया है जहां ऑनलाइन सीखना और शोर मजबूती महत्वपूर्ण है।
अन्य एआई दृष्टिकोणों से संबंध
HTM मुख्यधारा के कृत्रिम-बुद्धिमत्ता तरीकों जैसे डीप-लर्निंग और ट्रांसफार्मर-आधारित मॉडल से मौलिक रूप से भिन्न है। डीप लर्निंग को आमतौर पर बड़ी मात्रा में लेबल किए गए डेटा और ऑफलाइन प्रशिक्षण की आवश्यकता होती है, जबकि HTM अनुपर्यवेक्षित तरीके से लगातार सीखता है। ट्रांसफार्मर, जो बड़े-भाषा-मॉडल को शक्ति देते हैं, ध्यान तंत्र पर निर्भर करते हैं और उसी तरह जैविक रूप से प्रेरित नहीं हैं। अस्थायी अनुक्रमों और पदानुक्रमित संरचना पर HTM का ध्यान मस्तिष्क में तंत्रिका गणना के सिद्धांतों के साथ अधिक निकटता से मेल खाता है। हालांकि, HTM ने डीप लर्निंग के समान वाणिज्यिक सफलता हासिल नहीं की है, और प्राकृतिक भाषा प्रसंस्करण जैसे जटिल कार्यों के लिए इसकी मापनीयता सीमित बनी हुई है। नुमेंटा जैसे संस्थानों में शोधकर्ता सिद्धांत को विकसित करना जारी रखते हैं, लेकिन HTM मशीन-लर्निंग के भीतर एक विशिष्ट क्षेत्र बना हुआ है।