एक प्रतिबंधित बोल्ट्ज़मैन मशीन (RBM) एक उत्पादक स्टोकेस्टिक कृत्रिम तंत्रिका नेटवर्क है जो अपने इनपुट के समुच्चय पर एक प्रायिकता वितरण सीख सकता है। यह बोल्ट्ज़मैन मशीन का एक प्रकार है, जिसमें यह प्रतिबंध है कि इसके न्यूरॉन एक द्विदलीय ग्राफ बनाते हैं: कनेक्शन केवल इकाइयों के दो समूहों के बीच मौजूद होते हैं, जिन्हें आमतौर पर दृश्य और छिपी इकाइयाँ कहा जाता है, और प्रत्येक समूह के भीतर कोई कनेक्शन नहीं होता है। यह प्रतिबंध सामान्य बोल्ट्ज़मैन मशीनों के लिए उपलब्ध की तुलना में अधिक कुशल प्रशिक्षण एल्गोरिदम की अनुमति देता है, विशेष रूप से ग्रेडिएंट-आधारित कंट्रास्टिव डाइवर्जेंस एल्गोरिदम।
RBM को शुरू में 1986 में पॉल स्मोलेंस्की द्वारा हार्मोनियम नाम से प्रस्तावित किया गया था, और 2000 के दशक के मध्य में जेफ्री हिंटन और सहयोगियों द्वारा उनके लिए तेज़ सीखने के एल्गोरिदम विकसित करने के बाद प्रमुखता में आया। उन्होंने आयामीता में कमी, वर्गीकरण, सहयोगी फ़िल्टरिंग, फीचर लर्निंग, विषय मॉडलिंग, प्रतिरक्षा विज्ञान और कई-शरीर क्वांटम यांत्रिकी में अनुप्रयोग पाए हैं। RBM को कार्य के आधार पर पर्यवेक्षित या अप्रशिक्षित तरीकों से प्रशिक्षित किया जा सकता है, और ये गहन शिक्षण नेटवर्क में एक प्रमुख घटक हैं, जहाँ गहन विश्वास नेटवर्क RBM को स्टैक करके और वैकल्पिक रूप से ग्रेडिएंट डिसेंट और बैकप्रोपेगेशन के साथ परिणामी नेटवर्क को ठीक-ट्यून करके बनाए जा सकते हैं।
संरचना
मानक प्रकार के RBM में बाइनरी-मूल्यवान (बूलियन) छिपी और दृश्य इकाइयाँ होती हैं। इसमें आकार \(m \times n\) के भार \(W\) का एक मैट्रिक्स होता है, जहाँ प्रत्येक भार तत्व \(w_{i,j}\) दृश्य इकाई \(v_i\) और छिपी इकाई \(h_j\) के बीच कनेक्शन से जुड़ा होता है। इसके अतिरिक्त, दृश्य इकाइयों के लिए पूर्वाग्रह भार \(a_i\) और छिपी इकाइयों के लिए \(b_j\) होते हैं। एक विन्यास (बूलियन वैक्टर की जोड़ी) \((v, h)\) की ऊर्जा को इस प्रकार परिभाषित किया गया है:
\[ E(v, h) = -\sum_i a_i v_i - \sum_j b_j h_j - \sum_i \sum_j v_i w_{i,j} h_j \]
या मैट्रिक्स संकेतन में:
\[ E(v, h) = -a^{\mathrm{T}} v - b^{\mathrm{T}} h - v^{\mathrm{T}} W h. \]
यह ऊर्जा फ़ंक्शन हॉपफील्ड नेटवर्क के समान है। सामान्य बोल्ट्ज़मैन मशीनों की तरह, दृश्य और छिपे वैक्टर के लिए संयुक्त प्रायिकता वितरण ऊर्जा फ़ंक्शन के संदर्भ में परिभाषित किया गया है:
\[ P(v, h) = \frac{1}{Z} e^{-E(v, h)} \]
जहाँ \(Z\) एक विभाजन फ़ंक्शन है, एक सामान्यीकरण स्थिरांक जो सुनिश्चित करता है कि प्रायिकताएँ 1 तक जोड़ती हैं। एक दृश्य वेक्टर की सीमांत प्रायिकता सभी संभावित छिपी परत विन्यासों पर \(P(v, h)\) का योग है, और इसके विपरीत।
प्रशिक्षण और कंट्रास्टिव डाइवर्जेंस
क्योंकि RBM की अंतर्निहित ग्राफ संरचना द्विदलीय है, छिपी इकाई सक्रियताएँ दृश्य इकाई सक्रियताओं को देखते हुए परस्पर स्वतंत्र हैं, और इसके विपरीत, दृश्य इकाई सक्रियताएँ छिपी इकाई सक्रियताओं को देखते हुए परस्पर स्वतंत्र हैं। यह गुण सशर्त प्रायिकताओं की गणना को सरल बनाता है, जिससे कुशल प्रशिक्षण संभव होता है। सबसे आम प्रशिक्षण एल्गोरिदम कंट्रास्टिव डाइवर्जेंस है, जो लॉग-संभावना के ग्रेडिएंट का अनुमान एक छोटी मार्कोव चेन मोंटे कार्लो रन करके लगाता है, आमतौर पर एक गिब्स सैंपलिंग चरण के साथ। यह दृष्टिकोण विभाजन फ़ंक्शन \(Z\) की असंभव गणना से बचता है, जो सभी संभावित विन्यासों पर योग करता है।
RBM को पर्यवेक्षित और अप्रशिक्षित दोनों मोड में प्रशिक्षित किया जा सकता है। अप्रशिक्षित शिक्षण में, मॉडल इनपुट डेटा वितरण का प्रतिनिधित्व करना सीखता है, अक्सर फीचर निष्कर्षण या आयामीता में कमी के लिए। पर्यवेक्षित कार्यों में, RBM को दृश्य परत में लेबल शामिल करके या एक अलग आउटपुट परत का उपयोग करके लेबल की भविष्यवाणी करने के लिए अनुकूलित किया जा सकता है।
गहन शिक्षण में अनुप्रयोग
प्रतिबंधित बोल्ट्ज़मैन मशीनें गहन शिक्षण में एक मौलिक घटक हैं। एक गहन विश्वास नेटवर्क कई RBM को स्टैक करके बनाया जा सकता है, जहाँ एक RBM की छिपी परत अगले के लिए दृश्य परत के रूप में कार्य करती है। यह परत-वार प्रीट्रेनिंग नेटवर्क को डेटा से पदानुक्रमित फीचर सीखने की अनुमति देता है। प्रीट्रेनिंग के बाद, पूरे नेटवर्क को ग्रेडिएंट डिसेंट और बैकप्रोपेगेशन का उपयोग करके ठीक-ट्यून किया जा सकता है, एक तकनीक जो आधुनिक गहन शिक्षण आर्किटेक्चर के विकास में प्रभावशाली थी।
RBM को सहयोगी फ़िल्टरिंग में लागू किया गया है, जहाँ वे अनुशंसा प्रणालियों के लिए उपयोगकर्ता-आइटम इंटरैक्शन मॉडल करते हैं, और विषय मॉडलिंग में, जहाँ वे पाठ कॉर्पोरा से अव्यक्त विषय सीखते हैं। प्रतिरक्षा विज्ञान में, उनका उपयोग प्रतिरक्षा प्रणाली प्रतिक्रियाओं को मॉडल करने के लिए किया गया है, और क्वांटम यांत्रिकी में, उन्हें कई-शरीर क्वांटम अवस्थाओं का प्रतिनिधित्व करने के लिए नियोजित किया गया है।
अन्य मॉडलों से संबंध
RBM अन्य तंत्रिका नेटवर्क मॉडल से निकटता से संबंधित हैं। वे बोल्ट्ज़मैन मशीनों का एक विशेष मामला हैं, जो छिपी इकाइयों के बीच कनेक्शन की अनुमति देते हैं, लेकिन द्विदलीय प्रतिबंध प्रशिक्षण को अधिक सुगम बनाता है। वे अपने ऊर्जा फ़ंक्शन में हॉपफील्ड नेटवर्क के साथ समानताएँ साझा करते हैं, लेकिन RBM उत्पादक और स्टोकेस्टिक हैं, जबकि हॉपफील्ड नेटवर्क आमतौर पर नियतात्मक होते हैं और साहचर्य स्मृति के लिए उपयोग किए जाते हैं। Machine learning के व्यापक संदर्भ में, RBM को एक प्रकार का उत्पादक मॉडल माना जाता है, जो मानक फीडफॉरवर्ड तंत्रिका नेटवर्क जैसे विभेदक मॉडल से अलग है।
विरासत और प्रभाव
RBM के विकास ने 2000 के दशक के मध्य में Deep learning के पुनरुत्थान में महत्वपूर्ण योगदान दिया। जेफ्री हिंटन, जो बाद में Artificial intelligence में एक प्रमुख व्यक्ति बने, ने RBM का उपयोग यह प्रदर्शित करने के लिए किया कि गहन नेटवर्क को प्रभावी ढंग से प्रशिक्षित किया जा सकता है, ग्रेडिएंट-आधारित विधियों के साथ पहले की कठिनाइयों को दूर करते हुए। इस कार्य ने बाद के आर्किटेक्चर को प्रभावित किया, जिसमें ट्रांसफॉर्मर और बड़े भाषा मॉडल शामिल हैं, हालाँकि वे मॉडल विभिन्न प्रशिक्षण प्रतिमानों का उपयोग करते हैं। RBM Generative AI के अध्ययन में एक महत्वपूर्ण सैद्धांतिक मॉडल बना हुआ है और अभी भी विशेष अनुप्रयोगों में उपयोग किया जाता है जहाँ उनकी संभाव्य प्रकृति फायदेमंद है।