एक डीप बिलीफ नेटवर्क (DBN) एक जनरेटिव ग्राफिकल मॉडल है, या वैकल्पिक रूप से एक प्रकार का डीप न्यूरल नेटवर्क है, जो अव्यक्त चरों ("छिपी इकाइयों") की कई परतों से बना होता है, जिसमें परतों के बीच कनेक्शन होते हैं लेकिन प्रत्येक परत के भीतर इकाइयों के बीच नहीं। जब बिना पर्यवेक्षण के उदाहरणों के एक सेट पर प्रशिक्षित किया जाता है, तो एक DBN अपने इनपुट को संभाव्य रूप से पुनर्निर्माण करना सीख सकता है, जिसमें परतें फीचर डिटेक्टर के रूप में कार्य करती हैं। इस सीखने के चरण के बाद, एक DBN को वर्गीकरण करने के लिए पर्यवेक्षण के साथ आगे प्रशिक्षित किया जा सकता है।
DBN को सरल, अनपर्यवेक्षित नेटवर्क जैसे प्रतिबंधित बोल्ट्ज़मैन मशीन (RBM) या ऑटोएनकोडर की संरचना के रूप में देखा जा सकता है, जहां प्रत्येक उप-नेटवर्क की छिपी परत अगले के लिए दृश्य परत के रूप में कार्य करती है। एक RBM एक अनिर्देशित, जनरेटिव ऊर्जा-आधारित मॉडल है जिसमें एक दृश्य इनपुट परत और एक छिपी परत होती है, जिसमें परतों के बीच कनेक्शन होते हैं लेकिन परतों के भीतर नहीं। यह संरचना एक तेज़, परत-दर-परत अनपर्यवेक्षित प्रशिक्षण प्रक्रिया की ओर ले जाती है, जहां प्रत्येक उप-नेटवर्क पर कंट्रास्टिव डाइवर्जेंस लागू किया जाता है, जो परतों की सबसे निचली जोड़ी से शुरू होता है (सबसे निचली दृश्य परत एक प्रशिक्षण सेट है)।
यह अवलोकन कि DBN को लालची ढंग से, एक समय में एक परत, प्रशिक्षित किया जा सकता है, पहले प्रभावी डीप लर्निंग एल्गोरिदम में से एक की ओर ले गया। कुल मिलाकर, वास्तविक जीवन के अनुप्रयोगों और परिदृश्यों में DBN के कई आकर्षक कार्यान्वयन और उपयोग हैं, जैसे कि इलेक्ट्रोएन्सेफलोग्राफी और दवा खोज।
ऐतिहासिक संदर्भ
डीप बिलीफ नेटवर्क 2000 के दशक के मध्य में गहरी वास्तुकला के प्रशिक्षण में एक सफलता के रूप में उभरे। उनके परिचय से पहले, बहु-परत न्यूरल नेटवर्क का प्रशिक्षण लुप्त होते ग्रेडिएंट और धीमी अभिसरण जैसी समस्याओं के कारण कुख्यात रूप से कठिन था। DBN के साथ पेश की गई लालची परत-वार प्रीट्रेनिंग रणनीति ने गहरे नेटवर्क को आरंभ करने का एक व्यावहारिक तरीका प्रदान किया, जिसे बाद में पर्यवेक्षित कार्यों के लिए ठीक-ट्यून किया जा सकता था। यह कार्य, मुख्य रूप से जेफ्री हिंटन और टोरंटो विश्वविद्यालय के सहयोगियों से जुड़ा, Deep learning में रुचि को पुनर्जीवित किया और Neural network वास्तुकला में बाद की प्रगति के लिए आधार तैयार किया।
DBN का विकास अक्सर Artificial intelligence के इतिहास में एक प्रमुख मील का पत्थर के रूप में उद्धृत किया जाता है, जो संभाव्य मॉडल और Machine learning पर पहले के काम को आधुनिक डीप लर्निंग से जोड़ता है। हस्तलिखित अंक पहचान और दस्तावेज़ वर्गीकरण जैसे कार्यों में DBN की सफलता ने पदानुक्रमित फीचर सीखने की शक्ति का प्रदर्शन किया, जिसने डीप ऑटोएनकोडर और कन्वोल्यूशनल नेटवर्क जैसे बाद के मॉडल को प्रभावित किया।
कंट्रास्टिव डाइवर्जेंस के साथ प्रशिक्षण
RBM के लिए जेफ्री हिंटन द्वारा "प्रोडक्ट ऑफ एक्सपर्ट्स" मॉडल के प्रशिक्षण के लिए प्रस्तावित प्रशिक्षण विधि को कंट्रास्टिव डाइवर्जेंस (CD) कहा जाता है। CD अधिकतम संभावना विधि का एक अनुमान प्रदान करता है जो आदर्श रूप से वजन सीखने के लिए लागू किया जाना चाहिए। एक एकल RBM के प्रशिक्षण में, वजन अद्यतन ग्रेडिएंट डिसेंट का उपयोग करके समीकरण के साथ किया जाता है:
w_ij(t+1) = w_ij(t) + η * ∂log(p(v))/∂w_ij
जहां p(v) एक दृश्य वेक्टर की संभावना है, जो p(v) = (1/Z) * Σ_h e^(-E(v,h)) द्वारा दी गई है, जिसमें Z सामान्यीकरण के लिए विभाजन फ़ंक्शन है और E(v,h) नेटवर्क की स्थिति को सौंपा गया ऊर्जा फ़ंक्शन है। कम ऊर्जा एक अधिक "वांछनीय" कॉन्फ़िगरेशन को इंगित करती है। ग्रेडिएंट ∂log(p(v))/∂w_ij का सरल रूप ⟨v_i h_j⟩_data - ⟨v_i h_j⟩_model है, जहां ⟨...⟩_p वितरण p के संबंध में औसत का प्रतिनिधित्व करता है।
चुनौती ⟨v_i h_j⟩_model के नमूने लेने में उत्पन्न होती है क्योंकि इसके लिए विस्तारित वैकल्पिक गिब्स सैंपलिंग की आवश्यकता होती है। CD इस चरण को n चरणों के लिए वैकल्पिक गिब्स सैंपलिंग चलाकर प्रतिस्थापित करता है (n=1 के मान अच्छा प्रदर्शन करते हैं)। n चरणों के बाद, डेटा का नमूना लिया जाता है और उस नमूने का उपयोग ⟨v_i h_j⟩_model के स्थान पर किया जाता है। CD प्रक्रिया निम्नानुसार काम करती है:
- दृश्य इकाइयों को एक प्रशिक्षण वेक्टर में आरंभ करें।
- दृश्य इकाइयों को देखते हुए छिपी इकाइयों को समानांतर में अद्यतन करें: p(h_j=1|V) = σ(b_j + Σ_i v_i w_ij), जहां σ सिग्मॉइड फ़ंक्शन है और b_j छिपी इकाई j का पूर्वाग्रह है।
- छिपी इकाइयों से दृश्य इकाइयों का पुनर्निर्माण करें, फिर पुनर्निर्माण के आधार पर छिपी इकाइयों को फिर से अद्यतन करें।
- मूल और पुनर्निर्मित सहसंबंधों के बीच अंतर का उपयोग करके वजन अद्यतन करें।
यह प्रक्रिया एक DBN को प्रशिक्षित करने के लिए लालची ढंग से, परत दर परत, लागू की जाती है। प्रीट्रेनिंग के बाद, पूरे नेटवर्क को बैकप्रोपेगेशन या अन्य पर्यवेक्षित विधियों का उपयोग करके ठीक-ट्यून किया जा सकता है।
अनुप्रयोग और प्रभाव
डीप बिलीफ नेटवर्क विभिन्न डोमेन में लागू किए गए हैं। स्वास्थ्य सेवा में, DBN का उपयोग इलेक्ट्रोएन्सेफलोग्राफी (EEG) संकेतों के विश्लेषण के लिए किया गया है, जो न्यूरोलॉजिकल स्थितियों का पता लगाने में सहायता करता है। दवा खोज में, उन्हें आणविक गुणों की भविष्यवाणी करने और संभावित दवा उम्मीदवारों की पहचान करने के लिए नियोजित किया गया है, जो रासायनिक डेटा से पदानुक्रमित प्रतिनिधित्व सीखने की उनकी क्षमता का लाभ उठाते हैं।
DBN ने भाषण पहचान में भी उपयोग पाया, जहां उन्होंने ध्वनिक मॉडल के रूप में कार्य किया, और छवि पहचान कार्यों में, जहां उन्होंने कच्चे पिक्सल से फीचर सीखे। इन क्षेत्रों में उनकी सफलता ने जनरेटिव प्रीट्रेनिंग की बहुमुखी प्रतिभा का प्रदर्शन किया, जिसने Generative AI और बड़े पैमाने के मॉडल में बाद के विकास को प्रभावित किया।
Transformer (architecture) मॉडल जैसी नई वास्तुकला से ग्रहण किए जाने के बावजूद, DBN डीप लर्निंग सिद्धांतों को समझने के लिए एक महत्वपूर्ण शैक्षिक उपकरण बने हुए हैं। उन्हें अक्सर Machine learning और Deep learning पर पाठ्यक्रमों में अनपर्यवेक्षित प्रीट्रेनिंग और पदानुक्रमित फीचर सीखने के मौलिक उदाहरण के रूप में अध्ययन किया जाता है।
सीमाएं और विकास
DBN की कई सीमाएं हैं। प्रशिक्षण कम्प्यूटेशनल रूप से गहन हो सकता है, विशेष रूप से बड़े डेटासेट के लिए, और कंट्रास्टिव डाइवर्जेंस अनुमान पक्षपाती अनुमान लगा सकता है। इसके अतिरिक्त, जनरेटिव मॉडल के रूप में, वे कुछ कार्यों के लिए विभेदक मॉडल की तुलना में कम स्केलेबल हैं। Transformer (architecture)-आधारित मॉडल का उदय, विशेष रूप से प्राकृतिक भाषा प्रसंस्करण में, DBN से ध्यान हटा दिया, क्योंकि इन नई वास्तुकला ने एंड-टू-एंड प्रशिक्षण के साथ बेहतर प्रदर्शन की पेशकश की।
फिर भी, DBN के अंतर्निहित सिद्धांत - जैसे परत-वार प्रीट्रेनिंग और ऊर्जा-आधारित मॉडलिंग - आधुनिक शोध को प्रभावित करना जारी रखते हैं। ऑटोएनकोडर और वैरिएशनल ऑटोएनकोडर जैसी अवधारणाएं समान विचारों पर निर्माण करती हैं, और लालची प्रीट्रेनिंग रणनीति को समकालीन डीप लर्निंग पाइपलाइनों में विभिन्न रूपों में अनुकूलित किया गया है।
विरासत और आगे पढ़ना
डीप बिलीफ नेटवर्क Artificial intelligence के विकास में एक महत्वपूर्ण क्षण का प्रतिनिधित्व करते हैं। उन्होंने प्रदर्शित किया कि गहरी वास्तुकला को प्रभावी ढंग से प्रशिक्षित किया जा सकता है, जिससे डीप लर्निंग क्रांति का मार्ग प्रशस्त हुआ। MIT CSAIL, स्टैनफोर्ड एआई लैब, और बर्कले एआई रिसर्च जैसे संस्थानों के शोधकर्ताओं ने इन नींवों पर निर्माण किया है, जो क्षेत्र में तेजी से प्रगति में योगदान दे रहे हैं।
DBN को आगे खोजने में रुचि रखने वालों के लिए, हिंटन और उनके सहयोगियों के मूल पेपर विस्तृत व्युत्पत्ति और प्रयोगात्मक परिणाम प्रदान करते हैं। Deep learning पर पाठ्यपुस्तकों में अक्सर DBN और RBM पर अध्याय शामिल होते हैं, जो सैद्धांतिक और व्यावहारिक दोनों दृष्टिकोण पेश करते हैं। जैसे-जैसे क्षेत्र विकसित होता है, DBN से सीखे गए पाठ प्रासंगिक बने रहते हैं, विशेष रूप से अनपर्यवेक्षित सीखने और जनरेटिव मॉडलिंग जैसे क्षेत्रों में।