कन्वोल्यूशनल डीप बिलीफ नेटवर्क (CDBN) एक प्रकार का डीप लर्निंग मॉडल है जो कन्वोल्यूशनल न्यूरल नेटवर्क की पदानुक्रमित विशेषता निष्कर्षण को डीप बिलीफ नेटवर्क की संभाव्य जनरेटिव लर्निंग के साथ एकीकृत करता है। इसे छवियों, ऑडियो स्पेक्ट्रोग्राम और वीडियो फ्रेम जैसे द्वि-आयामी डेटा से उच्च-स्तरीय विशेषताओं के अनुपरिवेक्षित लर्निंग के लिए डिज़ाइन किया गया है। यह मॉडल 2000 के दशक के अंत में प्रतिबंधित बोल्ट्ज़मैन मशीनों के विस्तार के रूप में पेश किया गया था ताकि बड़े पैमाने पर, स्थानिक रूप से संरचित इनपुट को कुशलतापूर्वक संभाला जा सके।
CDBN में कन्वोल्यूशनल प्रतिबंधित बोल्ट्ज़मैन मशीनों (convRBMs) की कई परतें होती हैं, जहाँ प्रत्येक परत तेजी से अमूर्त विशेषताओं को सीखती है। पूरी तरह से जुड़े डीप बिलीफ नेटवर्क के विपरीत, CDBN स्थानीय ग्रहणशील क्षेत्रों और साझा भार का उपयोग करते हैं, जिससे मापदंडों की संख्या में काफी कमी आती है और उच्च-रिज़ॉल्यूशन इनपुट के लिए स्केलेबिलिटी सक्षम होती है। मॉडल को कंट्रास्टिव डाइवर्जेंस का उपयोग करके परत-वार प्रशिक्षित किया जाता है, इसके बाद पर्यवेक्षित संकेतों के साथ वैकल्पिक फाइन-ट्यूनिंग की जाती है।
आर्किटेक्चर
CDBN का मूल निर्माण खंड कन्वोल्यूशनल प्रतिबंधित बोल्ट्ज़मैन मशीन है। एक convRBM में, दृश्य परत इनपुट छवि का प्रतिनिधित्व करती है, और छिपी हुई परत में फीचर मैप होते हैं। प्रत्येक फीचर मैप साझा फिल्टर भार के एक सेट के माध्यम से दृश्य परत से जुड़ा होता है, जिसे कर्नेल भी कहा जाता है। पूलिंग परत, आमतौर पर मैक्स-पूलिंग, छिपी हुई सक्रियताओं की स्थानिक आयामीता को कम करती है, जिससे अनुवाद अपरिवर्तनशीलता और कम्प्यूटेशनल दक्षता मिलती है।
एक CDBN कई convRBMs को स्टैक करता है, जिसमें एक परत का पूल्ड आउटपुट अगली परत के लिए दृश्य इनपुट के रूप में कार्य करता है। यह पदानुक्रमित संरचना नेटवर्क को प्रारंभिक परतों में निम्न-स्तरीय किनारों और बनावट, और बाद की परतों में उच्च-स्तरीय वस्तुओं या भागों को सीखने की अनुमति देती है। मॉडल की संभाव्य प्रकृति इसे सीखे गए वितरण से नए नमूने उत्पन्न करने में सक्षम बनाती है, एक गुण जो मानक विभेदक कन्वोल्यूशनल नेटवर्क में नहीं पाया जाता है।
प्रशिक्षण
CDBN का प्रशिक्षण लालची, परत-वार तरीके से आगे बढ़ता है। प्रत्येक convRBM को कंट्रास्टिव डाइवर्जेंस का उपयोग करके अलग से प्रशिक्षित किया जाता है, एक तकनीक जो अधिकतम संभावना अनुमान का अनुमान लगाती है। लर्निंग नियम डेटा-निर्भर और मॉडल-निर्भर आँकड़ों के बीच अंतर के आधार पर साझा फिल्टर भार और पूर्वाग्रहों को अपडेट करता है। सभी परतों के पूर्व-प्रशिक्षित होने के बाद, पूरे नेटवर्क को वर्गीकरण कार्यों के लिए लेबल किए गए डेटा के साथ बैकप्रोपेगेशन का उपयोग करके फाइन-ट्यून किया जा सकता है।
CDBN को प्रशिक्षित करने में एक चुनौती संभाव्य ग्राफिकल मॉडल में अनुमान की कम्प्यूटेशनल लागत है, विशेष रूप से बड़ी छवियों के लिए। इसे संबोधित करने के लिए, शोधकर्ताओं ने मीन-फील्ड अनुमान और ब्लॉक गिब्स सैंपलिंग जैसे अनुमानों का उपयोग किया है। इसके अतिरिक्त, स्टोकेस्टिक ग्रेडिएंट डिसेंट में छोटे मिनी-बैच और मोमेंटम का उपयोग प्रशिक्षण को स्थिर करने में मदद करता है।
अनुप्रयोग
CDBN को विभिन्न कंप्यूटर विज़न कार्यों पर लागू किया गया है, जिसमें वस्तु पहचान, चेहरे की पहचान और दृश्य वर्गीकरण शामिल हैं। इनका उपयोग ऑडियो प्रोसेसिंग और चिकित्सा इमेजिंग जैसे डोमेन में अनुपरिवेक्षित फीचर लर्निंग के लिए भी किया गया है। 2010 के दशक की शुरुआत में, CDBN ने CIFAR-10 और NORB जैसे बेंचमार्क डेटासेट पर प्रतिस्पर्धी परिणाम प्राप्त किए, जो व्यापक लेबल किए गए डेटा के बिना उपयोगी प्रतिनिधित्व सीखने में उनकी प्रभावशीलता को प्रदर्शित करता है।
हाल ही में, CDBN के सिद्धांतों ने वेरिएशनल ऑटोएन्कोडर और जनरेटिव एडवरसैरियल नेटवर्क जैसे अन्य जनरेटिव मॉडल को प्रभावित किया है, हालांकि बड़े पैमाने पर पर्यवेक्षित प्रशिक्षण के साथ एंड-टू-एंड डीप लर्निंग के उदय के कारण CDBN स्वयं आज कम आम हैं।
अन्य मॉडलों से संबंध
CDBN अन्य गहरी आर्किटेक्चर के साथ वैचारिक समानताएँ साझा करते हैं। वे मानक कन्वोल्यूशनल न्यूरल नेटवर्क के संभाव्य समकक्ष हैं, जो पूरी तरह से विभेदक हैं। ट्रांसफॉर्मर-आधारित मॉडल जैसे बड़े भाषा मॉडल के विपरीत, CDBN स्थानिक डेटा के लिए डिज़ाइन किए गए हैं और ध्यान तंत्र पर निर्भर नहीं हैं। CDBN की जनरेटिव क्षमता उन्हें विशिष्ट अवशिष्ट नेटवर्क और U-नेट से भी अलग करती है, जो फीडफॉरवर्ड और कार्य-विशिष्ट हैं।
मशीन लर्निंग के व्यापक संदर्भ में, CDBN अनुपरिवेक्षित पूर्व-प्रशिक्षण को कन्वोल्यूशनल आर्किटेक्चर के साथ संयोजित करने का एक प्रारंभिक प्रयास है, एक विषय जिसने बाद में टोरंटो विश्वविद्यालय और MIT CSAIL जैसे संस्थानों में डीप लर्निंग अनुसंधान को प्रभावित किया।
सीमाएँ और विरासत
उनकी सैद्धांतिक अपील के बावजूद, CDBN व्यावहारिक सीमाओं का सामना करते हैं। प्रशिक्षण कम्प्यूटेशनल रूप से गहन है, और संभाव्य अनुमान धीमा हो सकता है। पूरी तरह से पर्यवेक्षित कन्वोल्यूशनल नेटवर्क पर प्रदर्शन लाभ अक्सर मामूली थे, विशेष रूप से जब बड़े लेबल किए गए डेटासेट और GPU-त्वरित प्रशिक्षण उपलब्ध हो गए। परिणामस्वरूप, CDBN को काफी हद तक सरल, अधिक स्केलेबल मॉडल द्वारा प्रतिस्थापित किया गया है।
फिर भी, CDBN के पीछे के विचार - पदानुक्रमित फीचर लर्निंग, स्थानीय कनेक्टिविटी और जनरेटिव मॉडलिंग - प्रभावशाली बने हुए हैं। वे न्यूरल नेटवर्क और डीप बिलीफ नेटवर्क जैसे अन्य प्रारंभिक मॉडलों के साथ आधुनिक डीप लर्निंग की ऐतिहासिक नींव का हिस्सा हैं। शोधकर्ता अर्ध-पर्यवेक्षित लर्निंग और प्रतिनिधित्व लर्निंग के लिए जनरेटिव दृष्टिकोणों पर पुनर्विचार करना जारी रखते हैं, जिससे CDBN की विरासत प्रासंगिक बनी रहती है।