कंट्रास्टिव हेबियन लर्निंग (सीएचएल) एक सीखने का नियम है जो तंत्रिका नेटवर्क के लिए है, जो दो अलग-अलग चरणों में नेटवर्क गतिविधि की तुलना करके सिनैप्टिक भार को अद्यतन करता है: एक मुक्त-चालन चरण और एक क्लैम्प्ड चरण। मानक त्रुटि बैकप्रोपेगेशन के विपरीत, जिसके लिए स्पष्ट त्रुटि संकेतों के साथ एक अलग अग्र और पश्च पास की आवश्यकता होती है, सीएचएल स्थानीय, हेबियन-शैली अद्यतनों पर निर्भर करता है जो दो चरणों में न्यूरॉन सक्रियणों के सहसंबंधों के बीच अंतर का उपयोग करते हैं। यह इसे मस्तिष्क में जैविक रूप से प्रशंसनीय सीखने के लिए एक उम्मीदवार और बोल्ट्ज़मैन मशीन और इसके प्रकारों जैसे ऊर्जा-आधारित मॉडलों के लिए एक मौलिक एल्गोरिदम बनाता है।
यह नियम 1980 और 1990 के दशक में विकसित किया गया था, जिसमें पॉल वेरबोस सहित शोधकर्ताओं का महत्वपूर्ण योगदान था, जिन्होंने पहले बैकप्रोपेगेशन तैयार किया था, और जेफ्री हिंटन, जिन्होंने बोल्ट्ज़मैन मशीनों के संदर्भ में कंट्रास्टिव लर्निंग की खोज की थी। मुख्य विचार यह है कि एक नेटवर्क पहले एक ऐसी स्थिति में स्थिर होकर सीख सकता है जो इसके इनपुट को दर्शाती है (मुक्त चरण), फिर एक लक्ष्य आउटपुट (क्लैम्प्ड चरण) पर क्लैम्प्ड किया जाता है, और अंत में इन दो स्थितियों के बीच विसंगति को कम करने के लिए भार को समायोजित किया जाता है। यह प्रक्रिया एक ऊर्जा फलन को न्यूनतम करती है, नेटवर्क को एक ऐसे विन्यास की ओर ले जाती है जहाँ क्लैम्प्ड स्थिति एक निम्न-ऊर्जा आकर्षक है।
तंत्र और गणितीय सूत्रीकरण
एक विशिष्ट सीएचएल कार्यान्वयन में, नेटवर्क एक आवर्तक या फीडफॉरवर्ड वास्तुकला है जिसमें दृश्य इकाइयाँ (इनपुट और आउटपुट) और छिपी हुई इकाइयाँ होती हैं। मुक्त चरण के दौरान, नेटवर्क को एक इनपुट प्रस्तुत किया जाता है, और सक्रियण नेटवर्क के माध्यम से तब तक प्रसारित होते हैं जब तक यह एक स्थिर स्थिति तक नहीं पहुँचता, अक्सर पुनरावृत्त स्थिरीकरण के माध्यम से। क्लैम्प्ड चरण में, आउटपुट इकाइयाँ वांछित लक्ष्य मानों पर स्थिर की जाती हैं, और नेटवर्क फिर से एक नए संतुलन में स्थिर होता है। प्रत्येक कनेक्शन के लिए भार अद्यतन तब क्लैम्प्ड चरण में सक्रियणों के उत्पाद और मुक्त चरण में उत्पाद के बीच अंतर द्वारा दिया जाता है, जो एक सीखने की दर से स्केल किया जाता है।
गणितीय रूप से, इकाई \(i\) को इकाई \(j\) से जोड़ने वाले भार \(w_{ij}\) के लिए, अद्यतन \(\Delta w_{ij} = \eta (x_i^+ x_j^+ - x_i^- x_j^-)\) है, जहाँ \(x^+\) क्लैम्प्ड चरण में सक्रियणों को दर्शाता है, \(x^-\) मुक्त चरण में सक्रियणों को दर्शाता है, और \(\eta\) सीखने की दर है। यह नियम कंट्रास्टिव डाइवर्जेंस का एक रूप है, एक अवधारणा जिसे बाद में हिंटन ने 2002 में प्रतिबंधित बोल्ट्ज़मैन मशीनों के प्रशिक्षण के लिए औपचारिक रूप दिया। अद्यतन इस अर्थ में स्थानीय है कि इसे केवल प्री- और पोस्ट-सिनैप्टिक न्यूरॉन्स पर उपलब्ध जानकारी की आवश्यकता होती है, जो हेब के सिद्धांत के अनुरूप है कि "एक साथ आग लगाने वाले न्यूरॉन्स एक साथ जुड़ते हैं," लेकिन एक महत्वपूर्ण घटाव के साथ जो भार की असीमित वृद्धि को रोकता है।
बैकप्रोपेगेशन से संबंध
सीएचएल की तुलना अक्सर बैकप्रोपेगेशन एल्गोरिदम से की जाती है, जो आधुनिक गहन शिक्षण पर हावी है। बैकप्रोपेगेशन श्रृंखला नियम का उपयोग करके एक हानि फलन के सटीक ग्रेडिएंट की गणना करता है, जिसके लिए एक वैश्विक त्रुटि संकेत की आवश्यकता होती है जो नेटवर्क के माध्यम से पीछे की ओर प्रसारित होता है। यह कम्प्यूटेशनल रूप से कुशल है लेकिन जैविक रूप से अप्रशंसनीय है क्योंकि इसके लिए सटीक, सिंक्रनाइज़ संकेतन और भार परिवहन की आवश्यकता होती है। इसके विपरीत, सीएचएल केवल स्थानीय जानकारी का उपयोग करता है और इसे निरंतर-समय गतिशील प्रणालियों में लागू किया जा सकता है, जिससे यह कॉर्टिकल सीखने के एक मॉडल के रूप में अधिक प्रशंसनीय बन जाता है।
अनुभवजन्य अध्ययनों ने दिखाया है कि सीएचएल कुछ वास्तुकलाओं में बैकप्रोपेगेशन का अनुमान लगा सकता है, विशेष रूप से सममित भार वाले फीडफॉरवर्ड नेटवर्क में। छोटी सीखने की दरों और पर्याप्त स्थिरीकरण समय की सीमा में, सीएचएल अद्यतन एक वर्ग-त्रुटि हानि के ग्रेडिएंट का अनुमान लगाता है। हालाँकि, सीएचएल आम तौर पर अभिसरण में धीमा है और बहुत गहरे नेटवर्कों के लिए कम स्केलेबल है, यही कारण है कि इसने व्यावहारिक अनुप्रयोगों जैसे बड़े भाषा मॉडल या ट्रांसफॉर्मर में बैकप्रोपेगेशन की जगह नहीं ली है।
अनुप्रयोग और प्रकार
सीएचएल को कई समस्याओं पर लागू किया गया है, जिसमें साहचर्य स्मृति, पैटर्न पूर्णता और पर्यवेक्षित वर्गीकरण शामिल हैं। यह बोल्ट्ज़मैन मशीन के अंतर्निहित सीखने का नियम है, एक स्टोकेस्टिक आवर्तक नेटवर्क जो 1980 के दशक में प्रभावशाली था लेकिन कम्प्यूटेशनल लागत के कारण अलोकप्रिय हो गया। माध्य-क्षेत्र कंट्रास्टिव हेबियन लर्निंग नियम जैसे प्रकार नियतात्मक नेटवर्कों को संभालने के लिए विकसित किए गए हैं, और विचार को स्पाइकिंग तंत्रिका नेटवर्कों तक बढ़ाया गया है, जहाँ इसका उपयोग इंटीग्रेट-एंड-फायर न्यूरॉन्स के नेटवर्कों को प्रशिक्षित करने के लिए किया जाता है।
2010 और 2020 के दशक में, बैकप्रोपेगेशन के जैविक रूप से प्रशंसनीय विकल्पों की खोज के हिस्से के रूप में सीएचएल में रुचि पुनर्जीवित हुई। एमआईटी सीएसएआईएल और स्टैनफोर्ड एआई लैब जैसे संस्थानों के शोधकर्ताओं ने वैश्विक त्रुटि संकेतों के बिना गहरे नेटवर्कों को प्रशिक्षित करने के लिए सीएचएल को स्थानीय सीखने के नियमों के साथ जोड़ने वाले हाइब्रिड दृष्टिकोणों की खोज की है। ये प्रयास कॉर्टिकल सीखने को समझने और ऊर्जा-कुशल न्यूरोमॉर्फिक हार्डवेयर बनाने के लक्ष्य से प्रेरित हैं।
सीमाएँ और चुनौतियाँ
सीएचएल की एक प्रमुख सीमा इसकी कम्प्यूटेशनल लागत है। स्थिरीकरण प्रक्रिया को संतुलन तक पहुँचने के लिए कई पुनरावृत्तियों की आवश्यकता होती है, और दो-चरण प्रक्रिया एकल अग्र पास की तुलना में अनुमान समय को दोगुना कर देती है। बड़े नेटवर्कों के लिए, यह निषेधात्मक हो जाता है। इसके अतिरिक्त, सीएचएल स्थिरीकरण गतिशीलता और सीखने की दर की पसंद के प्रति संवेदनशील है; खराब विकल्प दोलन या धीमे अभिसरण का कारण बन सकते हैं। सममित भार की आवश्यकता, जो ऊर्जा फलन को अच्छी तरह से परिभाषित करने के लिए आवश्यक है, एक और बाधा है जो अधिकांश जैविक सर्किटों में मौजूद नहीं है।
एक और चुनौती यह है कि सीएचएल अतिरिक्त अनुमानों के बिना गैर-अवकलनीय सक्रियणों या स्टोकेस्टिक इकाइयों को स्वाभाविक रूप से संभालता नहीं है। जबकि कंट्रास्टिव डाइवर्जेंस प्रतिबंधित बोल्ट्ज़मैन मशीनों के लिए एक व्यावहारिक अनुमान प्रदान करता है, यह सच्चे ग्रेडिएंट में अभिसरण की गारंटी नहीं देता है, और इसका प्रदर्शन गहरी वास्तुकलाओं में बिगड़ जाता है। इन मुद्दों ने मुख्यधारा मशीन लर्निंग में सीएचएल को अपनाने को सीमित कर दिया है, जहाँ बैकप्रोपेगेशन मानक बना हुआ है।
विरासत और वर्तमान अनुसंधान
अपनी सीमाओं के बावजूद, सीएचएल ने क्षेत्र पर एक स्थायी प्रभाव छोड़ा है। इसने ऊर्जा-आधारित मॉडलों के लिए एक सैद्धांतिक आधार प्रदान किया और अनपर्यवेक्षित सीखने में कंट्रास्टिव विधियों के विकास को प्रभावित किया, जैसे कंट्रास्टिव प्रेडिक्टिव कोडिंग और सिमसीएलआर। मुक्त और क्लैम्प्ड अवस्थाओं की तुलना करने की अवधारणा आधुनिक तकनीकों जैसे संतुलन प्रसार को भी रेखांकित करती है, जिसे 2017 में स्केलियर और बेंगियो द्वारा पेश किया गया था, जो आवर्तक नेटवर्कों में ग्रेडिएंट का अनुमान लगाने के लिए एक समान दो-चरण दृष्टिकोण का उपयोग करता है।
सीएचएल पर वर्तमान अनुसंधान इसे अधिक स्केलेबल और मजबूत बनाने पर केंद्रित है। उदाहरण के लिए, हाल के कार्यों ने एज कंप्यूटिंग के लिए स्पाइकिंग तंत्रिका नेटवर्कों में सीएचएल का उपयोग करने की खोज की है, जहाँ हार्डवेयर बाधाओं के कारण स्थानीय सीखने के नियम आवश्यक हैं। अन्य प्रयास सामान्यीकरण में सुधार के लिए सीएचएल को ड्रॉपआउट और बैच सामान्यीकरण के साथ संयोजित करने की जाँच करते हैं। हालाँकि यह निकट भविष्य में बैकप्रोपेगेशन को बदलने की संभावना नहीं है, सीएचएल तंत्रिका विज्ञान और कृत्रिम बुद्धिमत्ता के प्रतिच्छेदन में रुचि रखने वालों के लिए अध्ययन का एक जीवंत क्षेत्र बना हुआ है।