हॉपफील्ड नेटवर्क, जिसे एसोसिएटिव मेमोरी के रूप में भी जाना जाता है, आवर्तक तंत्रिका नेटवर्क का एक रूप है जो ऊर्जा न्यूनीकरण की प्रक्रिया के माध्यम से पैटर्न को संग्रहीत और पुनर्प्राप्त कर सकता है। भौतिक विज्ञानी जॉन हॉपफील्ड के नाम पर नामित, यह नेटवर्क बाइनरी न्यूरॉन्स की एक एकल परत से बना होता है, जिसमें प्रत्येक न्यूरॉन स्वयं को छोड़कर हर अन्य न्यूरॉन से जुड़ा होता है, जिसमें द्विदिशात्मक और सममित भार होते हैं। पैटर्न हेबियन लर्निंग नियम के माध्यम से सीखे जाते हैं और आंशिक इनपुट को स्थिर करके पुनर्प्राप्त किए जाते हैं, फिर नेटवर्क को गतिशील रूप से स्थानीय ऊर्जा न्यूनतम की ओर विकसित होने की अनुमति दी जाती है जो संग्रहीत पैटर्न के अनुरूप होते हैं। यह नेटवर्क को शोरगुल या अपूर्ण डेटा के प्रति मजबूत बनाता है, क्योंकि यह आंशिक संकेतों से पूर्ण पैटर्न को पुनर्प्राप्त कर सकता है।
नेटवर्क की उत्पत्ति संज्ञानात्मक मनोविज्ञान और सांख्यिकीय यांत्रिकी दोनों में निहित है। मनोविज्ञान में, एसोसिएटिव मेमोरी मॉडल 1950 और 1960 के दशक के हैं, जिनमें डब्ल्यू. के. टेलर का 1956 का हेबियन-प्रशिक्षित मॉडल, कार्ल स्टीनबुच का लर्नमैट्रिक्स (1961), और ट्यूवो कोहोनेन का ग्रेडिएंट-डिसेंट एसोसिएटिव मेमोरी (1974) शामिल हैं। भौतिकी में, चुंबकत्व का आइसिंग मॉडल, जिसका अध्ययन रॉय जे. ग्लॉबर ने 1963 में समय-निर्भर गतिशीलता के साथ किया, ने गणितीय आधार प्रदान किया। हेबियन लर्निंग के माध्यम से आइसिंग-जैसी प्रणाली को अनुकूलित करने का विचार स्वतंत्र रूप से फ्रैंक रोसेनब्लैट (1960), काओरू नाकानो (1971), शुन'इची अमारी (1972), और विलियम ए. लिटिल (1974) द्वारा प्रस्तावित किया गया था। जॉन हॉपफील्ड के 1982 के पेपर ने इन विचारों को शेरिंगटन–किर्कपैट्रिक स्पिन ग्लास मॉडल (1975) के साथ एकीकृत किया, जिससे असतत हॉपफील्ड नेटवर्क स्थापित हुआ; 1984 के पेपर ने इसे निरंतर सक्रियण कार्यों तक विस्तारित किया।
संरचना और गतिशीलता
नेटवर्क में N बाइनरी थ्रेशोल्ड इकाइयाँ शामिल हैं, जिनमें से प्रत्येक +1 या -1 (या कुछ परंपराओं में 0/1) का मान लेती है। नेटवर्क की स्थिति N बिट्स का एक वेक्टर V है। अलग-अलग न्यूरॉन्स i और j के बीच कनेक्शन सममित होते हैं, जिसमें संग्रहीत पैटर्न V^s के लिए भार w_ij = V_i^s V_j^s होता है, और स्व-कनेक्शन w_ii = 0 होते हैं। पुनर्प्राप्ति के दौरान, नेटवर्क न्यूरॉन्स को अतुल्यकालिक रूप से अद्यतन करता है, प्रत्येक न्यूरॉन तब सक्रिय होता है जब उसका भारित इनपुट थ्रेशोल्ड से अधिक होता है। यह प्रक्रिया एक ऊर्जा फ़ंक्शन को न्यूनतम करती है, जो सिस्टम को एक स्थानीय न्यूनतम की ओर ले जाती है जो एक संग्रहीत पैटर्न का प्रतिनिधित्व करती है। हेबियन लर्निंग नियम योगदान को जोड़कर कई पैटर्न संग्रहीत करता है, हालांकि क्षमता सीमित है; शास्त्रीय हॉपफील्ड नेटवर्क N न्यूरॉन्स के लिए लगभग 0.14N पैटर्न संग्रहीत कर सकते हैं।
अनुप्रयोग और सीमाएँ
हॉपफील्ड नेटवर्क भौतिकी, मनोविज्ञान, तंत्रिका विज्ञान और मशीन लर्निंग सिद्धांत में लागू किए गए हैं। वे संज्ञानात्मक विज्ञान में एसोसिएटिव मेमोरी के मॉडल और सांख्यिकीय यांत्रिकी में तंत्रिका गतिशीलता के सरलीकृत मॉडल के रूप में कार्य करते हैं। हालांकि, उनके बाइनरी न्यूरॉन्स, सीमित स्केलेबिलिटी, और ग्रेडिएंट-आधारित लर्निंग के साथ असंगतता ने उन्हें आधुनिक अभ्यास में दुर्लभ बना दिया है। वे मुख्य रूप से सैद्धांतिक उपकरणों के रूप में या अनुकूलन और पैटर्न पूर्णता जैसे विशेष कार्यों में उपयोग किए जाते हैं, बड़े पैमाने के अनुप्रयोगों में नहीं।
आधुनिक विकास
2016 में एक प्रमुख प्रगति हुई जब दिमित्री क्रोटोव और हॉपफील्ड ने भंडारण क्षमता बढ़ाने के लिए नेटवर्क की गतिशीलता और ऊर्जा फ़ंक्शन को संशोधित किया, जिससे अब घने एसोसिएटिव मेमोरी या आधुनिक हॉपफील्ड नेटवर्क कहा जाता है। डेमिरसिगिल और सहयोगियों ने 2017 में इस विचार का विस्तार किया, और बड़ी क्षमता वाले मॉडलों के लिए निरंतर गतिशीलता 2016 और 2020 के बीच पेपरों की एक श्रृंखला में विकसित की गई। इन आधुनिक रूपों में ट्रांसफार्मर और बड़े भाषा मॉडल से संबंध हैं, क्योंकि उनके ध्यान तंत्र को एसोसिएटिव मेमोरी पुनर्प्राप्ति के एक रूप के रूप में व्याख्या किया जा सकता है।
विरासत
2024 में, जॉन जे. हॉपफील्ड और जेफ्री ई. हिंटन को मशीन लर्निंग में उनके मौलिक योगदान के लिए भौतिकी में नोबेल पुरस्कार से सम्मानित किया गया, जिसमें हॉपफील्ड नेटवर्क भी शामिल है। यह नेटवर्क यह समझने में एक आधारशिला बना हुआ है कि तंत्रिका प्रणालियाँ जानकारी को कैसे संग्रहीत और पुनर्प्राप्त कर सकती हैं, जो भौतिकी, जीव विज्ञान और गणना को जोड़ता है। इसके सिद्धांत गहन शिक्षण और जनरेटिव एआई में अनुसंधान को सूचित करना जारी रखते हैं, विशेष रूप से मेमोरी-वर्धित वास्तुकला में।