हेल्महोल्ट्ज़ मशीन एक प्रकार का तंत्रिका नेटवर्क है जिसे प्रायिक मॉडलों के अनुपरीक्षित अधिगम के लिए डिज़ाइन किया गया है। इसे 1995 में जेफ्री हिंटन, पीटर डायन, ब्रेंडन फ्रे और रिचर्ड ज़ेमेल द्वारा प्रस्तुत किया गया था। इसकी वास्तुकला में दो पूरक घटक शामिल हैं: एक पहचान मॉडल जो इनपुट डेटा को अव्यक्त चरों पर वितरण में मैप करता है, और एक उत्पादक मॉडल जो उन अव्यक्त चरों से डेटा का पुनर्निर्माण करता है। मशीन को वेक-स्लीप एल्गोरिदम का उपयोग करके प्रशिक्षित किया जाता है, जो अव्यक्त अवस्थाओं का अनुमान लगाने के लिए पहचान भारों को समायोजित करने और डेटा का पुनर्निर्माण करने के लिए उत्पादक भारों को समायोजित करने के बीच वैकल्पिक रूप से कार्य करता है।
हेल्महोल्ट्ज़ मशीन का नाम हरमन वॉन हेल्महोल्ट्ज़ के नाम पर रखा गया है, जो 19वीं सदी के भौतिक विज्ञानी और शरीर विज्ञानी थे, जिन्होंने प्रस्तावित किया कि धारणा में अचेतन अनुमान शामिल है - मस्तिष्क संवेदी इनपुट की व्याख्या करने के लिए दुनिया का एक मॉडल बनाता है। मशीन इस विचार को डेटा के एक पदानुक्रमित उत्पादक मॉडल को सीखकर मूर्त रूप देती है, जहां उच्च स्तर अधिक अमूर्त विशेषताओं का प्रतिनिधित्व करते हैं और निम्न स्तर बारीक विवरणों का प्रतिनिधित्व करते हैं।
वास्तुकला
हेल्महोल्ट्ज़ मशीन में दो सेट कनेक्शनों के साथ एक स्तरित संरचना होती है। नीचे-ऊपर (पहचान) कनेक्शन इनपुट परत से शीर्ष परत तक चलते हैं, और ऊपर-नीचे (उत्पादक) कनेक्शन विपरीत दिशा में चलते हैं। प्रत्येक परत में स्टोकास्टिक बाइनरी इकाइयों का एक सेट होता है। पहचान मॉडल नीचे की परत को देखते हुए प्रत्येक छिपी इकाई के सक्रिय होने की प्रायिकता की गणना करता है, जबकि उत्पादक मॉडल ऊपर की परत को देखते हुए प्रत्येक इकाई के सक्रिय होने की प्रायिकता की गणना करता है।
यह द्विदिशात्मक डिज़ाइन नेटवर्क को अनुमान (पैटर्न पहचानना) और उत्पादन (नए नमूने बनाना) दोनों करने की अनुमति देता है। पहचान मॉडल अव्यक्त चरों पर पश्च वितरण का अनुमान लगाता है, जो सामान्य रूप से सटीक रूप से गणना करना कठिन है। उत्पादक मॉडल डेटा और अव्यक्त चरों पर एक संयुक्त वितरण को परिभाषित करता है, जिसे नए डेटा बिंदु उत्पन्न करने के लिए नमूना किया जा सकता है।
वेक-स्लीप एल्गोरिदम
वेक-स्लीप एल्गोरिदम एक दो-चरणीय प्रशिक्षण प्रक्रिया है। वेक चरण में, नेटवर्क को एक डेटा वेक्टर प्रस्तुत किया जाता है, और पहचान मॉडल का उपयोग नीचे से ऊपर तक अव्यक्त अवस्थाओं का नमूना लेने के लिए किया जाता है। फिर इन नमूना अवस्थाओं का उपयोग उत्पादक भारों को समायोजित करने के लिए किया जाता है, ताकि उत्पादक मॉडल डेटा का बेहतर पुनर्निर्माण कर सके। स्लीप चरण में, उत्पादक मॉडल का उपयोग ऊपर से नीचे तक अव्यक्त अवस्थाओं का नमूना लेने के लिए किया जाता है, और इनका उपयोग पहचान भारों को समायोजित करने के लिए किया जाता है, ताकि पहचान मॉडल उन अव्यक्त अवस्थाओं का बेहतर अनुमान लगा सके जिन्होंने नमूने उत्पन्न किए।
यह एल्गोरिदम अधिकतम संभावना अधिगम का एक अनुमान है। यह वैश्विक इष्टतम में परिवर्तित होने की गारंटी नहीं देता है, लेकिन यह कम्प्यूटेशनल रूप से कुशल है और कई कार्यों के लिए व्यवहार में अच्छा काम करता है। वेक-स्लीप एल्गोरिदम गहन उत्पादक मॉडलों को प्रशिक्षित करने की एक विधि का प्रारंभिक उदाहरण था, और इसने बाद के विकासों जैसे वैरिएशनल ऑटोएनकोडर और बोल्ट्ज़मैन मशीन को प्रभावित किया।
अनुप्रयोग और प्रभाव
हेल्महोल्ट्ज़ मशीन के प्रारंभिक अनुप्रयोगों में हस्तलिखित अंक पहचान और दस्तावेज़ मॉडलिंग शामिल थे। मशीन अलेबल डेटा से उपयोगी विशेषताएं सीखने में सक्षम थी, जिन्हें बाद में वर्गीकरण या अन्य डाउनस्ट्रीम कार्यों के लिए उपयोग किया जा सकता था। नीचे-ऊपर और ऊपर-नीचे प्रसंस्करण के संयोजन के माध्यम से पदानुक्रमित प्रतिनिधित्व सीखने की अवधारणा गहन अधिगम के विकास में प्रभावशाली रही है।
कई आधुनिक उत्पादक मॉडल, जिनमें जनरेटिव एडवर्सेरियल नेटवर्क और डिफ्यूज़न मॉडल शामिल हैं, उन विचारों पर आधारित हैं जिन्हें पहली बार हेल्महोल्ट्ज़ मशीन में खोजा गया था। वेक-स्लीप एल्गोरिदम ने अव्यक्त चर मॉडलों में अपेक्षा-अधिकतमीकरण एल्गोरिदम के उपयोग का भी पूर्वानुमान लगाया, हालांकि यह पश्च वितरण का अनुमान लगाने के अपने दृष्टिकोण में भिन्न है।
सीमाएं और बाद के विकास
मूल हेल्महोल्ट्ज़ मशीन में कई सीमाएं थीं। पहचान मॉडल एक सरल फीडफॉरवर्ड नेटवर्क था, जिसने जटिल पश्च वितरणों को पकड़ने की इसकी क्षमता को सीमित कर दिया। वेक-स्लीप एल्गोरिदम भी पहचान मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले वितरण और वास्तविक पश्च वितरण के बीच बेमेल से ग्रस्त था, जो उप-इष्टतम समाधानों को जन्म दे सकता था।
बाद के कार्यों ने अधिक परिष्कृत अनुमान विधियों, जैसे वैरिएशनल अनुमान और परिशोधित अनुमान, को पेश करके इन मुद्दों को संबोधित किया। वैरिएशनल ऑटोएनकोडर, जिसे 2013 में डिडेरिक किंगमा और मैक्स वेलिंग द्वारा पेश किया गया था, को हेल्महोल्ट्ज़ मशीन के आधुनिक वंशज के रूप में देखा जा सकता है, जो एक सीखा हुआ पहचान मॉडल और संभावना पर निचली सीमा को अधिकतम करके प्रशिक्षित एक उत्पादक मॉडल का उपयोग करता है।