अपेक्षा-अधिकतमीकरण (EM) एल्गोरिथ्म सांख्यिकी और मशीन लर्निंग में एक पुनरावृत्त विधि है, जिसका उपयोग उन सांख्यिकीय मॉडलों में मापदंडों के स्थानीय अधिकतम संभावना या अधिकतम पश्च संभावना अनुमान खोजने के लिए किया जाता है जो अप्रेक्षित अव्यक्त चरों पर निर्भर करते हैं। EM, अपेक्षा (E) चरण और अधिकतमीकरण (M) चरण के बीच वैकल्पिक रूप से कार्य करता है - E चरण वर्तमान मापदंड अनुमानों का उपयोग करके अपेक्षित लॉग-संभावना के लिए एक फ़ंक्शन की गणना करता है, और M चरण उस अपेक्षित लॉग-संभावना को अधिकतम करने के लिए मापदंडों को अद्यतन करता है। ये अद्यतन अनुमान अगले E चरण को सूचित करते हैं, और यह प्रक्रिया अभिसरण तक दोहराई जाती है।
मशीन लर्निंग में, EM उन मॉडलों के लिए एक मुख्य उपकरण है जहाँ डेटा अधूरा होता है, जैसे मिश्रण मॉडल (उदाहरण के लिए, गाऊसी मिश्रण मॉडल) और छिपे हुए मार्कोव मॉडल। इसके अनुप्रयोग क्लस्टरिंग, छवि विभाजन, और संभाव्य ग्राफिकल मॉडल के लिए मापदंड अनुमान में हैं, और यह गहरे जनरेटिव मॉडल में उपयोग किए जाने वाले अधिक उन्नत वैरिएशनल अनुमान की नींव के रूप में कार्य करता है।
इतिहास
EM एल्गोरिथ्म को औपचारिक रूप से 1977 में आर्थर डेम्पस्टर, नान लेयर्ड और डोनाल्ड रुबिन के एक पेपर में नामित और समझाया गया था, लेकिन यह विधि पहले विशिष्ट मामलों के लिए प्रस्तावित की गई थी। सेड्रिक स्मिथ ने एलील आवृत्तियों का अनुमान लगाने के लिए जीन-गणना का उपयोग किया, और एच.ओ. हार्टले ने 1958 में एक संबंधित दृष्टिकोण पेश किया जिसे हार्टले ने 1977 में हॉकिंग के साथ विस्तारित किया, जिसने प्रमुख अवधारणाएँ प्रदान कीं। रॉल्फ सुंडबर्ग ने पेर मार्टिन-लोफ और एंडर्स मार्टिन-लोफ से प्रभावित होकर घातीय परिवारों के लिए एक विस्तृत उपचार विकसित किया। डेम्पस्टर-लेयर्ड-रुबिन पेपर ने विधि को सामान्यीकृत किया और इसे एक व्यापक वर्ग के लिए विस्तारित किया, हालाँकि इसका अभिसरण प्रमाण त्रुटिपूर्ण था। सी. एफ. जेफ वू ने 1983 में एक सुधारित अभिसरण विश्लेषण प्रस्तुत किया, जिसने घातीय परिवारों से परे EM की वैधता स्थापित की। यह एल्गोरिथ्म सांख्यिकीय विश्लेषण में एक मानक बन गया, और बाद के कार्यों, जैसे मेंग और वैन डाइक (1997), ने इसे और परिष्कृत किया।
एल्गोरिथ्म चरण
EM एल्गोरिथ्म उन अनुकूलन समस्याओं को संबोधित करता है जहाँ संभावना फ़ंक्शन में अव्यक्त चर होते हैं, जिससे कई मामलों में प्रत्यक्ष व्युत्पन्न-आधारित अधिकतमीकरण असंभव हो जाता है। इसके बजाय, एल्गोरिथ्म पुनरावृत्त रूप से परस्पर जुड़े समीकरणों को हल करता है: मापदंड अव्यक्त चरों पर निर्भर करते हैं, और अव्यक्त चर मापदंडों पर निर्भर करते हैं, जो सीधे प्रतिस्थापित करने पर आमतौर पर अघुलनशील समीकरण उत्पन्न करते हैं।
EM इस चक्र को दो चरणों के बीच वैकल्पिक करके तोड़ता है:
- E-चरण: पिछले पुनरावृत्ति से वर्तमान मापदंड अनुमानों को देखते हुए, प्रेक्षित डेटा पर सशर्त, अव्यक्त चरों के वितरण के संबंध में लॉग-संभावना के अपेक्षित मूल्य की गणना करें।
- M-चरण: मापदंडों के संबंध में अपेक्षित लॉग-संभावना को अधिकतम करें, जिससे नए अनुमान प्राप्त हों जो प्रेक्षित डेटा की संभावना को बढ़ाने या स्थिर रखने (गैर-घटते) की गारंटी देते हैं। यह अभिसरण तक दोहराया जाता है।
यदि मॉडल में स्वतंत्र अव्यक्त चर हैं, तो E-चरण अव्यक्त चरों के अधिकतम पश्च अनुमान को खोजने के लिए सरल हो जाता है, जिसमें अक्सर छिपे हुए मार्कोव मॉडल के लिए विटरबी एल्गोरिथ्म जैसी विधियों का उपयोग किया जाता है। पूरी प्रक्रिया अंततः सीमांत संभावना के स्थानीय अधिकतम तक पहुँचती है, लेकिन यह स्थानीय अधिकतम की गारंटी देती है, वैश्विक इष्टतम की नहीं। मिश्रण मॉडल में, प्रक्रिया विलक्षणताओं वाले समाधान में परिवर्तित हो सकती है, जैसे जहाँ एक घटक का विचरण शून्य हो और उसका माध्य एक डेटा बिंदु के साथ संरेखित हो।
अनुप्रयोग
EM का उपयोग अनुमानित गाऊसियन के मिश्रण के लिए और लापता डेटा के साथ कई रैखिक प्रतिगमन समस्याओं को हल करने के लिए किया जाता है। मशीन लर्निंग में, यह अव्यक्त चर मॉडल के लिए अति-अपेक्षा में एक मुख्य घटक है, जिसमें क्लस्टरिंग के लिए गाऊसी मिश्रण मॉडल शामिल हैं, जैसा कि scikit-learn और अन्य पुस्तकालयों में लागू किया गया है। यह पाठ अनुक्रमों के लिए मार्कोव श्रृंखलाओं और कंप्यूटर विज़न में छवि विभाजन के लिए एल्गोरिथ्म को भी रेखांकित करता है।
इस विधि को बायेसियन नेटवर्क और संभाव्य ग्राफिकल मॉडल जैसे क्षेत्रों में अपनाया गया है, जिसमें माइकल जॉर्डन और डैफने कोलर जैसे प्रभावशाली लोग इसे संरचित मॉडल पर लागू कर रहे हैं। आधुनिक सेटिंग्स में, EM ग्राफकोर मॉडल में पुनरावृत्त अनुकूलन के लिए एक सैद्धांतिक रीढ़ के रूप में कार्य करता है, हालाँकि गहरे तंत्रिका नेटवर्क अक्सर इसके बजाय ग्रेडिएंट-आधारित विधियों का उपयोग करते हैं।
विविधताएँ और विस्तार
कई विविधताएँ आधार EM में सुधार करती हैं। सामान्यीकृत EM (GEM) M-चरण को उन मापदंडों को खोजने के लिए शिथिल करता है जो अपेक्षित लॉग-संभावना को अधिकतम करने के बजाय बढ़ाते हैं। अपेक्षा सशर्त अधिकतमीकरण (ECM) M-चरण को सरल उप-चरणों में विभाजित करता है, जिससे यह प्रतिबंधित मापदंडों के लिए उपयोगी हो जाता है। मोंटे कार्लो EM E-चरण में स्टोकेस्टिक नमूनाकरण (उदाहरण के लिए, मार्कोव चेन मोंटे कार्लो) का उपयोग करता है जब अपेक्षित लॉग-संभावना की विश्लेषणात्मक रूप से गणना नहीं की जा सकती है। ये विधियाँ EM की मुख्य मजबूती को बनाए रखती हैं लेकिन कम्प्यूटेशनल लागत में विशिष्ट चुनौतियों का समाधान करती हैं।
जनरेटिव AI में, EM विचार सीखने में दिखाई देते हैं जब मॉडल में अव्यक्त प्रतिनिधित्व होते हैं, लेकिन जनरेटिव AI जैसे जनरेटिव मॉडल अब तंत्रिका नेटवर्क के लिए तैयार किए गए आवृत्तिवादी या संभाव्य दृष्टिकोणों पर निर्भर करते हैं।
सीमाएँ और विचार
EM को वैश्विक अधिकतम खोजने की गारंटी नहीं है; यह स्थानीय अधिकतम या सैडल बिंदु पर रुक सकता है। यह प्रारंभिकरण के प्रति संवेदनशील हो सकता है, और कुछ मामलों में, समाधानों में एक कृत्रिम विलक्षणता होती है। इसके अलावा, E-चरण मानता है कि हम अपेक्षित लॉग-संभावना की गणना कर सकते हैं, जो जटिल मॉडलों के लिए असंभव हो सकता है। वैरिएशनल अनुमान (अनुमानित अनुमान के लिए एक विकल्प) या संयुक्त विधियों जैसी विविधताएँ उपयुक्त हो सकती हैं। आधुनिक ML संदर्भों में, पेशेवर अक्सर इसकी सरलता के लिए EM पर भरोसा करते हैं, लेकिन गहरे GP मॉडल या तंत्रिका नेटवर्क के लिए, ग्रेडिएंट-आधारित अनुकूलन को प्राथमिकता दी जाती है।
यह भी देखें
- मशीन लर्निंग
- गहन शिक्षण
- कृत्रिम बुद्धिमत्ता
- कार्नेगी मेलन विश्वविद्यालय (ML में अनुसंधान)
संदर्भ
- डेम्पस्टर, ए. पी.; लेयर्ड, एन. एम.; रुबिन, डी. बी. (1977)। "अधूरे डेटा से अधिकतम संभावना EM एल्गोरिथ्म के माध्यम से"। जर्नल ऑफ द रॉयल स्टैटिस्टिकल सोसाइटी।
- वू, सी. एफ. जे. (1983)। EM एल्गोरिथ्म के अभिसरण गुणों पर। एनल्स ऑफ स्टैटिस्टिक्स।
- हार्टले, एच. ओ. (1958)। अधूरे डेटा से अधिकतम संभावना अनुमान। बायोमेट्रिक्स।