अपेक्षा-अधिकतमीकरण (EM) एल्गोरिथ्म एक पुनरावृत्तीय विधि है जिसका उपयोग सांख्यिकी में उन सांख्यिकीय मॉडलों में मापदंडों के अधिकतम संभावना या अधिकतम पश्च प्रायिकता अनुमान खोजने के लिए किया जाता है, जहाँ मॉडल अप्रेक्षित गुप्त चरों पर निर्भर करता है। यह विशेष रूप से तब उपयोगी होता है जब मापदंडों के समीकरणों को सीधे हल नहीं किया जा सकता, जैसे कि मिश्रण मॉडल में या जब डेटा में लुप्त मान हों।
EM पुनरावृत्ति एक अपेक्षा (E) चरण के बीच वैकल्पिक रूप से चलती है, जो वर्तमान मापदंड अनुमानों को देखते हुए पूर्ण डेटा की अपेक्षित लॉग-संभावना की गणना करता है, और एक अधिकतमीकरण (M) चरण, जो उस अपेक्षित लॉग-संभावना को अधिकतम करके मापदंडों को अद्यतन करता है। इन अद्यतन किए गए मापदंड अनुमानों का उपयोग अगले E चरण में किया जाता है, और यह प्रक्रिया अभिसरण तक दोहराई जाती है। एल्गोरिथ्म संभावना फलन के स्थानीय अधिकतम या सैडल बिंदु पर अभिसरण करने की गारंटी देता है, लेकिन जरूरी नहीं कि वैश्विक अधिकतम पर।
ऐतिहासिक विकास
EM एल्गोरिथ्म को औपचारिक रूप से 1977 में आर्थर डेम्पस्टर, नान लेयर्ड और डोनाल्ड रुबिन द्वारा लिखे गए एक पेपर में नामित और समझाया गया था, जिसे बाद में DLR पेपर के रूप में जाना गया। उस कार्य ने विधि को सांख्यिकीय विश्लेषण का एक मुख्य उपकरण स्थापित किया। हालाँकि, पहले के लेखकों ने विशिष्ट मामलों में तकनीक का प्रस्ताव रखा था।
एक अग्रदूत जीन-गणना विधि थी जिसे सेड्रिक स्मिथ द्वारा एलील आवृत्तियों का अनुमान लगाने के लिए विकसित किया गया था। एच.ओ. हार्टले ने भी 1958 में एक प्रारंभिक संस्करण प्रस्तावित किया था, और हार्टले और हॉकिंग ने 1977 में इसका विस्तार किया। रॉल्फ सुंडबर्ग ने अपने शोध प्रबंध और बाद के पेपरों में घातीय परिवारों के लिए एक विस्तृत उपचार प्रदान किया, जो पेर मार्टिन-लोफ और एंडर्स मार्टिन-लोफ के साथ सहयोग के बाद हुआ।
1977 का DLR पेपर इन पहले के तरीकों को सामान्यीकृत करता है और समस्याओं की एक विस्तृत श्रेणी के लिए अभिसरण विश्लेषण की रूपरेखा प्रस्तुत करता है। हालाँकि, उस विश्लेषण में कमियाँ थीं, और एक सही अभिसरण प्रमाण बाद में 1983 में सी. एफ. जेफ वू द्वारा प्रकाशित किया गया, जिन्होंने घातीय परिवार के बाहर भी अभिसरण स्थापित किया।
मुख्य विचार और अंतर्संबंधित समीकरण
गुप्त चर वाले सांख्यिकीय मॉडलों में, अधिकतम संभावना अनुमान के लिए आमतौर पर ऐसे समीकरणों को हल करने की आवश्यकता होती है जिनमें दोनों श्रृंखलाएँ शामिल हों। मापदंडों के समाधान के लिए गुप्त चरों के मानों की आवश्यकता होती है, और उनके लिए मापदंडों की आवश्यकता होती है, जिससे एक पारस्परिक रूप से अन्योन्याश्रित प्रणाली बनती है जिसे विश्लेषणात्मक रूप से हल नहीं किया जा सकता।
EM एल्गोरिथ्म मानों के एक सेट को प्रारंभ करके (अक्सर मापदंडों के लिए मनमाने अनुमान) और अनुमान चरणों के बीच वैकल्पिक रूप से चलकर इसे हल करता है। उदाहरण के लिए, यह वर्तमान मापदंडों के आधार पर गुप्त चरों का अनुमान लगा सकता है, फिर उन गुप्त चरों का उपयोग मापदंडों को अद्यतन करने के लिए कर सकता है, और चक्र को तब तक दोहरा सकता है जब तक कि दोनों सेट एक निश्चित बिंदु पर अभिसरण न कर लें। सहज रूप से सरल होते हुए भी, विधि में एक सिद्ध अभिसरण गुण है: अंतिम बिंदु पर संभावना का व्युत्पन्न शून्य के करीब पहुँचता है।
अनुप्रयोग और सीमाएँ
एक सामान्य अनुप्रयोग गॉसियन के मिश्रण के मापदंडों का अनुमान लगाना है, जहाँ प्रत्येक देखा गया डेटा बिंदु एक अप्रेक्षित मिश्रण घटक से संबंधित होता है। EM का उपयोग लुप्त डेटा के साथ एकाधिक रैखिक प्रतिगमन के लिए भी किया जा सकता है, हालाँकि इसे अक्सर Machine learning, Artificial intelligence और गुप्त संरचनाओं वाले अन्य क्षेत्रों जैसे डोमेन में लागू किया जाता है।
एक सीमा यह है कि EM वैश्विक अधिकतम के बजाय स्थानीय अधिकतम पर अभिसरण कर सकता है, और कुछ संभावनाओं में विलक्षणताएँ हो सकती हैं। उदाहरण के लिए, मिश्रण मॉडल में, यदि किसी घटक को शून्य विचरण सौंपा जाता है, तो असंगत अधिकतम वाला समाधान हो सकता है, जो समस्याग्रस्त है लेकिन पुनरावृत्तीय प्रक्रिया का एक ज्ञात परिणाम है।
विस्तार और व्यावहारिक नोट
EM के विस्तार, जैसे कि अपेक्षा-सशर्त अधिकतमीकरण (ECM) एल्गोरिथ्म या मोंटे कार्लो EM, संभावित अभिसरण मुद्दों या कम्प्यूटेशनल जटिलता को संबोधित करते हैं। व्यवहार में, EM को तब चुना जाता है जब पूर्ण डेटा संभावना सीमांत संभावना की तुलना में अनुकूलन करने के लिए सरल होती है, भले ही देखा गया डेटा अधूरा हो। यह गुप्त चर वाले मापदंडों का अनुमान लगाने के लिए एक मौलिक विधि बनी हुई है, जिसकी सांख्यिकी में व्यापक प्रासंगिकता है।
संदर्भ
DLR पेपर का नाम और 1983 में वू द्वारा अभिसरण विश्लेषण आधुनिक सूत्रीकरण को परिभाषित करते हैं। Christopher Bishop (पैटर्न रिकग्निशन एंड मशीन लर्निंग) और Chris Bishop जैसे लेखकों द्वारा पाठ्यपुस्तकें विस्तृत उपचार प्रदान करती हैं, जो EM को संभाव्य मॉडलिंग और अन्य शिक्षण एल्गोरिदम में व्यापक विषयों से जोड़ती हैं।