अपेक्षा–अधिकतमीकरण एल्गोरिदम

अपेक्षा-अधिकतमीकरण (EM) एल्गोरिथ्म एक पुनरावृत्त विधि है जिसका उपयोग सांख्यिकी में उन सांख्यिकीय मॉडलों में मापदंडों के स्थानीय अधिकतम संभावना या अधिकतम पश्च (MAP) अनुमान खोजने के लिए किया जाता है जो अनदेखे अव्यक्त चरों पर निर्भर करते हैं। एल्गोरिथ्म एक अपेक्षा (E) चरण और एक अधिकतमीकरण (M) चरण के बीच वैकल्पिक रूप से चलता है; E चरण वर्तमान मापदंड अनुमानों को देखते हुए अपेक्षित लॉग-संभावना की गणना करता है, और M चरण उस अपेक्षित लॉग-संभावना को अधिकतम करने के लिए मापदंडों को अद्यतन करता है। ये अद्यतन मापदंड फिर अगले E चरण को सूचित करते हैं, और यह प्रक्रिया अभिसरण तक दोहराई जाती है। EM व्यापक रूप से मशीन-लर्निंग जैसे क्षेत्रों में लागू किया जाता है, जैसे मिश्रण मॉडल का अनुमान लगाना, लापता डेटा को संभालना, और छिपे हुए मार्कोव मॉडल का प्रशिक्षण।

EM जिस मुख्य चुनौती का समाधान करता है वह तब उत्पन्न होती है जब एक संभावना फलन में देखे गए डेटा और अनदेखे अव्यक्त चर दोनों शामिल होते हैं। सभी अज्ञातों के सापेक्ष व्युत्पन्न लेकर संभावना को सीधे अधिकतम करने से आमतौर पर परस्पर जुड़े समीकरण बनते हैं जिन्हें विश्लेषणात्मक रूप से हल नहीं किया जा सकता। EM एक सेट अज्ञात को हल करके दूसरे को स्थिर रखते हुए, वैकल्पिक रूप से दोनों के अभिसरण तक चलकर इससे बचता है। यह दृष्टिकोण प्रत्येक पुनरावृत्ति पर संभावना बढ़ाने की गारंटी देता है, हालांकि यह वैश्विक इष्टतम के बजाय स्थानीय अधिकतम या सैडल बिंदु पर अभिसरित हो सकता है।

इतिहास

EM एल्गोरिथ्म को औपचारिक रूप से 1977 के एक क्लासिक पेपर में आर्थर डेम्पस्टर, नैन लेयर्ड और डोनाल्ड रुबिन द्वारा नामित और समझाया गया था। हालांकि, इस विधि को पहले के लेखकों द्वारा विशेष मामलों में प्रस्तावित किया गया था। सेड्रिक स्मिथ ने एलील आवृत्तियों का अनुमान लगाने के लिए एक जीन-गिनती विधि पेश की, और एच.ओ. हार्टले ने 1958 में एक संबंधित दृष्टिकोण प्रस्तावित किया, जिसमें 1977 में हार्टले और हॉकिंग द्वारा आगे विकास किया गया। रॉल्फ संडबर्ग ने अपने शोध प्रबंध और बाद के पेपरों में घातीय परिवारों के लिए एक विस्तृत उपचार प्रदान किया, जो पेर मार्टिन-लोफ और एंडर्स मार्टिन-लोफ के साथ सहयोग पर आधारित था। 1977 के डेम्पस्टर-लेयर्ड-रुबिन पेपर ने इन विचारों को सामान्यीकृत किया और अभिसरण विश्लेषण की रूपरेखा प्रस्तुत की, जिससे EM एक प्रमुख सांख्यिकीय उपकरण के रूप में स्थापित हुआ। एक सही अभिसरण प्रमाण बाद में सी.एफ. जेफ वू द्वारा 1983 में प्रकाशित किया गया, जिसने मूल विश्लेषण में दोषों को संबोधित किया और अभिसरण गारंटी को घातीय परिवारों से परे बढ़ाया।

एल्गोरिथ्म विवरण

दिए गए अवलोकित डेटा X, अव्यक्त डेटा Z, और अज्ञात मापदंड θ के लिए, लक्ष्य सीमांत संभावना L(θ; X) = ∫ p(X, Z | θ) dZ को अधिकतम करना है। EM पुनरावृत्ति में दो चरण शामिल हैं:

• E चरण: लॉग-संभावना फलन का अपेक्षित मान, Q(θ | θ^(t)), की गणना Z की सशर्त वितरण के सापेक्ष, X और वर्तमान मापदंड अनुमान θ^(t) को देखते हुए करें।
• M चरण: ऐसे मापदंड θ^(t+1) खोजें जो Q(θ | θ^(t)) को अधिकतम करते हैं।

अद्यतन मापदंड फिर अगले E चरण में उपयोग किए जाते हैं, और यह प्रक्रिया तब तक दोहराई जाती है जब तक मापदंडों या संभावना में परिवर्तन एक सीमा से नीचे नहीं गिरता। यह प्रक्रिया एकरस रूप से संभावना बढ़ाती है, जिससे एक स्थिर बिंदु पर अभिसरण सुनिश्चित होता है।

अनुप्रयोग

EM का उपयोग आमतौर पर मिश्रण मॉडलों के मापदंडों का अनुमान लगाने के लिए किया जाता है, जैसे गाऊसी मिश्रण, जहां प्रत्येक अवलोकित डेटा बिंदु कई अंतर्निहित घटकों में से एक से आने के लिए माना जाता है। यह लापता डेटा समस्याओं को भी संभालता है, जहां कुछ अवलोकन अपूर्ण होते हैं। कृत्रिम-बुद्धिमत्ता में, EM छिपे हुए मार्कोव मॉडलों के लिए प्रशिक्षण एल्गोरिथ्म को रेखांकित करता है, जो भाषण पहचान और जैव सूचना विज्ञान में उपयोग किए जाते हैं। इसके अतिरिक्त, EM अव्यक्त चरों के साथ कई रैखिक प्रतिगमन समस्याओं को हल कर सकता है और कारक विश्लेषण तथा क्लस्टरिंग में लागू किया जाता है।

गुण और सीमाएं

EM कई मॉडलों के लिए कम्प्यूटेशनल रूप से कुशल और लागू करने में आसान है, लेकिन इसकी सीमाएं हैं। यह स्थानीय अधिकतम पर अभिसरित हो सकता है, और अंतिम समाधान प्रारंभिक मानों पर निर्भर करता है। मिश्रण मॉडलों में, EM ऐसे विलक्षण समाधान खोज सकता है जहां एक घटक का शून्य विचरण होता है, जो अर्थहीन अधिकतम हैं। एल्गोरिथ्म को अव्यक्त घटकों या अवस्थाओं की संख्या के निर्दिष्टीकरण की भी आवश्यकता होती है, जो अक्सर अज्ञात होती है। सामान्यीकृत EM एल्गोरिथ्म और स्टोकेस्टिक EM जैसे रूपांतर इनमें से कुछ मुद्दों को संबोधित करते हैं, लेकिन मूल विधि सांख्यिकीय कम्प्यूटिंग में एक मूलभूत उपकरण बनी हुई है।

संबंधित अवधारणाएं

EM एल्गोरिथ्म मशीन-लर्निंग में अन्य पुनरावृत्त अनुकूलन तकनीकों से निकटता से संबंधित है, जैसे एसजीडी-रूपांतर और एडम-ऑप्टिमाइज़र जैसी ग्रेडिएंट-आधारित विधियां। यह गहन-शिक्षण में वैरिएशनल अनुमान से भी जुड़ा है, जहां अनुमानित पश्च वितरणों को अनुकूलित किया जाता है। जनरेटिव-एआई में, अव्यक्त चर मॉडलों के प्रशिक्षण में EM-शैली के दृष्टिकोण दिखाई देते हैं, और इसके सिद्धांत आरएलएआईएफ और पाठ्यक्रम-शिक्षण जैसे अधिक उन्नत एल्गोरिथ्मों को समझने के लिए मूलभूत हैं।