अपेक्षा-अधिकतमीकरण (EM) एल्गोरिथ्म एक पुनरावृत्त सांख्यिकीय विधि है जिसका उपयोग उन मॉडलों में मापदंडों के अधिकतम संभावना अनुमान खोजने के लिए किया जाता है जिनमें अव्यक्त (अनदेखे) चर होते हैं। एक गाऊसी मिश्रण मॉडल (GMM) एक संभाव्य मॉडल है जो मानता है कि सभी डेटा बिंदु अज्ञात मापदंडों वाले गाऊसी वितरणों की एक सीमित संख्या के मिश्रण से उत्पन्न होते हैं। EM एल्गोरिथ्म GMM को फिट करने का मानक दृष्टिकोण है, जो अभिसरण तक एक अपेक्षा चरण (E-चरण) और एक अधिकतमीकरण चरण (M-चरण) के बीच वैकल्पिक रूप से चलता है। यह तकनीक Machine learning में कई अनुप्रयोगों का आधार बनती है, जिसमें क्लस्टरिंग, घनत्व अनुमान, और विसंगति का पता लगाना शामिल है।
EM एल्गोरिथ्म को औपचारिक रूप से 1977 में आर्थर डेम्पस्टर, नान लैर्ड, और डोनाल्ड रुबिन द्वारा एक पेपर में प्रस्तुत किया गया था, हालांकि सांख्यिकी साहित्य में पहले के संस्करण मौजूद थे। GMM स्वयं 1894 में कार्ल पियर्सन द्वारा मिश्रण मॉडल पर प्रारंभिक कार्य से संबंधित है, जिन्होंने केकड़ा डेटा पर दो-घटक गाऊसी मिश्रण को फिट करने के लिए क्षणों की विधि का उपयोग किया था। EM और GMM का संयोजन अप्रशिक्षित सीखने का एक आधारशिला बन गया, जो आधुनिक Deep learning दृष्टिकोणों से पहले था और समकालीन Artificial intelligence प्रणालियों में प्रासंगिक बना हुआ है।
गणितीय सूत्रीकरण
K घटकों वाला एक GMM डेटा बिंदु x की संभाव्यता घनत्व को K गाऊसी घनत्वों के भारित योग के रूप में मॉडल करता है: p(x) = sum_{k=1}^K pi_k * N(x | mu_k, Sigma_k), जहाँ pi_k मिश्रण गुणांक हैं (जिनका योग 1 है), mu_k माध्य वेक्टर हैं, और Sigma_k सहप्रसरण मैट्रिक्स हैं। अव्यक्त चर z इंगित करता है कि किस घटक ने प्रत्येक अवलोकन उत्पन्न किया। EM एल्गोरिथ्म दो चरणों को पुनरावृत्त करता है। E-चरण में, यह वर्तमान मापदंड अनुमानों को देखते हुए, प्रत्येक घटक के प्रत्येक डेटा बिंदु को उत्पन्न करने की पश्च संभावना (जिम्मेदारी) की गणना करता है। M-चरण में, यह अपेक्षित पूर्ण-डेटा लॉग-संभावना को अधिकतम करके मापदंडों (pi_k, mu_k, Sigma_k) को अद्यतन करता है, जिम्मेदारियों को भार के रूप में उपयोग करते हुए। एल्गोरिथ्म प्रत्येक पुनरावृत्ति पर गैर-घटती संभावना की गारंटी देता है, एक स्थानीय इष्टतम में अभिसरण करता है।
मशीन लर्निंग में अनुप्रयोग
Machine learning में, GMM नरम क्लस्टरिंग के लिए एक लचीला उपकरण के रूप में कार्य करते हैं, जहाँ प्रत्येक बिंदु सभी क्लस्टरों से अलग-अलग संभावनाओं के साथ संबंधित होता है, कठोर क्लस्टरिंग विधियों जैसे कि k-means के विपरीत। इनका उपयोग छवि विभाजन, भाषण पहचान, और विसंगति का पता लगाने में किया जाता है। उदाहरण के लिए, कंप्यूटर दृष्टि में, GMM वीडियो निगरानी में पृष्ठभूमि पिक्सेल मॉडल करते हैं। भाषण प्रसंस्करण में, GMM ने ऐतिहासिक रूप से ध्वनिक विशेषताओं को मॉडल किया, Neural network आधारित प्रणालियों द्वारा प्रतिस्थापित होने से पहले। EM एल्गोरिथ्म छिपे हुए मार्कोव मॉडल में भी दिखाई देता है (बॉम-वेल्च एल्गोरिथ्म के माध्यम से, जो एक विशेष मामला है) और सामान्य सांख्यिकीय मॉडलों में लापता डेटा को संभालने में भी।
आधुनिक AI से संबंध
जबकि Deep learning ने कई उच्च-आयामी कार्यों के लिए GMM को पीछे छोड़ दिया है, EM एल्गोरिथ्म वैचारिक रूप से प्रभावशाली बना हुआ है। EM के प्रकार मशीन अनुवाद में शब्द संरेखण के लिए अपेक्षा-अधिकतमीकरण जैसे कार्यों के लिए बड़े भाषा मॉडल के प्रशिक्षण में उपयोग किए जाते हैं। अनुमान और अनुकूलन के बीच वैकल्पिक करने का एल्गोरिथ्म का सिद्धांत परिवर्तनीय ऑटोएनकोडर और अन्य अव्यक्त-चर मॉडलों में दिखाई देता है। MIT CSAIL और Stanford AI Lab जैसे संस्थानों के शोधकर्ता EM का उसके सैद्धांतिक आश्वासनों और दक्षता के लिए अध्ययन करना जारी रखते हैं। व्यवहार में, GMM अभी भी वक्ता सत्यापन और वित्तीय जोखिम मॉडलिंग जैसे कार्यों के लिए उत्पादन प्रणालियों में तैनात किए जाते हैं, अक्सर Generative AI तकनीकों के साथ।
विस्तार और प्रकार
कई विस्तार EM की सीमाओं को संबोधित करते हैं, जैसे धीमी अभिसरण और प्रारंभिकरण के प्रति संवेदनशीलता। स्टोकेस्टिक EM और वृद्धिशील EM मिनी-बैचों का उपयोग करके मापदंडों को अद्यतन करते हैं, स्केलेबिलिटी में सुधार करते हैं। परिवर्तनीय बायेसियन EM मापदंडों को यादृच्छिक चर के रूप में मानता है, जो एक पूर्ण पश्च वितरण प्रदान करता है। K-Means Clustering एल्गोरिथ्म को समान आइसोट्रोपिक सहप्रसरण वाले GMM के लिए EM की कठोर-असाइनमेंट सीमा के रूप में देखा जा सकता है। उच्च-आयामी डेटा के लिए, विकर्ण या बंधित सहप्रसरण मैट्रिक्स मापदंडों की संख्या को कम करते हैं। Expectation propagation और मोंटे-कार्लो-EM प्रकार अघुलनशील अभिन्नों को संभालते हैं। ये विकास Artificial intelligence के युग में EM को प्रासंगिक बनाए रखते हैं, जहाँ यह अक्सर अधिक जटिल मॉडलों में एक आधाररेखा या निर्माण खंड के रूप में कार्य करता है।
व्यावहारिक विचार
GMM के लिए EM को लागू करने के लिए घटकों की संख्या K चुनने की आवश्यकता होती है, अक्सर बायेसियन सूचना मानदंड (BIC) या क्रॉस-सत्यापन जैसे सूचना मानदंडों के माध्यम से। प्रारंभिकरण k-means परिणामों या यादृच्छिक बीजों का उपयोग कर सकता है। एल्गोरिथ्म स्थानीय इष्टतम में अभिसरण कर सकता है, इसलिए कई पुनरारंभ सामान्य हैं। संख्यात्मक स्थिरता लॉग-संभावनाओं का उपयोग करके और नियमितीकरण के साथ एकवचन सहप्रसरण मैट्रिक्स को संभालकर सुधारी जाती है। आधुनिक सॉफ्टवेयर पुस्तकालयों में, जैसे scikit-learn, GMM के लिए EM को कुशल रैखिक बीजगणित दिनचर्या के साथ लागू किया जाता है। पूर्ण सहप्रसरण के लिए एल्गोरिथ्म की समय जटिलता प्रति पुनरावृत्ति O(NKD^2) है, जहाँ N बिंदुओं की संख्या है और D आयामीता है, जो इसे मध्यम-आकार के डेटासेट के लिए व्यवहार्य बनाती है। बड़े पैमाने की समस्याओं के लिए, AWS Trainium और अन्य विशेष हार्डवेयर मैट्रिक्स संचालन को तेज कर सकते हैं, हालांकि EM आमतौर पर अंत-से-अंत Machine learning पाइपलाइनों में बाधा नहीं है।
ऐतिहासिक संदर्भ
EM एल्गोरिथ्म का विकास आनुवंशिकी और सर्वेक्षण नमूनाकरण की समस्याओं से प्रेरित था, जहाँ लापता डेटा आम था। इसके औपचारिकीकरण ने कई पहले की पुनरावृत्त विधियों को एकीकृत किया, जिसमें कारक विश्लेषण और मिश्रित मॉडल के लिए शामिल हैं। 1977 का पेपर सांख्यिकी में सबसे अधिक उद्धृत में से एक बन गया। दशकों में, EM को खगोल विज्ञान (आकाशगंगा वितरण का अनुमान), अर्थशास्त्र (आय वितरण मॉडलिंग), और जीव विज्ञान (जीन अभिव्यक्ति क्लस्टरिंग) जैसे विविध क्षेत्रों में लागू किया गया है। इसकी सादगी और सैद्धांतिक शोभा ने इसे Machine learning और सांख्यिकी पर पाठ्यपुस्तकों में एक मानक विषय बना दिया है, जिसमें क्रिस्टोफर बिशप और अन्य के लेख शामिल हैं। Deep learning के उदय के बावजूद, EM और GMM डेटा वैज्ञानिक के टूलकिट में आवश्यक उपकरण बने हुए हैं, विशेष रूप से स्पष्ट अव्यक्त संरचना और मध्यम आयामीता वाली समस्याओं के लिए।
यह भी देखें
- K-Means Clustering
- hidden-markov-model
- Variational Autoencoder
- Expectation propagation
- density-estimation