अपेक्षा प्रसार (EP) बायेसियन मशीन लर्निंग में एक तकनीक है जिसका उपयोग उन प्रायिकता वितरणों का अनुमान लगाने के लिए किया जाता है जिन्हें सटीक रूप से संभालना कम्प्यूटेशनल रूप से कठिन होता है। इसे थॉमस मिंका ने 2001 में अनिश्चितता इन आर्टिफिशियल इंटेलिजेंस पर 17वें सम्मेलन में प्रस्तुत एक पेपर में पेश किया था। यह विधि उस वितरण की फैक्टराइजेशन संरचना का लाभ उठाकर एक जटिल लक्ष्य वितरण के लिए एक सरल, संभालने योग्य सन्निकटन खोजने के लिए डिज़ाइन की गई है, जो इसे Machine learning और संबंधित क्षेत्रों में विभिन्न अनुमान समस्याओं में उपयोगी बनाती है।
EP का मुख्य विचार एक कठिन वितरण \(p(\mathbf{x})\) को एक सरल, संभालने योग्य वितरण \(q(\mathbf{x})\) से अनुमानित करना है। यह कुल्बैक-लेब्लर विचलन \(\mathrm{KL}(p||q)\) को न्यूनतम करके प्राप्त किया जाता है, जो यह माप है कि एक प्रायिकता वितरण दूसरे से कितना भिन्न है। विचलन दिशा का यह चयन वैरिएशनल बायेसियन विधियों से एक प्रमुख अंतर है, जो इसके बजाय \(\mathrm{KL}(q||p)\) को न्यूनतम करते हैं। व्यावहारिक परिणाम यह है कि EP लक्ष्य वितरण के समग्र आकार, जिसमें उसके क्षण शामिल हैं, से मेल खाने पर ध्यान केंद्रित करता है, न कि उन क्षेत्रों से बचने पर जहां लक्ष्य छोटा है।
जब अनुमानित वितरण \(q(\mathbf{x})\) को गाऊसी \(\mathcal{N}(\mathbf{x}|\mu, \Sigma)\) चुना जाता है, तो \(\mathrm{KL}(p||q)\) को न्यूनतम करने से एक बंद-रूप समाधान प्राप्त होता है: इष्टतम \(\mu\) और \(\Sigma\) केवल लक्ष्य वितरण \(p(\mathbf{x)\) के माध्य और सहप्रसरण हैं। यह ऑपरेशन, जिसे क्षण मिलान के रूप में जाना जाता है, EP एल्गोरिदम का केंद्र है। व्यवहार में, EP पुनरावृत्त रूप से सन्निकटन के व्यक्तिगत कारकों को अद्यतन करता है, अभिसरण तक क्षणों को परिष्कृत करता है, जो इसे जटिल फैक्टराइज्ड मॉडल को संभालने की अनुमति देता है।
एल्गोरिदमिक ढांचा
EP एल्गोरिदम लक्ष्य वितरण के प्रत्येक कारक के लिए एक सन्निकटन बनाए रखकर काम करता है। प्रारंभ में, ये कारक सन्निकटन सरल रूपों में सेट किए जाते हैं, अक्सर सम या गाऊसी। एल्गोरिदम फिर प्रत्येक कारक के माध्यम से पुनरावृत्त करता है, इसे वर्तमान सन्निकटन से हटाता है, एक गुहा वितरण की गणना करता है, और फिर परिणामी झुके हुए वितरण को क्षण मिलान के माध्यम से संभालने योग्य परिवार पर वापस प्रक्षेपित करता है। यह प्रक्रिया तब तक दोहराई जाती है जब तक कि सन्निकटन स्थिर नहीं हो जाते, जिससे एक अंतिम \(q(\mathbf{x})\) प्राप्त होता है जो पूर्ण लक्ष्य का अनुमान लगाता है।
EP की एक उल्लेखनीय ताकत गैर-गाऊसी कारकों, जैसे संकेतक फलन, को संभालने की क्षमता है, जो बाधाओं या असतत परिणामों से जुड़े मॉडल में आम हैं। क्षण मिलान चरण सुनिश्चित करता है कि सन्निकटन इन कारकों के आवश्यक आँकड़ों को पकड़ लेता है, भले ही सटीक अनुमान असंभव हो। इस लचीलेपन ने EP को Probabilistic graphical models और अन्य संरचित भविष्यवाणी कार्यों में अनुमानित अनुमान के लिए एक लोकप्रिय विकल्प बना दिया है।
अनुप्रयोग
EP का एक प्रमुख अनुप्रयोग TrueSkill के लिए संदेश पासिंग समीकरणों की व्युत्पत्ति में है, जो ऑनलाइन गेमिंग के लिए माइक्रोसॉफ्ट रिसर्च द्वारा विकसित एक रैंकिंग प्रणाली है। TrueSkill खिलाड़ी के कौशल को गाऊसी वितरण के रूप में मॉडल करता है और मैच परिणामों के आधार पर इन अनुमानों को अद्यतन करता है। जीत-हार की घटनाओं से उत्पन्न संकेतक फलन सीधे संभालना कठिन होते हैं, लेकिन EP उन्हें अनुमानित करने का एक कुशल तरीका प्रदान करता है, जिससे वास्तविक समय में कौशल अनुमान और मैचमेकिंग संभव होती है।
TrueSkill से परे, EP को Neural network प्रशिक्षण जैसे क्षेत्रों में लागू किया गया है, जहाँ इसका उपयोग भारों पर बायेसियन अनुमान के लिए किया जा सकता है, और Large language model संदर्भों में अनिश्चितता मात्रा निर्धारण के लिए। कैलिब्रेटेड अनिश्चितता अनुमान प्रदान करने की इसकी क्षमता ने इसे Artificial intelligence और Deep learning जैसे क्षेत्रों में प्रासंगिक बना दिया है, जहाँ मॉडलों की संभाव्य व्याख्याएँ तेजी से मूल्यवान हो रही हैं।
अन्य विधियों के साथ तुलना
EP मौलिक रूप से वैरिएशनल बायेसियन विधियों से कुल्बैक-लेब्लर विचलन की दिशा में भिन्न है। वैरिएशनल विधियाँ, जो \(\mathrm{KL}(q||p)\) को न्यूनतम करती हैं, ऐसे सन्निकटन उत्पन्न करती हैं जो अधिक रूढ़िवादी होते हैं, अक्सर लक्ष्य के प्रसरण को कम आंकते हैं। इसके विपरीत, EP का \(\mathrm{KL}(p||q)\) का उपयोग ऐसे सन्निकटन की ओर ले जा सकता है जो लक्ष्य के प्रसरण को बेहतर ढंग से पकड़ते हैं, हालाँकि यह कुछ मामलों में कम स्थिर हो सकता है।
एक अन्य संबंधित दृष्टिकोण मार्कोव चेन मोंटे कार्लो (MCMC) है, जो स्पर्शोन्मुख रूप से सटीक नमूने प्रदान करता है लेकिन कम्प्यूटेशनल रूप से महंगा हो सकता है। EP एक नियतात्मक विकल्प प्रदान करता है जो अक्सर तेज़ होता है, लेकिन सन्निकटन त्रुटि की कीमत पर। यह व्यापार-बंद EP को बड़े पैमाने की समस्याओं में विशेष रूप से आकर्षक बनाता है जहाँ नमूनाकरण अव्यावहारिक है।
सीमाएँ और विस्तार
EP सभी मॉडलों के लिए अभिसरण की गारंटी नहीं देता है, और इसका प्रदर्शन कारक सन्निकटन के आरंभीकरण पर निर्भर हो सकता है। कुछ सेटिंग्स में, क्षण मिलान अद्यतन दोलन या विचलन कर सकते हैं, जिसके लिए डंपिंग या अन्य स्थिरीकरण तकनीकों की आवश्यकता होती है। शोधकर्ताओं ने इन मुद्दों को संबोधित करने के लिए डंपिंग के साथ अपेक्षा प्रसार और भिन्नात्मक EP जैसे प्रकार विकसित किए हैं।
इन चुनौतियों के बावजूद, EP बायेसियन अनुमान टूलबॉक्स में व्यापक रूप से उपयोग किया जाने वाला उपकरण बना हुआ है। मिंका के मूल कार्य में निर्धारित इसके सैद्धांतिक आधारों ने Computer vision से लेकर Reinforcement learning तक कई विस्तारों और अनुप्रयोगों को प्रेरित किया है। सटीकता और कम्प्यूटेशनल दक्षता को संतुलित करने की विधि की क्षमता इसे Stanford AI Lab और अन्य प्रमुख संस्थानों में सक्रिय शोध का विषय बनाती है।
यह भी देखें
- variational-inference
- बायेसियन अनुमान
- moment-matching
- trueskill