मशीन लर्निंग में, वितरणों का कर्नेल एम्बेडिंग (जिसे कर्नेल मीन या मीन मैप भी कहा जाता है) गैर-पैरामीट्रिक विधियों का एक वर्ग है जो एक संभाव्यता वितरण को एक प्रजनन कर्नेल हिल्बर्ट स्पेस (आरकेएचएस) के एक तत्व के रूप में प्रस्तुत करता है। यह दृष्टिकोण शास्त्रीय कर्नेल विधियों में उपयोग होने वाले फीचर मैपिंग को सामान्यीकृत करता है: व्यक्तिगत डेटा बिंदुओं को मैप करने के बजाय, यह पूरे वितरणों को एक अनंत-आयामी फीचर स्पेस में मैप करता है। एम्बेडिंग मनमाने वितरणों की सभी सांख्यिकीय विशेषताओं को संरक्षित कर सकती है, जिससे चिकित्सकों को हिल्बर्ट स्पेस संचालन जैसे कि आंतरिक उत्पाद, दूरियां, प्रक्षेपण, रैखिक परिवर्तन, और वर्णक्रमीय विश्लेषण का उपयोग करके वितरणों की तुलना और हेरफेर करने की अनुमति मिलती है।
यह ढांचा अत्यधिक सामान्य है और किसी भी स्पेस पर वितरणों पर लागू होता है जिस पर एक समझदार कर्नेल फ़ंक्शन परिभाषित किया जा सकता है। यूक्लिडियन स्पेस में वैक्टर, असतत श्रेणियां, स्ट्रिंग्स, ग्राफ़, चित्र, समय श्रृंखला, मैनिफोल्ड्स, गतिशील प्रणालियाँ, और अन्य संरचित वस्तुओं के लिए कर्नेल प्रस्तावित किए गए हैं। सैद्धांतिक नींव मुख्य रूप से एलेक्स स्मोला, ले सॉन्ग, आर्थर ग्रेटन, और बर्नहार्ड शोल्कॉप्फ़ द्वारा विकसित की गई थी। यह दृष्टिकोण सूचना-सैद्धांतिक विधियों का एक सैद्धांतिक विकल्प प्रदान करता है, जिन्हें अक्सर घनत्व अनुमान या पैरामीट्रिक धारणाओं की आवश्यकता होती है जो उच्च-आयामी सेटिंग्स में अव्यवहारिक हैं।
प्रेरणा और लाभ
वितरणों का विश्लेषण करने के पारंपरिक तरीके अक्सर एन्ट्रॉपी, पारस्परिक सूचना, या कुलबैक-लेइब्लर विचलन जैसी सूचना-सैद्धांतिक मात्राओं पर निर्भर करते हैं। इनका अनुमान लगाने के लिए आमतौर पर घनत्व अनुमान या परिष्कृत स्पेस-विभाजन और पूर्वाग्रह-सुधार रणनीतियों की आवश्यकता होती है, जो उच्च आयामों में विफल हो जाती हैं। गॉसियन मिश्रण मॉडल जैसे पैरामीट्रिक मॉडल ऐसी धारणाएँ थोपते हैं जो निराधार हो सकती हैं, जबकि कर्नेल घनत्व अनुमान या विशेषता फ़ंक्शन प्रतिनिधित्व जैसी गैर-पैरामीट्रिक विधियाँ भी उच्च-आयामी डेटा के साथ संघर्ष करती हैं।
कर्नेल एम्बेडिंग इन मुद्दों को दरकिनार कर देती है। यह डेटा को वितरणों के रूप या चरों के बीच संबंधों के बारे में प्रतिबंधात्मक धारणाओं के बिना मॉडल करने की अनुमति देती है। किसी मध्यवर्ती घनत्व अनुमान की आवश्यकता नहीं होती है। चिकित्सक एक उपयुक्त कर्नेल चुनकर यह निर्दिष्ट कर सकते हैं कि किसी वितरण की कौन सी विशेषताएँ सबसे अधिक प्रासंगिक हैं, पूर्व ज्ञान को शामिल करते हुए। यदि एक विशेषता कर्नेल का उपयोग किया जाता है, तो एम्बेडिंग वितरण के बारे में सभी जानकारी को विशिष्ट रूप से संरक्षित करती है, और संभावित रूप से अनंत-आयामी आरकेएचएस में गणनाएँ सरल ग्राम मैट्रिक्स संचालनों में सिमट जाती हैं। इसके अलावा, नमूनों से अनुमानित अनुभवजन्य कर्नेल मीन, डेटा की आयामीता से स्वतंत्र दरों पर सत्य एम्बेडिंग में अभिसरित होता है। इस ढांचे पर आधारित सीखने के एल्गोरिदम अच्छा सामान्यीकरण और परिमित-नमूना अभिसरण प्रदर्शित करते हैं, अक्सर सूचना-सैद्धांतिक विधियों की तुलना में सरल और अधिक प्रभावी होते हैं।
परिभाषाएँ
मान लीजिए \(X\) एक यादृच्छिक चर है जिसका डोमेन \(\Omega\) और वितरण \(P\) है। एक सममित, सकारात्मक-निश्चित कर्नेल \(k: \Omega \times \Omega \to \mathbb{R}\) दिए जाने पर, मूर-अरोन्सज़ैजन प्रमेय \(\Omega\) पर एक अद्वितीय आरकेएचएस \(\mathcal{H}\) के अस्तित्व की गारंटी देता है, जो फ़ंक्शनों \(f: \Omega \to \mathbb{R}\) का एक हिल्बर्ट स्पेस है जिसमें आंतरिक उत्पाद \(\langle \cdot, \cdot \rangle_{\mathcal{H}}\) और मानदंड \(\|\cdot\|_{\mathcal{H}}\) है, जिसके लिए \(k\) एक प्रजनन कर्नेल है। इसका मतलब है कि प्रत्येक \(x \in \Omega\) के लिए, फ़ंक्शन \(k(x, \cdot)\) प्रजनन गुण को संतुष्ट करता है: \(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\) सभी \(f \in \mathcal{H}\) के लिए।
मैपिंग \(x \mapsto k(x, \cdot)\) को एक अंतर्निहित फीचर मैप \(\varphi: \Omega \to \mathcal{H}\) के रूप में देखा जा सकता है, ताकि \(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\)। वितरण \(P\) का कर्नेल एम्बेडिंग तब अपेक्षा \(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\) के रूप में परिभाषित किया जाता है, जो आरकेएचएस का एक तत्व है। व्यवहार में, \(P\) से नमूने \(x_1, \dots, x_n\) दिए जाने पर, अनुभवजन्य एम्बेडिंग औसत \(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\) है।
प्रमुख गुण और संचालन
एम्बेडिंग वितरणों पर विभिन्न संचालन सक्षम बनाती है। दो एम्बेडिंग्स के बीच आंतरिक उत्पाद, \(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\), कर्नेल मूल्यांकनों की अपेक्षा के रूप में गणना की जा सकती है, जिसे अक्सर नमूनों से अनुमानित किया जाता है। वितरणों के बीच दूरी, जिसे अधिकतम मीन विचलन (एमएमडी) के रूप में जाना जाता है, \(\|\mu_P - \mu_Q\|_{\mathcal{H}}\) द्वारा दी जाती है। यह दूरी शून्य है यदि और केवल यदि \(P = Q\) जब कर्नेल विशेषता है, जिससे यह संभाव्यता वितरणों के स्पेस पर एक मीट्रिक बन जाता है। अन्य संचालनों में आरकेएचएस के उप-स्थानों पर प्रक्षेपण और सहप्रसरण संचालकों का वर्णक्रमीय विश्लेषण शामिल हैं, जो आयामीता में कमी और स्वतंत्रता परीक्षण में उपयोगी हैं।
एक महत्वपूर्ण गुण यह है कि अनुभवजन्य एम्बेडिंग आरकेएचएस मानदंड में \(O(n^{-1/2})\) की दर से सत्य एम्बेडिंग में अभिसरित होती है, जो इनपुट आयाम से स्वतंत्र है। यह घनत्व-आधारित विधियों पर एक महत्वपूर्ण लाभ है, जो आयामीता के अभिशाप से ग्रस्त हैं। कर्नेल का चुनाव यह निर्धारित करता है कि वितरण की कौन सी विशेषताएँ जोर दी जाती हैं; उदाहरण के लिए, गॉसियन कर्नेल विशेषता और सार्वभौमिक है, जिसका अर्थ है कि यह कॉम्पैक्ट डोमेन पर किसी भी सतत फ़ंक्शन का अनुमान लगा सकता है।
अनुप्रयोग
कर्नेल एम्बेडिंग ढांचा कई लोकप्रिय विधियों को विशेष मामलों के रूप में समाहित करता है। इसका उपयोग दो-नमूना परीक्षण में किया जाता है, जहाँ एमएमडी एक परीक्षण आँकड़े के रूप में कार्य करता है ताकि यह निर्धारित किया जा सके कि दो नमूने एक ही वितरण से आते हैं या नहीं। यह कर्नेल स्वतंत्रता परीक्षणों को भी रेखांकित करता है, जैसे कि हिल्बर्ट-श्मिट स्वतंत्रता मानदंड(एचएसआईसी), जो यादृच्छिक चरों के बीच निर्भरता को मापता है। Machine learning में, कर्नेल एम्बेडिंग्स को जनरेटिव मॉडल के लिए Data Augmentation, कुशल अनुमान के लिए Model Pruning, और Deep learning में Loss Functions डिज़ाइन में लागू किया गया है।
शास्त्रीय सेटिंग्स से परे, ढांचा संरचित डेटा तक फैलता है। उदाहरण के लिए, ग्राफ़ पर कर्नेल नेटवर्क पर वितरणों के एम्बेडिंग को सक्षम बनाते हैं, जो Graphcore-शैली हार्डवेयर अनुसंधान या Google DeepMind परियोजनाओं में उपयोगी है। Artificial intelligence अनुसंधान में, कर्नेल एम्बेडिंग्स का उपयोग Reinforcement learning में नीति मूल्यांकन के लिए और Bayesian Inference में गैर-पैरामीट्रिक प्रायर के लिए किया गया है। यह दृष्टिकोण Neural network सिद्धांत से भी जुड़ता है, जहाँ आरकेएचएस को कुछ नेटवर्कों की अनंत-चौड़ाई सीमा के रूप में देखा जा सकता है, जो Residual Network (ResNet) और U-Net आर्किटेक्चर से जुड़ता है।
अन्य विधियों से संबंध
कर्नेल एम्बेडिंग्स फूरियर विश्लेषण में विशेषता फ़ंक्शनों से निकटता से संबंधित हैं, लेकिन वे आवृत्ति डोमेन के बजाय एक प्रजनन कर्नेल हिल्बर्ट स्पेस में संचालित होते हैं। कर्नेल घनत्व अनुमान के विपरीत, जो घनत्वों का अनुमान लगाने के लिए स्मूथिंग कर्नेल का उपयोग करता है, यहाँ कर्नेल एक फीचर स्पेस को परिभाषित करते हैं और घनत्व अनुमान की आवश्यकता नहीं होती है। ढांचा Dropout और Batch Normalization से भी संबंधित है क्योंकि यह वितरणों में अनिश्चितता को संभालने का एक सैद्धांतिक तरीका प्रदान करता है, हालांकि ये तकनीकें विभिन्न समस्याओं को संबोधित करती हैं।
सिद्धांत को सशर्त वितरणों तक बढ़ाया गया है, जिससे सशर्त कर्नेल एम्बेडिंग्स बनती हैं, जो Sequence-to-Sequence (Seq2Seq) मॉडल और Encoder-Decoder Architecture आर्किटेक्चर में उपयोगी हैं। ये एम्बेडिंग्स राज्य-स्थान मॉडल में गैर-पैरामीट्रिक प्रतिगमन और फ़िल्टरिंग की अनुमति देती हैं। हाल के कार्यों ने Transformer (architecture) मॉडल से संबंधों का पता लगाया है, जहाँ ध्यान तंत्र को कर्नेल स्मूथिंग के रूप में व्याख्यायित किया जा सकता है, और Large language model प्रशिक्षण से, जहाँ वितरणात्मक एम्बेडिंग्स Reinforcement Learning from AI Feedback (RLAIF) या Curriculum Learning रणनीतियों को सूचित कर सकती हैं।
सीमाएँ और खुली दिशाएँ
अपने लाभों के बावजूद, कर्नेल एम्बेडिंग की सीमाएँ हैं। कर्नेल का चुनाव महत्वपूर्ण है, और एक खराब चुनाव जानकारी खो सकता है या खराब प्रदर्शन दे सकता है। बड़े डेटासेट के लिए ग्राम मैट्रिक्स की गणना कम्प्यूटेशनल रूप से महंगी हो सकती है, हालांकि सन्निकटन मौजूद हैं। यह विधि मुख्य रूप से यूक्लिडियन या संरचित स्पेस पर वितरणों के लिए डिज़ाइन की गई है; इसे अधिक जटिल वस्तुओं तक बढ़ाना एक सक्रिय क्षेत्र बना हुआ है। शोधकर्ता नए कर्नेल और कुशल एल्गोरिदम का पता लगाना जारी रखते हैं, अक्सर OpenAI, Anthropic, और Google DeepMind जैसी उद्योग प्रयोगशालाओं के सहयोग से।
2020 के दशक की शुरुआत तक, कर्नेल एम्बेडिंग्स एक जीवंत शोध विषय बनी हुई हैं, जिनमें कारण अनुमान, डोमेन अनुकूलन, और अनिश्चितता परिमाणीकरण में अनुप्रयोग हैं। ढांचे की सैद्धांतिक गारंटी और लचीलापन इसे Machine learning और सांख्यिकी के व्यापक टूलकिट में एक मूल्यवान उपकरण बनाते हैं।