कर्नेल विधियाँ इनपुट डेटा और किसी फ़ंक्शन के संगत आउटपुट के बीच संबंध का विश्लेषण करने के लिए एक सुस्थापित उपकरण हैं। विशिष्ट मशीन लर्निंग में, ये फ़ंक्शन एक अदिश आउटपुट उत्पन्न करते हैं, लेकिन हाल के विकासों ने कर्नेल विधियों को सदिश-मान आउटपुट वाले फ़ंक्शनों तक विस्तारित किया है। यह विस्तार संबंधित समस्याओं को एक साथ हल करने में रुचि से प्रेरित है, जहाँ कार्यों के बीच संबंधों को पकड़ने वाले कर्नेल एल्गोरिदम को एक-दूसरे से शक्ति उधार लेने की अनुमति देते हैं। इस प्रकार के एल्गोरिदम में मल्टी-टास्क लर्निंग (जिसे मल्टी-आउटपुट लर्निंग या वेक्टर-वैल्यूड लर्निंग भी कहा जाता है), ट्रांसफर लर्निंग, और को-क्रिगिंग शामिल हैं। मल्टी-लेबल वर्गीकरण को इनपुट को बाइनरी कोडिंग वैक्टर में मैप करने के रूप में व्याख्यायित किया जा सकता है, जिसकी लंबाई वर्गों की संख्या के बराबर होती है। गॉसियन प्रक्रियाओं में, कर्नेल को सहप्रसरण फ़ंक्शन कहा जाता है, और मल्टी-आउटपुट फ़ंक्शन कई प्रक्रियाओं पर विचार करने के अनुरूप होते हैं।
इस संदर्भ में पर्यवेक्षित लर्निंग समस्या एक फ़ंक्शन \( f \) सीखना है जो इनपुट \( \mathbf{x_i} \) दिए जाने पर सदिश-मान आउटपुट \( \mathbf{y_i} \) की भविष्यवाणी करता है, जहाँ \( i = 1, \ldots, N \) है। इनपुट एक इनपुट स्पेस \( \mathcal{X} \) से संबंधित होते हैं, जो अक्सर \( \mathbb{R}^p \) होता है, और आउटपुट \( \mathbb{R}^D \) से संबंधित होते हैं। सामान्यतः, आउटपुट वेक्टर का प्रत्येक घटक अलग-अलग कार्डिनैलिटी और यहाँ तक कि अलग-अलग इनपुट स्पेस वाले अलग-अलग इनपुट डेटा रख सकता है; भू-सांख्यिकी साहित्य इस मामले को हेटरोटोपिक कहता है, जबकि आइसोटोपिक इंगित करता है कि प्रत्येक घटक इनपुट का समान सेट साझा करता है। सरलता के लिए, संकेतन अक्सर मान लेता है कि प्रत्येक आउटपुट के लिए डेटा की संख्या और नमूना स्थान समान हैं।
इतिहास
सदिश-मान फ़ंक्शन सीखने का इतिहास ट्रांसफर लर्निंग से निकटता से जुड़ा हुआ है, जिसमें एक समस्या को हल करते समय प्राप्त ज्ञान को संग्रहीत करना और उसे एक अलग लेकिन संबंधित समस्या पर लागू करना शामिल है। ट्रांसफर लर्निंग के लिए मूल प्रेरणा पर NIPS-95 कार्यशाला "लर्निंग टू लर्न" में चर्चा की गई थी, जो आजीवन मशीन लर्निंग विधियों की आवश्यकता पर केंद्रित थी जो पहले से सीखे गए ज्ञान को बनाए रखती हैं और पुनः उपयोग करती हैं। 1995 के बाद से ट्रांसफर लर्निंग पर शोध ने विभिन्न नामों से बहुत ध्यान आकर्षित किया है, जिनमें लर्निंग टू लर्न, आजीवन लर्निंग, ज्ञान स्थानांतरण, आगमनात्मक स्थानांतरण, मल्टीटास्क लर्निंग, ज्ञान समेकन, संदर्भ-संवेदनशील लर्निंग, ज्ञान-आधारित आगमनात्मक पूर्वाग्रह, मेटालर्निंग, और वृद्धिशील/संचयी लर्निंग शामिल हैं। सदिश-मान फ़ंक्शन सीखने में रुचि विशेष रूप से मल्टीटास्क लर्निंग से प्रज्वलित हुई, जो एक ढांचा है जो कई, संभवतः अलग-अलग कार्यों को एक साथ सीखने का प्रयास करता है।
मशीन लर्निंग समुदाय में मल्टीटास्क लर्निंग में अधिकांश प्रारंभिक शोध प्रकृति में एल्गोरिदमिक था, जो 1990 के दशक में तंत्रिका नेटवर्क, निर्णय वृक्ष, और k-निकटतम पड़ोसी जैसी विधियों पर लागू किया गया था। संभाव्य मॉडल और गॉसियन प्रक्रियाओं का उपयोग भू-सांख्यिकी के संदर्भ में अग्रणी और बड़े पैमाने पर विकसित किया गया था, जहाँ सदिश-मान आउटपुट डेटा पर भविष्यवाणी को कोक्रिगिंग के रूप में जाना जाता है। बहुचर मॉडलिंग के भू-सांख्यिकीय दृष्टिकोण अधिकतर कोरिजनलाइज़ेशन के रैखिक मॉडल (LMC) के आसपास तैयार किए गए हैं, जो बहुचर प्रतिगमन के लिए उपयोग किए जाने वाले वैध सहप्रसरण फ़ंक्शन विकसित करने के लिए एक उत्पादक दृष्टिकोण है और आँकड़ों में महंगे बहुचर कंप्यूटर कोड के कंप्यूटर अनुकरण के लिए है। सदिश-मान फ़ंक्शनों के लिए नियमितीकरण और कर्नेल सिद्धांत साहित्य 2000 के दशक में आया। जबकि बायेसियन और नियमितीकरण दृष्टिकोण स्वतंत्र रूप से विकसित किए गए थे, वे वास्तव में निकटता से संबंधित हैं।
नियमितीकरण परिप्रेक्ष्य
नियमितीकरण परिप्रेक्ष्य से, समस्या एक फ़ंक्शन \( f_* \) सीखना है जो सदिश-मान फ़ंक्शनों के प्रजनन कर्नेल हिल्बर्ट स्पेस (\( \mathcal{H} \)) से संबंधित है। यह टिखोनोव नियमितीकरण के अदिश मामले के समान है, संकेतन में अतिरिक्त सावधानी के साथ। यह दिखाना संभव है, हालाँकि गैर-तुच्छ है, कि एक प्रतिनिधि प्रमेय सदिश-मान सेटिंग में टिखोनोव नियमितीकरण के लिए भी धारण करता है। मैट्रिक्स-मान कर्नेल \( \mathbf{K} \) को स्पेस \( \mathcal{X} \times \{1, \ldots, D\} \) पर एक अदिश कर्नेल \( R \) द्वारा भी परिभाषित किया जा सकता है। यह परिप्रेक्ष्य मशीन लर्निंग के व्यापक क्षेत्र से जुड़ता है, जहाँ नियमितीकरण तकनीकें अति-अनुकूलन को रोकने और सामान्यीकरण में सुधार करने के लिए मौलिक हैं।
मल्टी-टास्क लर्निंग और संबंधित प्रतिमान
मल्टी-टास्क लर्निंग सदिश आउटपुट के लिए कर्नेल विधियों का एक मुख्य अनुप्रयोग है। लक्ष्य कई कार्यों को एक साथ सीखना है, प्रत्येक कार्य पर प्रदर्शन में सुधार के लिए साझा जानकारी का लाभ उठाना है। यह दृष्टिकोण ट्रांसफर लर्निंग से संबंधित है, जहाँ एक कार्य से ज्ञान दूसरे के लिए पुनः उपयोग किया जाता है, और को-क्रिगिंग से, जो बहुचर स्थानिक भविष्यवाणी के लिए एक भू-सांख्यिकीय विधि है। मल्टी-लेबल वर्गीकरण में, सदिश आउटपुट वर्ग सदस्यता को एन्कोड करता है, और लेबलों के बीच सहसंबंधों को पकड़ने वाले कर्नेल वर्गीकरण सटीकता में सुधार कर सकते हैं। इन विधियों को विभिन्न डोमेन में लागू किया गया है, जिनमें कृत्रिम बुद्धिमत्ता और गहन शिक्षण शामिल हैं, जहाँ सदिश-मान भविष्यवाणियाँ मल्टी-टास्क तंत्रिका नेटवर्क जैसे कार्यों में आम हैं।
गॉसियन प्रक्रियाओं से संबंध
गॉसियन प्रक्रियाओं में, कर्नेल सहप्रसरण फ़ंक्शन के रूप में कार्य करते हैं, और मल्टी-आउटपुट फ़ंक्शन कई सहसंबद्ध प्रक्रियाओं पर विचार करने के अनुरूप होते हैं। यह बायेसियन परिप्रेक्ष्य नियमितीकरण परिप्रेक्ष्य से निकटता से संबंधित है, क्योंकि दोनों का उद्देश्य इनपुट और आउटपुट के बीच संबंध को मॉडल करना है, साथ ही आउटपुट आयामों के बीच निर्भरता को पकड़ना है। कोरिजनलाइज़ेशन का रैखिक मॉडल इस संदर्भ में वैध सहप्रसरण फ़ंक्शन बनाने के लिए एक मानक दृष्टिकोण है। इस संबंध ने तंत्रिका नेटवर्क और ट्रांसफॉर्मर में आधुनिक दृष्टिकोणों को प्रभावित किया है, जहाँ मल्टी-आउटपुट भविष्यवाणियों को अक्सर साझा प्रतिनिधित्व के माध्यम से संभाला जाता है।
अनुप्रयोग और विस्तार
सदिश आउटपुट के लिए कर्नेल विधियों को भू-सांख्यिकी, कंप्यूटर अनुकरण, और मल्टी-टास्क लर्निंग में लागू किया गया है। वे आधुनिक जनरेटिव AI प्रणालियों के लिए भी प्रासंगिक हैं, जहाँ मॉडल अक्सर सदिश-मान आउटपुट जैसे एम्बेडिंग या बहुआयामी भविष्यवाणियाँ उत्पन्न करते हैं। शोध बड़े डेटासेट तक स्केल करने वाले कुशल एल्गोरिदम और कर्नेल विकसित करने पर जारी है, जो MIT CSAIL और स्टैनफोर्ड AI लैब जैसे संस्थानों के मौलिक कार्य पर आधारित है। यह क्षेत्र अध्ययन का एक सक्रिय क्षेत्र बना हुआ है, जिसमें पाठ्यक्रम शिक्षण और अन्य उन्नत प्रशिक्षण तकनीकों से संबंध हैं।