कर्नेल विधियाँ Machine learning में पैटर्न विश्लेषण के लिए एल्गोरिदम का एक वर्ग हैं, जिसका सबसे प्रसिद्ध सदस्य सपोर्ट-वेक्टर मशीन (SVM) है। ये विधियाँ कर्नेल ट्रिक नामक गणितीय तकनीक का उपयोग करके nonlinear समस्याओं पर रैखिक क्लासिफायर लागू करती हैं। डेटा को उपयोगकर्ता-निर्दिष्ट फीचर मैप के माध्यम से स्पष्ट रूप से उच्च-आयामी फीचर स्पेस में बदलने के बजाय, कर्नेल विधियाँ एक कर्नेल फ़ंक्शन पर निर्भर करती हैं, जो उस अंतर्निहित स्पेस में डेटा बिंदुओं के जोड़े के बीच आंतरिक उत्पादों की गणना करता है। यह दृष्टिकोण अक्सर स्पष्ट निर्देशांक गणना की तुलना में कम्प्यूटेशनल रूप से सस्ता होता है, और यह एल्गोरिदम को असीम-आयामी स्पेस में काम करने की अनुमति देता है, जबकि केवल उपयोगकर्ता इनपुट से एक सीमित-आयामी मैट्रिक्स की आवश्यकता होती है, जैसा कि प्रतिनिधित्व प्रमेय द्वारा गारंटी दी जाती है।
"कर्नेल" शब्द उस समानता फ़ंक्शन को संदर्भित करता है जो किसी भी दो इनपुट की निकटता को मापता है। कर्नेल फ़ंक्शन विभिन्न डेटा प्रकारों के लिए विकसित किए गए हैं, जिनमें अनुक्रम, ग्राफ़, पाठ, चित्र और वेक्टर शामिल हैं। कर्नेल के साथ काम करने वाले एल्गोरिदम में कर्नेल परसेप्ट्रॉन, सपोर्ट-वेक्टर मशीन, गौसियन प्रक्रियाएं, प्रिंसिपल कंपोनेंट विश्लेषण (PCA), कैनोनिकल सहसंबंध विश्लेषण, रिज रिग्रेशन, स्पेक्ट्रल क्लस्टरिंग और रैखिक अनुकूली फ़िल्टर शामिल हैं। अधिकांश कर्नेल एल्गोरिदम उत्तल अनुकूलन या आइगेनसमस्याओं पर आधारित होते हैं और सांख्यिकीय रूप से अच्छी तरह से स्थापित होते हैं, उनके गुणों का विश्लेषण अक्सर सांख्यिकीय सीखने के सिद्धांत, जैसे कि रेडेमाकर जटिलता, का उपयोग करके किया जाता है।
प्रेरणा और अनौपचारिक व्याख्या
कर्नेल विधियों को उदाहरण-आधारित शिक्षार्थियों के रूप में देखा जा सकता है। इनपुट फीचर्स के अनुरूप मापदंडों का एक निश्चित सेट सीखने के बजाय, वे प्रशिक्षण उदाहरणों को "याद" रखते हैं और प्रत्येक के लिए एक भार सीखते हैं। एक अचिह्नित इनपुट के लिए, भविष्यवाणी में उस इनपुट और सभी प्रशिक्षण उदाहरणों के बीच समानता के भारित योग की गणना करना शामिल है, जो कर्नेल फ़ंक्शन का उपयोग करता है। एक बाइनरी क्लासिफायर के लिए, भविष्यवाणी किया गया लेबल इस योग का चिह्न है। इस दृष्टिकोण का वर्णन 1960 के दशक में कर्नेल परसेप्ट्रॉन के साथ किया गया था, लेकिन इसे 1990 के दशक में SVM के उदय के साथ प्रमुखता मिली, जो Artificial intelligence अनुसंधान और अनुप्रयोगों में एक मानक उपकरण बन गया।
कर्नेल ट्रिक और फीचर स्पेस
कर्नेल ट्रिक कर्नेल विधियों के पीछे का मुख्य विचार है। यह एल्गोरिदम को उच्च-आयामी, अंतर्निहित फीचर स्पेस में काम करने की अनुमति देता है, बिना उस स्पेस में डेटा के निर्देशांक की गणना किए। इसके बजाय, केवल डेटा जोड़े के चित्रों के बीच आंतरिक उत्पादों की गणना की जाती है। यह अक्सर स्पष्ट परिवर्तन से सस्ता होता है। उदाहरण के लिए, एक बहुपदीय कर्नेल डेटा को एक निश्चित डिग्री तक के सभी मोनोमियल्स के स्पेस में अंतर्निहित रूप से मैप कर सकता है, जिससे एक रैखिक क्लासिफायर डेटा को अलग करने में सक्षम होता है जो मूल इनपुट स्पेस में रैखिक रूप से अलग नहीं है। कर्नेल मशीनों में फीचर मैप असीम-आयामी हो सकता है, लेकिन प्रतिनिधित्व प्रमेय यह सुनिश्चित करता है कि समाधान को प्रशिक्षण डेटा पर कर्नेल मूल्यांकनों के एक सीमित संयोजन के रूप में व्यक्त किया जा सकता है।
सामान्य कर्नेल फ़ंक्शन
व्यवहार में कई कर्नेल फ़ंक्शन व्यापक रूप से उपयोग किए जाते हैं। रैखिक कर्नेल बस दो वैक्टरों का आंतरिक उत्पाद है। बहुपदीय कर्नेल, जिसका रूप (x·x' + c)^d है, फीचर्स के उत्पादों पर विचार करके nonlinearity पेश करता है। रेडियल बेसिस फ़ंक्शन (RBF) कर्नेल, जिसे गौसियन कर्नेल भी कहा जाता है, को exp(-γ||x - x'||^2) के रूप में परिभाषित किया गया है और यह एक लोकप्रिय डिफ़ॉल्ट विकल्प है क्योंकि यह पर्याप्त डेटा दिए जाने पर किसी भी सतत फ़ंक्शन का अनुमान लगा सकता है। अन्य कर्नेल में सिग्मॉइड कर्नेल और विशिष्ट डेटा संरचनाओं के लिए डिज़ाइन किए गए कस्टम कर्नेल शामिल हैं, जैसे कि पाठ के लिए स्ट्रिंग कर्नेल या संरचित डेटा के लिए ग्राफ़ कर्नेल। कर्नेल और उसके मापदंडों का चुनाव कर्नेल-आधारित एल्गोरिदम के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है।
अनुप्रयोग और सीमाएँ
कर्नेल विधियों को कई डोमेन में लागू किया गया है, जिनमें कंप्यूटर विज़न, बायोइनफॉर्मेटिक्स, प्राकृतिक भाषा प्रसंस्करण और सिग्नल प्रोसेसिंग शामिल हैं। उदाहरण के लिए, RBF कर्नेल वाले SVM Deep learning के उदय से पहले छवि वर्गीकरण के लिए एक प्रमुख दृष्टिकोण थे। हालाँकि, कर्नेल विधियों की उल्लेखनीय सीमाएँ हैं। वे समानांतर प्रसंस्करण के बिना कुछ हज़ार उदाहरणों से बड़े डेटासेट के लिए गणना करने में धीमे हैं, क्योंकि कर्नेल मैट्रिक्स नमूनों की संख्या के साथ द्विघात रूप से स्केल करता है। इसने अनुमानित विधियों के विकास और Neural network दृष्टिकोणों की ओर बदलाव का नेतृत्व किया है, जो बड़े पैमाने के डेटा को अधिक कुशलता से संभाल सकते हैं। फिर भी, कर्नेल विधियाँ अपनी सैद्धांतिक गारंटी और व्याख्यात्मकता के लिए मूल्यवान बनी हुई हैं, और विशेष अनुप्रयोगों में इनका उपयोग जारी है।
आधुनिक मशीन लर्निंग से संबंध
कर्नेल विधियाँ Deep learning और Transformer (architecture) आर्किटेक्चर के साथ अवधारणात्मक लिंक साझा करती हैं। उदाहरण के लिए, ट्रांसफार्मर में ध्यान तंत्र को कर्नेल स्मूथिंग के एक रूप के रूप में देखा जा सकता है, जहाँ क्वेरी और कुंजियों के बीच समानता स्कोर की गणना की जाती है। कुछ शोधकर्ताओं ने अनंत-चौड़ाई वाले तंत्रिका नेटवर्क और गौसियन प्रक्रियाओं के बीच संबंधों की खोज की है, जो एक कर्नेल विधि है। जबकि स्केलेबिलिटी और फीचर लर्निंग के कारण कई व्यावहारिक अनुप्रयोगों में डीप लर्निंग ने कर्नेल विधियों को काफी हद तक बदल दिया है, कर्नेल विधियाँ अभी भी सैद्धांतिक समझ को सूचित करती हैं और मजबूत आधार रेखाएँ प्रदान करती हैं। इनका उपयोग हाइब्रिड दृष्टिकोणों में भी किया जाता है, जैसे कि तंत्रिका नेटवर्क में कर्नेल-आधारित नियमितीकरण।
यह भी देखें
- सपोर्ट-वेक्टर मशीन (यदि सूची में उपलब्ध है, लेकिन प्रदान किए गए स्लग में नहीं है; संबंधित के रूप में Machine learning और Deep learning का उपयोग करें)
- कृत्रिम बुद्धिमत्ता
- मशीन लर्निंग
- डीप लर्निंग