कर्नेल विधियाँ मशीन लर्निंग में पैटर्न विश्लेषण के लिए एल्गोरिदम का एक वर्ग हैं, जिसका सबसे प्रसिद्ध सदस्य सपोर्ट-वेक्टर मशीन (SVMहै। ये विधियाँ उच्च-आयामी, अंतर्निहित फीचर स्पेस में कार्य करके अरैखिक समस्याओं को हल करने के लिए रैखिक क्लासिफायर का उपयोग करती हैं। उपयोगकर्ता-निर्दिष्ट फीचर मैप के माध्यम से डेटा को स्पष्ट रूप से फीचर वेक्टर में बदलने के बजाय, कर्नेल विधियों को केवल एक कर्नेल फंक्शन की आवश्यकता होती है, जो आंतरिक उत्पादों का उपयोग करके डेटा बिंदुओं के जोड़े के बीच समानता स्कोर की गणना करता है। यह दृष्टिकोण, जिसे "कर्नेल ट्रिक" कहा जाता है, फीचर मैप को अनंत-आयामी होने की अनुमति देता है जबकि उपयोगकर्ता इनपुट से केवल एक परिमित-आयामी मैट्रिक्स की आवश्यकता होती है, जैसा कि रिप्रेजेंटर प्रमेय द्वारा गारंटी है। कर्नेल विधियाँ समानांतर प्रोसेसिंग के बिना कुछ हज़ार उदाहरणों से बड़े डेटासेट के लिए कम्प्यूटेशनल रूप से धीमी हैं, लेकिन वे सांख्यिकीय रूप से अच्छी तरह से स्थापित हैं और टेक्स्ट, इमेज, ग्राफ, और अनुक्रम डेटा से जुड़े अनुप्रयोगों में व्यापक रूप से उपयोग की जाती हैं।
कर्नेल ट्रिक फीचर स्पेस में डेटा बिंदुओं की छवियों के बीच आंतरिक उत्पादों की गणना करके काम करता है बिना उनके निर्देशांक की कभी गणना किए। उदाहरण के लिए, एक कर्नेलाइज़्ड बाइनरी क्लासिफायर एक अलेबल इनपुट के लेबल की भविष्यवाणी करता है उस इनपुट और सभी प्रशिक्षण उदाहरणों के बीच समानताओं के भारित योग की गणना करके, एक कर्नेल फंक्शन k(x, x') का उपयोग करते हुए जो समानता को मापता है। यह ऑपरेशन अक्सर स्पष्ट निर्देशांक गणना से सस्ता होता है, जिससे कर्नेल विधियाँ कई कार्यों के लिए कुशल बन जाती हैं।
ऐतिहासिक विकास
कर्नेल क्लासिफायर का वर्णन 1960 के दशक की शुरुआत में कर्नेल परसेप्ट्रॉन के आविष्कार के साथ किया गया था। उन्होंने 1990 के दशक में सपोर्ट-वेक्टर मशीन के उदय के साथ प्रमुखता प्राप्त की, जो वर्गीकरण और प्रतिगमन के लिए एक मानक उपकरण बन गया। सैद्धांतिक नींव को सांख्यिकीय लर्निंग सिद्धांत द्वारा मजबूत किया गया, जिसने रेडेमाकर जटिलता जैसे मापों का उपयोग करके सामान्यीकरण गुणों का विश्लेषण किया। समय के साथ, कर्नेल विधियों का विस्तार गाऊसी प्रोसेसेस, कर्नेल प्रिंसिपल कंपोनेंट एनालिसिस(पीसीए, और कर्नेल रिज रिग्रेशन जैसे एल्गोरिदम को शामिल करने के लिए हुआ, और अनुक्रम, ग्राफ, और टेक्स्ट सहित विविध डेटा प्रकारों के लिए कर्नेल फंक्शन विकसित किए गए।
प्रमुख एल्गोरिदम और अनुप्रयोग
कर्नेल विधियाँ SVM से परे विभिन्न एल्गोरिदम को रेखांकित करती हैं। इनमें कर्नेल परसेप्ट्रॉन, गाऊसी प्रोसेसेस, कर्नेल पीसीए, कैनोनिकल कोरिलेशन एनालिसिस, कर्नेल रिज रिग्रेशन, स्पेक्ट्रल क्लस्टरिंग, और रैखिक अनुकूली फिल्टर शामिल हैं। इनमें से अधिकांश एल्गोरिदम उत्तल अनुकूलन या आइगेनसमस्याओं पर आधारित हैं, जो सुनिश्चित करता है कि उनके पास अच्छी तरह से परिभाषित समाधान हैं। व्यवहार में, कर्नेल विधियों का उपयोग इमेज वर्गीकरण, बायोइन्फॉर्मेटिक्स, और प्राकृतिक भाषा प्रोसेसिंग जैसे कार्यों के लिए किया जाता है, जहां डेटा में अरैखिक संबंध आम हैं। उदाहरण के लिए, रेडियल बेसिस फंक्शन कर्नेल वाले सपोर्ट-वेक्टर मशीन पैटर्न पहचान में व्यापक रूप से लागू होते हैं।
कर्नेल ट्रिक और फीचर स्पेसेस
कर्नेल ट्रिक कर्नेल विधियों के लिए केंद्रीय है। एक कर्नेल फंक्शन k(x, x') एक फीचर स्पेस में एक आंतरिक उत्पाद से मेल खाता है, जो अक्सर उच्च या अनंत आयाम का होता है। उदाहरण के लिए, बहुपद कर्नेल k(x, x') = (x · x' + c)^d अंतर्निहित रूप से डेटा को डिग्री d तक के सभी मोनोमियल्स के स्पेस में मैप करता है। गाऊसी रेडियल बेसिस फंक्शन कर्नेल, k(x, x') = exp(-||x - x'||^2 / (2σ^2)), एक अनंत-आयामी फीचर स्पेस से मेल खाता है। यह अंतर्निहित मैपिंग रैखिक एल्गोरिदम को फीचर वेक्टर को स्पष्ट रूप से निर्माण किए बिना अरैखिक पैटर्न को पकड़ने की अनुमति देती है, जो कम्प्यूटेशनल रूप से निषेधात्मक होगा।
लाभ और सीमाएँ
कर्नेल विधियाँ कई लाभ प्रदान करती हैं: वे सैद्धांतिक रूप से आधारित हैं, अक्सर उत्तल हैं, और उच्च-आयामी डेटा को प्रभावी ढंग से संभाल सकती हैं। वे इंस्टेंस-आधारित लर्नर हैं, जिसका अर्थ है कि वे प्रशिक्षण उदाहरणों को बनाए रखते हैं और भविष्यवाणी के लिए उनका उपयोग करते हैं, जो सहज हो सकता है। हालांकि, उनकी सीमाएँ हैं। कम्प्यूटेशनल लागत डेटासेट आकार के साथ खराब रूप से स्केल होती है; विशेष हार्डवेयर या सन्निकटन तकनीकों के बिना लाखों उदाहरणों पर SVM को प्रशिक्षित करना चुनौतीपूर्ण है। इसके अतिरिक्त, कर्नेल और उसके मापदंडों(जैसे, RBF कर्नेल में σ) की पसंद प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करती है, और ट्यूनिंग गैर-तुच्छ हो सकती है। 2020 के दशक की शुरुआत तक, गहन लर्निंग विधियों ने कई बड़े-पैमाने के कार्यों में कर्नेल विधियों को पीछे छोड़ दिया है, लेकिन कर्नेल विधियाँ छोटे डेटासेट और सैद्धांतिक अंतर्दृष्टि प्रदान करने के लिए मूल्यवान बनी हुई हैं।
आधुनिक मशीन लर्निंग से संबंध
कर्नेल विधियाँ न्यूरल नेटवर्क और गहन लर्निंग के साथ वैचारिक संबंध साझा करती हैं। उदाहरण के लिए, अनंत चौड़ाई वाला एक न्यूरल नेटवर्क एक गाऊसी प्रोसेस के रूप में देखा जा सकता है, जो एक कर्नेल विधि है। रिप्रेजेंटर प्रमेय, जो कर्नेल विधियों को रेखांकित करता है, न्यूरल नेटवर्क द्वारा सीखे गए फंक्शन स्पेसेस में समानताएँ रखता है। हालांकि, आधुनिक गहन लर्निंग, विशेष रूप से ट्रांसफॉर्मर और बड़े भाषा मॉडल के साथ, विशाल डेटासेट पर स्केलेबल, एंड-टू-एंड लर्निंग पर ध्यान केंद्रित कर चुका है। इसके बावजूद, कर्नेल विधियाँ एल्गोरिदम डिज़ाइन को प्रभावित करना जारी रखती हैं, जैसे कि अवशिष्ट नेटवर्क और अटेंशन मैकेनिज्म में, जहां समानता फंक्शन एक भूमिका निभाते हैं। MIT CSAIL और स्टैनफोर्ड AI लैब जैसे संस्थानों के शोधकर्ताओं ने कर्नेल विधियों और गहन लर्निंग के बीच संबंधों का पता लगाया है, जो दोनों की गहरी समझ में योगदान देता है।