ग्रेडिएंट बूस्टिंग एक मशीन लर्निंग तकनीक है जो कार्यात्मक स्थान में बूस्टिंग पर आधारित है, जहाँ लक्ष्य पारंपरिक बूस्टिंग में अवशेषों के बजाय छद्म-अवशेष होते हैं। यह कमजोर भविष्यवाणी मॉडलों - ऐसे मॉडल जो डेटा के बारे में बहुत कम धारणाएँ बनाते हैं, आमतौर पर सरल निर्णय वृक्ष - के समूह के रूप में एक भविष्यवाणी मॉडल उत्पन्न करता है। जब निर्णय वृक्ष कमजोर शिक्षार्थी होता है, तो परिणामी एल्गोरिदम को ग्रेडिएंट-बूस्टेड वृक्ष कहा जाता है, जो आमतौर पर रैंडम फॉरेस्ट से बेहतर प्रदर्शन करता है। अन्य बूस्टिंग विधियों की तरह, एक ग्रेडिएंट-बूस्टेड वृक्ष मॉडल चरणों में बनाया जाता है, लेकिन यह किसी भी अवकलनीय हानि फलन के अनुकूलन की अनुमति देकर अन्य विधियों को सामान्यीकृत करता है।
मुख्य विचार कई कमजोर शिक्षार्थियों को क्रमिक रूप से संयोजित करना है, जहाँ प्रत्येक नया शिक्षार्थी मौजूदा समूह की त्रुटियों को सुधारता है। यह प्रत्येक नए मॉडल को वर्तमान भविष्यवाणियों के संबंध में हानि फलन के नकारात्मक ग्रेडिएंट में फिट करके प्राप्त किया जाता है, एक अवधारणा जिसे कार्यात्मक ग्रेडिएंट अवतरण के रूप में जाना जाता है। यह दृष्टिकोण पहले के बूस्टिंग एल्गोरिदम को एकीकृत और विस्तारित करता है, जिससे ग्रेडिएंट बूस्टिंग प्रतिगमन और वर्गीकरण दोनों कार्यों के लिए एक बहुमुखी और शक्तिशाली उपकरण बन जाता है।
ऐतिहासिक विकास
ग्रेडिएंट बूस्टिंग की उत्पत्ति लियो ब्रेमैन की एक टिप्पणी से जुड़ी है कि बूस्टिंग को एक उपयुक्त लागत फलन पर एक अनुकूलन एल्गोरिदम के रूप में व्याख्या किया जा सकता है। स्पष्ट प्रतिगमन ग्रेडिएंट बूस्टिंग एल्गोरिदम बाद में जेरोम एच. फ्रीडमैन द्वारा 1999 में विकसित किए गए और 2001 में और परिष्कृत किए गए, साथ ही ल्यू मेसन, जोनाथन बैक्सटर, पीटर बार्टलेट और मार्कस फ्रीन द्वारा प्रस्तुत अधिक सामान्य कार्यात्मक ग्रेडिएंट बूस्टिंग परिप्रेक्ष्य के साथ। बाद के पेपरों ने बूस्टिंग एल्गोरिदम को पुनरावृत्त कार्यात्मक ग्रेडिएंट अवतरण प्रक्रियाओं के रूप में तैयार किया - एल्गोरिदम जो फ़ंक्शन स्थान पर लागत फलन को अनुकूलित करते हैं, पुनरावृत्त रूप से एक फ़ंक्शन (कमजोर परिकल्पना) चुनकर जो नकारात्मक ग्रेडिएंट दिशा में इंगित करता है। इस कार्यात्मक ग्रेडिएंट दृष्टिकोण ने प्रतिगमन और वर्गीकरण से परे मशीन लर्निंग और सांख्यिकी के कई क्षेत्रों में बूस्टिंग एल्गोरिदम के विकास को जन्म दिया है।
एल्गोरिदम अवलोकन
न्यूनतम-वर्ग प्रतिगमन सेटिंग में, लक्ष्य एक मॉडल \( F \) को सिखाना है ताकि माध्य वर्ग त्रुटि \( \frac{1}{n} \sum_{i} (\hat{y}_i - y_i)^2 \) को कम करके मान \( \hat{y} = F(x) \) की भविष्यवाणी की जा सके, जहाँ \( i \) आकार \( n \) के प्रशिक्षण सेट पर अनुक्रमित करता है, \( \hat{y}_i \) भविष्यवाणी मान \( F(x_i) \) है, और \( y_i \) देखा गया मान है। यदि एल्गोरिदम में \( M \) चरण हैं, प्रत्येक चरण \( m \) पर (जहाँ \( 1 \leq m \leq M \)), मान लीजिए कुछ अपूर्ण मॉडल \( F_m \) मौजूद है (कम \( m \) के लिए, यह मॉडल केवल \( y \) का माध्य भविष्यवाणी कर सकता है)। \( F_m \) को सुधारने के लिए, एल्गोरिदम एक नया अनुमानक \( h_m(x) \) जोड़ता है, ताकि \( F_{m+1}(x_i) = F_m(x_i) + h_m(x_i) = y_i \), या समकक्ष रूप से, \( h_m(x_i) = y_i - F_m(x_i) \)। ग्रेडिएंट बूस्टिंग \( h_m \) को अवशेष \( y_i - F_m(x_i) \) में फिट करता है।
सामान्य हानि फलनों के लिए, अवशेष को भविष्यवाणी के संबंध में हानि के नकारात्मक ग्रेडिएंट द्वारा प्रतिस्थापित किया जाता है, जिसे छद्म-अवशेष के रूप में जाना जाता है। प्रत्येक चरण में, एक कमजोर शिक्षार्थी (अक्सर एक निर्णय वृक्ष) को इन छद्म-अवशेषों की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, और मॉडल को सीखने की दर से गुणा किए गए शिक्षार्थी को जोड़कर अद्यतन किया जाता है। यह पुनरावृत्त प्रक्रिया निर्दिष्ट चरणों की संख्या या अभिसरण तक जारी रहती है।
ग्रेडिएंट-बूस्टेड वृक्ष
जब कमजोर शिक्षार्थी एक निर्णय वृक्ष होता है, तो एल्गोरिदम को ग्रेडिएंट-बूस्टेड वृक्ष कहा जाता है। निर्णय वृक्ष विशेष रूप से उपयुक्त हैं क्योंकि वे व्यापक प्रीप्रोसेसिंग की आवश्यकता के बिना विशेषताओं के बीच गैर-रेखीय संबंधों और अंतःक्रियाओं को संभाल सकते हैं। व्यवहार में, ग्रेडिएंट-बूस्टेड वृक्ष अक्सर रैंडम फॉरेस्ट से बेहतर प्रदर्शन करते हैं, जो कई स्वतंत्र वृक्षों का औसत लेते हैं, क्योंकि बूस्टिंग क्रमिक रूप से पूर्वाग्रह को कम करता है जबकि रैंडम फॉरेस्ट मुख्य रूप से विचरण को कम करते हैं। प्रमुख हाइपरपैरामीटर में वृक्षों की संख्या (चरण), प्रत्येक वृक्ष की अधिकतम गहराई, सीखने की दर (संकुचन), और स्टोकेस्टिक ग्रेडिएंट बूस्टिंग के लिए उप-नमूनाकरण अनुपात शामिल हैं।
हानि फलन और लचीलापन
ग्रेडिएंट बूस्टिंग का एक प्रमुख लाभ किसी भी अवकलनीय हानि फलन को अनुकूलित करने की क्षमता है। प्रतिगमन के लिए, सामान्य हानियों में वर्ग त्रुटि, पूर्ण त्रुटि और ह्यूबर हानि शामिल हैं। वर्गीकरण के लिए, लॉजिस्टिक हानि (द्विपद विचलन) विशिष्ट है, लेकिन अन्य हानियाँ जैसे घातीय हानि या कस्टम रैंकिंग हानियाँ भी उपयोग की जा सकती हैं। यह लचीलापन ग्रेडिएंट बूस्टिंग को विविध कार्यों पर लागू करने की अनुमति देता है, जिसमें उत्तरजीविता विश्लेषण, क्वांटाइल प्रतिगमन और रैंकिंग समस्याएँ शामिल हैं। कार्यात्मक ग्रेडिएंट परिप्रेक्ष्य का अर्थ है कि चिकित्सक अपनी विशिष्ट समस्या के अनुरूप एक हानि परिभाषित कर सकते हैं, और बूस्टिंग एल्गोरिदम तदनुसार मॉडल फिट करेगा।
अनुप्रयोग और प्रभाव
ग्रेडिएंट बूस्टिंग अनुप्रयुक्त मशीन लर्निंग में एक प्रमुख तकनीक बन गई है, विशेष रूप से सारणीबद्ध डेटा के लिए। यह प्रतियोगिताओं में व्यापक रूप से उपयोग किया गया है (जैसे कि कागल जैसे प्लेटफार्मों पर), जहाँ XGBoost, LightGBM और CatBoost जैसे कार्यान्वयनों ने अत्याधुनिक परिणाम प्राप्त किए हैं। अनुप्रयोग क्रेडिट स्कोरिंग, धोखाधड़ी का पता लगाना, ग्राहक मंथन भविष्यवाणी, चिकित्सा निदान और कई अन्य डोमेन में फैले हुए हैं। इसकी सफलता उच्च भविष्यवाणी सटीकता, उचित नियमितीकरण के साथ अति-फिटिंग के प्रति मजबूती और मिश्रित डेटा प्रकारों को संभालने की क्षमता से उपजी है। हाल के वर्षों में, ग्रेडिएंट बूस्टिंग को व्यापक Machine learning पाइपलाइनों में भी एकीकृत किया गया है और Deep learning विधियों के साथ तुलना की गई है, हालाँकि यह संरचित डेटा के लिए एक पसंदीदा विकल्प बना हुआ है।
विविधताएँ और विस्तार
दक्षता और प्रदर्शन में सुधार के लिए कई विविधताएँ विकसित की गई हैं। स्टोकेस्टिक ग्रेडिएंट बूस्टिंग प्रत्येक पुनरावृत्ति पर प्रशिक्षण डेटा का उप-नमूनाकरण करके यादृच्छिकता का परिचय देता है, जो अति-फिटिंग को कम कर सकता है और गणना को तेज कर सकता है। हिस्टोग्राम-आधारित विधियाँ, जैसा कि LightGBM में उपयोग की जाती हैं, प्रशिक्षण को तेज करने के लिए निरंतर विशेषताओं को बिन करती हैं। नियमित ग्रेडिएंट बूस्टिंग, जैसा कि XGBoost में है, हानि फलन में L1 और L2 दंड जोड़ता है। अन्य विस्तारों में मोनोटोनिक बाधाएँ, अंतःक्रिया का पता लगाना और लापता मानों को मूल रूप से संभालने की क्षमता शामिल हैं। इन नवाचारों ने ग्रेडिएंट बूस्टिंग को बड़े डेटासेट के लिए स्केलेबल और उत्पादन वातावरण में व्यावहारिक बना दिया है।
अन्य विधियों से संबंध
ग्रेडिएंट बूस्टिंग व्यापक बूस्टिंग परिवार का हिस्सा है, जिसमें AdaBoost और अन्य समूह विधियाँ शामिल हैं। AdaBoost के विपरीत, जो नमूना भार समायोजित करता है, ग्रेडिएंट बूस्टिंग वर्तमान समूह के अवशेषों में नए मॉडल फिट करता है। कार्यात्मक ग्रेडिएंट अवतरण से यह संबंध इसे अनुकूलन सिद्धांत से जोड़ता है और Artificial intelligence और सांख्यिकी में अनुसंधान को प्रेरित किया है। जबकि Neural network और Transformer (architecture) मॉडल छवियों और पाठ जैसे असंरचित डेटा पर हावी हैं, ग्रेडिएंट बूस्टिंग संरचित डेटा के लिए प्रतिस्पर्धी बना हुआ है, अक्सर ऐसी सेटिंग्स में गहरे मॉडल से बेहतर प्रदर्शन करता है। इसकी व्याख्यात्मकता को विशेषता महत्व माप और आंशिक निर्भरता प्लॉट के साथ बढ़ाया जा सकता है, जिससे यह भविष्यवाणी और समझ दोनों के लिए एक मूल्यवान उपकरण बन जाता है।
सीमाएँ और विचार
इसकी ताकत के बावजूद, ग्रेडिएंट बूस्टिंग की सीमाएँ हैं। प्रशिक्षण कम्प्यूटेशनल रूप से गहन हो सकता है, विशेष रूप से कई वृक्षों और बड़े डेटासेट के साथ, हालाँकि आधुनिक कार्यान्वयन इसे कम करते हैं। यह शोर डेटा के प्रति संवेदनशील भी है और अति-फिट हो सकता है यदि चरणों की संख्या बहुत अधिक है या वृक्ष बहुत गहरे हैं। हाइपरपैरामीटर और नियमितीकरण का उचित ट्यूनिंग आवश्यक है। इसके अतिरिक्त, ग्रेडिएंट बूस्टिंग मॉडल एकल निर्णय वृक्षों की तुलना में कम व्याख्यात्मक हैं, हालाँकि SHAP मान जैसी तकनीकें अंतर्दृष्टि प्रदान कर सकती हैं। 2020 के दशक की शुरुआत तक, स्केलेबिलिटी, मजबूती और अन्य सीखने के प्रतिमानों के साथ एकीकरण में सुधार पर अनुसंधान जारी है।
निष्कर्ष
ग्रेडिएंट बूस्टिंग समूह सीखने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो कार्यात्मक ग्रेडिएंट अवतरण के माध्यम से मनमाने हानि फलनों को अनुकूलित करने के लिए एक सैद्धांतिक ढांचा प्रदान करता है। इसका विकास, ब्रेमैन, फ्रीडमैन, मेसन और अन्य के काम में निहित है, जिसने शक्तिशाली एल्गोरिदम का नेतृत्व किया है जो उद्योग और अनुसंधान में व्यापक रूप से तैनात हैं। कमजोर शिक्षार्थियों को एक मजबूत मॉडल में संयोजित करके, ग्रेडिएंट बूस्टिंग उच्च सटीकता और लचीलापन प्राप्त करता है, जो आधुनिक मशीन लर्निंग के आधारशिला के रूप में अपनी जगह स्थापित करता है।