बूस्टिंग

बूस्टिंग Machine learning में एक एन्सेम्बल सीखने की विधि है जो कम सटीक मॉडलों के एक समूह को जोड़ती है, जिन्हें कमजोर शिक्षार्थी कहा जाता है, ताकि एक अत्यधिक सटीक मॉडल तैयार किया जा सके, जिसे मजबूत शिक्षार्थी के रूप में जाना जाता है। बैगिंग जैसे समानांतर एन्सेम्बल तरीकों के विपरीत, बूस्टिंग एल्गोरिदम मॉडलों को क्रमिक रूप से बनाते हैं। अनुक्रम में प्रत्येक नया मॉडल अपने पूर्ववर्तियों द्वारा की गई त्रुटियों को सुधारने के लिए प्रशिक्षित किया जाता है। यह पुनरावृत्तीय प्रक्रिया समग्र सटीकता में सुधार करती है, विशेष रूप से पूर्वाग्रह को कम करके। बूस्टिंग पर्यवेक्षित सीखने में वर्गीकरण और प्रतिगमन दोनों कार्यों के लिए उपयोग की जाने वाली एक लोकप्रिय और प्रभावी तकनीक है।

बूस्टिंग के लिए सैद्धांतिक आधार 1988 और 1989 में किर्न्स और वैलिएंट द्वारा पूछे गए एक प्रश्न से आया: क्या कमजोर शिक्षार्थियों का एक समूह एक मजबूत शिक्षार्थी बना सकता है। एक कमजोर शिक्षार्थी को एक वर्गीकरणकर्ता के रूप में परिभाषित किया जाता है जो यादृच्छिक अनुमान से केवल थोड़ा बेहतर प्रदर्शन करता है, जबकि एक मजबूत शिक्षार्थी सही वर्गीकरण के साथ अत्यधिक सहसंबद्ध होता है। 1990 के एक पेपर में रॉबर्ट शैपायर के सकारात्मक उत्तर ने व्यावहारिक बूस्टिंग एल्गोरिदम के विकास को जन्म दिया। पहला ऐसा एल्गोरिदम शैपायर द्वारा विकसित किया गया था, और बाद में फ्रायंड और शैपायर ने एडाबूस्ट विकसित किया, जो बूस्टिंग का एक मौलिक उदाहरण बना हुआ है।

मुख्य तंत्र

हालांकि बूस्टिंग एल्गोरिदमिक रूप से प्रतिबंधित नहीं है, अधिकांश बूस्टिंग एल्गोरिदम में एक वितरण के संबंध में कमजोर वर्गीकरणकर्ताओं को पुनरावृत्त रूप से सीखना और उन्हें एक अंतिम मजबूत वर्गीकरणकर्ता में जोड़ना शामिल है। जब जोड़ा जाता है, तो उन्हें कमजोर शिक्षार्थियों की सटीकता से संबंधित तरीके से भारित किया जाता है। एक कमजोर शिक्षार्थी को जोड़ने के बाद, डेटा भार को पुनः समायोजित किया जाता है, एक प्रक्रिया जिसे पुनः-भारण के रूप में जाना जाता है। गलत वर्गीकृत इनपुट डेटा उच्च भार प्राप्त करता है, जबकि सही ढंग से वर्गीकृत उदाहरण भार खो देते हैं। इस प्रकार, भविष्य के कमजोर शिक्षार्थी उन उदाहरणों पर अधिक ध्यान केंद्रित करते हैं जिन्हें पिछले कमजोर शिक्षार्थियों ने गलत वर्गीकृत किया था।

कठिन उदाहरणों पर यह अनुक्रमिक ध्यान बूस्टिंग को अन्य एन्सेम्बल तरीकों से अलग करता है। पुनः-भारण तंत्र सुनिश्चित करता है कि अनुक्रम में प्रत्येक बाद का मॉडल संयुक्त एन्सेम्बल की अवशिष्ट त्रुटियों को संबोधित करता है। कई दौरों में, एन्सेम्बल धीरे-धीरे अपने प्रशिक्षण पूर्वाग्रह को कम करता है, अक्सर उच्च सटीकता प्राप्त करता है भले ही व्यक्तिगत कमजोर शिक्षार्थी यादृच्छिक अनुमान से केवल मामूली रूप से बेहतर हों।

ऐतिहासिक विकास

कई बूस्टिंग एल्गोरिदम हैं। मूल एल्गोरिदम, जो रॉबर्ट शैपायर (एक पुनरावर्ती बहुमत गेट सूत्रीकरण) और योआव फ्रायंड (बहुमत से बूस्ट) द्वारा प्रस्तावित थे, अनुकूली नहीं थे और कमजोर शिक्षार्थियों का पूरा लाभ नहीं उठा सकते थे। शैपायर और फ्रायंड ने तब एडाबूस्ट विकसित किया, एक अनुकूली बूस्टिंग एल्गोरिदम जिसने प्रतिष्ठित गोडेल पुरस्कार जीता। एडाबूस्ट पहला एल्गोरिदम था जो कमजोर शिक्षार्थियों के अनुकूल हो सकता था, जिससे यह ऐतिहासिक रूप से महत्वपूर्ण और अक्सर विश्वविद्यालय मशीन सीखने के पाठ्यक्रमों में बूस्टिंग के परिचयात्मक कवरेज का आधार बन गया।

केवल एल्गोरिदम जो संभवतः लगभग सही सीखने के सूत्रीकरण में सिद्ध बूस्टिंग एल्गोरिदम हैं, उन्हें सटीक रूप से बूस्टिंग एल्गोरिदम कहा जा सकता है। समान भावना वाले अन्य एल्गोरिदम को कभी-कभी लीवरेजिंग एल्गोरिदम कहा जाता है, हालांकि उन्हें कभी-कभी गलत तरीके से बूस्टिंग एल्गोरिदम भी कहा जाता है। कई बूस्टिंग एल्गोरिदम के बीच मुख्य भिन्नता प्रशिक्षण डेटा बिंदुओं और परिकल्पनाओं को भारित करने की उनकी विधि है।

प्रमुख एल्गोरिदम

एडाबूस्ट ऐतिहासिक रूप से सबसे महत्वपूर्ण बना हुआ है, लेकिन कई हालिया एल्गोरिदम विकसित किए गए हैं। इनमें LPBoost, TotalBoost, BrownBoost, xgboost, MadaBoost, LogitBoost, और CatBoost शामिल हैं, अन्य के अलावा। कई बूस्टिंग एल्गोरिदम AnyBoost ढांचे में फिट होते हैं, जो दिखाता है कि बूस्टिंग एक उत्तल लागत फ़ंक्शन का उपयोग करके एक फ़ंक्शन स्थान में ग्रेडिएंट अवरोहण करता है।

xgboost और CatBoost जैसे आधुनिक कार्यान्वयन उद्योग और प्रतिस्पर्धी मशीन सीखने में उनकी मापनीयता और प्रदर्शन के कारण व्यापक रूप से उपयोग किए जाते हैं। ये एल्गोरिदम नियमितीकरण, कुशल पेड़-आधारित कमजोर शिक्षार्थियों, और विरल डेटा और श्रेणीबद्ध सुविधाओं के लिए अनुकूलन शामिल करते हैं। इन्हें आमतौर पर वित्त से लेकर स्वास्थ्य सेवा तक के क्षेत्रों में लागू किया जाता है, अक्सर सारणीबद्ध डेटा पर अन्य तरीकों से बेहतर प्रदर्शन करते हैं।

कंप्यूटर विज़न में वस्तु वर्गीकरण

दुनिया में विभिन्न ज्ञात वस्तुओं वाली छवियों को देखते हुए, भविष्य की छवियों में वस्तुओं को स्वचालित रूप से वर्गीकृत करने के लिए उनसे एक वर्गीकरणकर्ता सीखा जा सकता है। वस्तु की कुछ छवि विशेषता पर आधारित सरल वर्गीकरणकर्ता वर्गीकरण प्रदर्शन में कमजोर होते हैं। वस्तु वर्गीकरण के लिए बूस्टिंग विधियों का उपयोग कमजोर वर्गीकरणकर्ताओं को एक विशेष तरीके से एकजुट करने का एक तरीका है ताकि वर्गीकरण की समग्र क्षमता को बढ़ाया जा सके।

वस्तु वर्गीकरण की समस्या

वस्तु वर्गीकरण Artificial intelligence और कंप्यूटर विज़न का एक विशिष्ट कार्य है जिसमें यह निर्धारित करना शामिल है कि क्या एक छवि में वस्तु की एक विशिष्ट श्रेणी है। यह विचार पहचान, पहचान और पता लगाने से निकटता से संबंधित है। उपस्थिति-आधारित वस्तु वर्गीकरण में आमतौर पर विशेषता निष्कर्षण, एक वर्गीकरणकर्ता सीखना, और नए उदाहरणों पर वर्गीकरणकर्ता लागू करना शामिल है। वस्तुओं की एक श्रेणी का प्रतिनिधित्व करने के कई तरीके हैं, आकार विश्लेषण, शब्दों के बैग मॉडल, या SIFT जैसे स्थानीय वर्णनकर्ताओं से। पर्यवेक्षित वर्गीकरणकर्ताओं के उदाहरण नाइव बेयस वर्गीकरणकर्ता, सपोर्ट वेक्टर मशीन, गॉसियन का मिश्रण, और तंत्रिका नेटवर्क हैं। हालांकि, शोध ने दिखाया है कि वस्तु श्रेणियां और छवियों में उनके स्थान भी अनुपयुक्त तरीके से खोजे जा सकते हैं।

वस्तु वर्गीकरण के लिए वर्तमान स्थिति

छवियों में वस्तु श्रेणियों की पहचान कंप्यूटर विज़न में एक चुनौतीपूर्ण समस्या है, खासकर जब श्रेणियों की संख्या बड़ी हो। यह उच्च अंतर-वर्ग परिवर्तनशीलता और एक ही श्रेणी के भीतर वस्तुओं की विविधताओं में सामान्यीकरण की आवश्यकता के कारण है। एक श्रेणी के भीतर वस्तुएं काफी अलग दिख सकती हैं। यहां तक कि एक ही वस्तु विभिन्न दृष्टिकोण, पैमाने और रोशनी के तहत अलग दिख सकती है। पृष्ठभूमि अव्यवस्था और आंशिक अवरोध भी पहचान में कठिनाइयां जोड़ते हैं। मनुष्य हजारों वस्तु प्रकारों को पहचानने में सक्षम हैं, जबकि अधिकांश मौजूदा वस्तु पहचान प्रणाली केवल कुछ को पहचानने के लिए प्रशिक्षित हैं, जैसे मानव चेहरे, कार, या सरल वस्तुएं। अधिक श्रेणियों से निपटने और नई श्रेणियों के वृद्धिशील जोड़ को सक्षम करने पर शोध बहुत सक्रिय रहा है। हालांकि सामान्य समस्या अनसुलझी बनी हुई है, कई बहु-श्रेणी वस्तु डिटेक्टर (सैकड़ों या हजारों श्रेणियों तक के लिए) विकसित किए गए हैं, आंशिक रूप से विशेषता साझाकरण और बूस्टिंग के माध्यम से।

द्विआधारी वर्गीकरण के लिए बूस्टिंग

एडाबूस्ट का उपयोग चेहरे की पहचान के लिए द्विआधारी वर्गीकरण के उदाहरण के रूप में किया जा सकता है। दो श्रेणियां चेहरे बनाम पृष्ठभूमि हैं। सामान्य एल्गोरिदम इस प्रकार है: सरल विशेषताओं का एक बड़ा सेट बनाएं; प्रशिक्षण छवियों के लिए भार आरंभ करें; T दौरों के लिए, भार को सामान्य करें, उपलब्ध सेट से एक एकल विशेषता का उपयोग करके एक वर्गीकरणकर्ता प्रशिक्षित करें, प्रशिक्षण त्रुटि का मूल्यांकन करें, सबसे कम त्रुटि वाले वर्गीकरणकर्ता का चयन करें, और प्रशिक्षण छवियों के भार को अद्यतन करें (गलत वर्गीकृत होने पर बढ़ाएं, सही होने पर घटाएं); अंत में, T वर्गीकरणकर्ताओं के रैखिक संयोजन के रूप में मजबूत वर्गीकरणकर्ता बनाएं, जिसमें छोटी प्रशिक्षण त्रुटि वाले वर्गीकरणकर्ताओं के लिए गुणांक बड़े हों। बूस्टिंग के बाद, 200 विशेषताओं से निर्मित एक वर्गीकरणकर्ता 10 से नकारात्मक 5 झूठी सकारात्मक दर के तहत 95 प्रतिशत पहचान दर दे सकता है।

द्विआधारी वर्गीकरण के लिए बूस्टिंग का एक और अनुप्रयोग एक प्रणाली है जो गति और उपस्थिति के पैटर्न का उपयोग करके पैदल चलने वालों का पता लगाती है। यह कार्य एक चलते व्यक्ति का पता लगाने के लिए गति जानकारी और उपस्थिति जानकारी दोनों को विशेषताओं के रूप में संयोजित करने वाला पहला था। यह वियोला-जोन्स वस्तु पहचान ढांचे के समान दृष्टिकोण लेता है।

बहु-श्रेणी वर्गीकरण के लिए बूस्टिंग

द्विआधारी वर्गीकरण की तुलना में, बहु-श्रेणी वर्गीकरण में एक छवि को कई संभावित वस्तु श्रेणियों में से एक को निर्दिष्ट करना शामिल है। बहु-श्रेणी समस्याओं के लिए बूस्टिंग विधियां आमतौर पर एक-बनाम-सभी या एक-बनाम-एक अपघटन जैसी रणनीतियों के माध्यम से द्विआधारी दृष्टिकोणों का विस्तार करती हैं, या कई वर्गों को संभालने के लिए बूस्टिंग एल्गोरिदम को सीधे संशोधित करती हैं। इन विधियों ने वस्तु पहचान प्रणालियों को सैकड़ों या हजारों श्रेणियों को पहचानने में सक्षम बनाया है, हालांकि बढ़ी हुई कम्प्यूटेशनल लागत और जटिलता के साथ।

अनुप्रयोग और प्रभाव

बूस्टिंग को कंप्यूटर विज़न से परे कई क्षेत्रों में लागू किया गया है। Deep learning संदर्भों में, बूस्टिंग विचारों ने एन्सेम्बल तकनीकों और ग्रेडिएंट-आधारित अनुकूलन को प्रभावित किया है। प्राकृतिक भाषा प्रसंस्करण में, बूस्टिंग का उपयोग पाठ वर्गीकरण और भावना विश्लेषण के लिए किया गया है। वित्त में, इसका उपयोग क्रेडिट स्कोरिंग और धोखाधड़ी का पता लगाने के लिए किया जाता है। बायोइन्फॉर्मेटिक्स में, बूस्टिंग जीन अभिव्यक्ति वर्गीकरण और प्रोटीन फ़ंक्शन भविष्यवाणी में मदद करता है। सरल मॉडलों को अत्यधिक सटीक भविष्यवक्ताओं में संयोजित करने की विधि की क्षमता ने इसे शैक्षणिक अनुसंधान और औद्योगिक अभ्यास दोनों का एक प्रमुख हिस्सा बना दिया है।

सैद्धांतिक महत्व

बूस्टिंग का सैद्धांतिक महत्व इसके प्रदर्शन में निहित है कि कमजोर सीखने की क्षमता मजबूत सीखने की क्षमता का तात्पर्य है। यह परिणाम, जो 1990 में शैपायर द्वारा सिद्ध किया गया था, ने किर्न्स और वैलिएंट द्वारा पूछे गए प्रश्न का उत्तर दिया और एन्सेम्बल विधियों की शक्ति को समझने के लिए एक आधार स्थापित किया। संभवतः लगभग सही सीखने का ढांचा बूस्टिंग एल्गोरिदम के लिए औपचारिक गारंटी प्रदान करता है, यह सुनिश्चित करता है कि पर्याप्त कमजोर शिक्षार्थियों के साथ, एन्सेम्बल प्रशिक्षण वितरण पर मनमाने ढंग से कम त्रुटि प्राप्त कर सकता है। यह सैद्धांतिक आधार बूस्टिंग को कई अनुमानी एन्सेम्बल विधियों से अलग करता है और उन स्थितियों में व्यापक शोध को प्रेरित किया है जिनके तहत बूस्टिंग सफल होती है।

सीमाएं और विचार

बूस्टिंग सीमाओं के बिना नहीं है। यह शोर डेटा और आउटलायर्स के प्रति संवेदनशील हो सकता है, क्योंकि पुनः-भारण तंत्र एन्सेम्बल को गलत लेबल वाले उदाहरणों पर अति-फिट कर सकता है। बूस्टिंग की अनुक्रमिक प्रकृति भी इसे बैगिंग की तुलना में समानांतरीकरण के लिए कम उपयुक्त बनाती है, हालांकि आधुनिक कार्यान्वयन ने प्रशिक्षण को तेज करने के लिए अनुमान पेश किए हैं। इसके अतिरिक्त, कमजोर शिक्षार्थी की पसंद और दौरों की संख्या प्रदर्शन को महत्वपूर्ण रूप से प्रभावित कर सकती है, जिसके लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है। इन चुनौतियों के बावजूद, बूस्टिंग पर्यवेक्षित सीखने में सबसे प्रभावी और व्यापक रूप से उपयोग की जाने वाली तकनीकों में से एक बनी हुई है।