रैंडम फॉरेस्ट

रैंडम फॉरेस्ट एक एन्सेम्बल लर्निंग विधि है जिसका उपयोग वर्गीकरण, प्रतिगमन और अन्य कार्यों के लिए किया जाता है। यह प्रशिक्षण के दौरान बड़ी संख्या में निर्णय वृक्षों का निर्माण करता है और उनके आउटपुट को जोड़ता है: वर्गीकरण के लिए, यह उस वर्ग को लौटाता है जिसे अधिकांश वृक्ष चुनते हैं; प्रतिगमन के लिए, यह व्यक्तिगत वृक्षों की भविष्यवाणियों का औसत निकालता है। यह विधि गहरे निर्णय वृक्षों की अपने प्रशिक्षण सेट को अति-अनुकूलित करने की प्रवृत्ति को सुधारती है, विचरण को कम करते हुए पूर्वाग्रह को कम रखती है।

पहला रैंडम फॉरेस्ट एल्गोरिदम 1995 में टिन काम हो द्वारा विकसित किया गया था, जो रैंडम सबस्पेस विधि पर आधारित था, जो यूजीन क्लेनबर्ग द्वारा प्रस्तावित स्टोकेस्टिक विभेदन दृष्टिकोण को लागू करता है। लियो ब्रेमैन और एडेल कटलर ने बाद में बैगिंग को रैंडम फीचर चयन के साथ जोड़कर इस दृष्टिकोण का विस्तार किया, और उन्होंने 2006 में "रैंडम फॉरेस्ट्स" को एक ट्रेडमार्क के रूप में पंजीकृत किया; 2019 तक यह ट्रेडमार्क मिनिटैब, इंक. के स्वामित्व में है।

पृष्ठभूमि: निर्णय वृक्ष और उनकी सीमाएँ

निर्णय वृक्ष मशीन लर्निंग में व्यापक रूप से उपयोग की जाने वाली विधि हैं। वे द्विआधारी विभाजनों की एक श्रृंखला के माध्यम से फीचर स्थान को विभाजित करते हैं, जिससे वे स्केलेबल और व्याख्या करने में आसान होते हैं। हालाँकि, गहरे वृक्ष अत्यधिक अनियमित पैटर्न सीखते हैं, जिससे कम पूर्वाग्रह लेकिन बहुत उच्च विचरण होता है। व्यवहार में, किसी विशेष डेटासेट पर प्रशिक्षित वृक्ष नाटकीय रूप से बदल सकते हैं यदि कुछ प्रशिक्षण बिंदु बदल दिए जाएँ, और उनकी भविष्यवाणियाँ अक्सर केवल प्रशिक्षण डेटा के लिए सटीक होती हैं। वे अदृश्य डेटा पर शायद ही सटीक होते हैं, जैसा कि ट्रेवर हेस्टी और सहकर्मियों ने नोट किया है। रैंडम फॉरेस्ट इसे कई गहरे वृक्षों का औसत निकालकर संबोधित करते हैं, जिनमें से प्रत्येक डेटा के विभिन्न उपसमुच्चय पर प्रशिक्षित होता है, जिससे विचरण में काफी कमी आती है।

वृक्ष विधियों के साथ कठिनाई यह है कि एक ही डेटा पर बहुत अधिक वृक्ष उगाने से सहसंबद्ध भविष्यवाणियाँ उत्पन्न होती हैं। वृक्षों को असंबद्ध करने के लिए, रैंडम फॉरेस्ट बूटस्ट्रैपिंग और रैंडम फीचर चयन का उपयोग करते हैं, जो व्यक्तिगत वृक्षों को विविध लेकिन मजबूत बनाते हैं।

इतिहास और विकास

रैंडम निर्णय वनों का सामान्य विचार 1993 के साल्ज़बर्ग और हीथ के काम में दिखाई देता है, जिन्होंने कई वृक्ष उत्पन्न करने और उन्हें बहुमत मतदान द्वारा संयोजित करने के लिए एक यादृच्छिक निर्णय वृक्ष एल्गोरिदम का उपयोग करने का प्रस्ताव रखा। 1995 में, टिन काम हो ने इस विचार का विस्तार किया, यह दिखाते हुए कि तिरछे हाइपरप्लेन पर विभाजित होने वाले वृक्षों के वन बढ़ने के साथ सटीकता प्राप्त कर सकते हैं बिना अति-प्रशिक्षण से ग्रस्त हुए, बशर्ते कि वन यादृच्छिक रूप से केवल फीचर आयामों के एक उपसमुच्चय तक सीमित हों। हो की विधि, जिसे रैंडम सबस्पेस विधि कहा जाता है, प्रशिक्षण डेटा को यादृच्छिक रूप से चयनित फीचर उप-स्थानों में प्रक्षेपित करके वृक्षों का निर्माण करती थी। यह दृष्टिकोण रैंडम फॉरेस्ट के विकास में एक महत्वपूर्ण कदम था।

बाद में अमित और गेमन के काम ने स्वतंत्र रूप से प्रत्येक विभाजन पर उपलब्ध निर्णयों के यादृच्छिक उपसमुच्चय की खोज का विचार पेश किया, हालाँकि उन्होंने इसे एकल वृक्ष पर लागू किया। स्वतंत्र रूप से, थॉमस डाइटेरिच ने यादृच्छिक नोड अनुकूलन का विचार पेश किया, जिसमें प्रत्येक नोड पर चुनी गई विशेषता एक नियतात्मक इष्टतमता मानदंड के बजाय एक यादृच्छिक प्रक्रिया द्वारा चुनी जाती है। ये विचार, लियो ब्रेमैन के बैगिंग पर पहले के काम के साथ मिलकर, रैंडम फॉरेस्ट के आधुनिक सूत्रीकरण की ओर ले गए। ब्रेमैन का प्रभावशाली 2001 का पेपर, जो मशीन लर्निंग में सबसे अधिक उद्धृत में से एक है, ने इन लक्ष्यों को संयोजित किया और वन में वृक्षों की ताकत और सहसंबंध के आधार पर सामान्यीकरण त्रुटि पर एक सैद्धांतिक सीमा प्रदान की।

ब्रेमैन के पेपर ने व्यावहारिक उपकरण भी स्थापित किए: अलग सत्यापन सेट के बिना सामान्यीकरण त्रुटि का अनुमान लगाने के लिए आउट-ऑफ-बैग त्रुटि, और क्रमचय-आधारित चर महत्व, जो मापता है कि किसी फीचर के मानों को यादृच्छिक रूप से फेरबदल करने पर प्रदर्शन कैसे घटता है। ये आज भी रैंडम फॉरेस्ट के मूल पहलू बने हुए हैं।

बैगिंग और एन्सेम्बल लर्निंग

रैंडम फॉरेस्ट प्रशिक्षण में आधार तकनीक बूटस्ट्रैप एग्रीगेटिंग, या बैगिंग है। फीचर X और प्रतिक्रियाओं Y वाले प्रशिक्षण सेट को देखते हुए, एल्गोरिदम प्रशिक्षण डेटा से प्रतिस्थापन के साथ B बार नमूना लेता है, हर बार समान आकार का एक नया डेटासेट बनाता है। एक निर्णय वृक्ष, आमतौर पर गहरा और बिना छंटाई के उगाया जाता है, प्रत्येक बूटस्ट्रैप नमूने पर फिट किया जाता है। प्रशिक्षण के बाद, एक नए बिंदु के लिए भविष्यवाणियाँ प्रतिगमन के लिए औसत निकालकर या वर्गीकरण के लिए बहुमत मत लेकर की जाती हैं। यह मेटा-एल्गोरिदम पूर्वाग्रह बढ़ाए बिना व्यापक विचरण को कम करता है क्योंकि कई असंबद्ध वृक्षों का औसत किसी एकल वृक्ष की तुलना में अधिक स्थिर होता है।

बूटस्ट्रैप नमूनाकरण वृक्षों को अलग-अलग प्रशिक्षण सेट दिखाकर उन्हें असंबद्ध करता है। यदि सभी वृक्ष एक ही मूल डेटा पर प्रशिक्षित होते, तो वे अत्यधिक समान होते और समान त्रुटियों से ग्रस्त होते। बूटस्ट्रैप का उपयोग करके, प्रत्येक वृक्ष यादृच्छिक भिन्नताओं को पकड़ता है। B बढ़ने पर मॉडल विचरण में कमी प्राप्त करता है, लेकिन कुछ सौ वृक्षों के बाद, सीमांत सुधार कम हो जाता है। व्यवहार में, B अक्सर 500 या 1000 वृक्षों पर सेट किया जाता है, हालाँकि आधुनिक कार्यान्वयन स्वचालित रूप से रुक जाते हैं जब आउट-ऑफ-बैग त्रुटि स्थिर हो जाती है।

रैंडम फॉरेस्ट का एक महत्वपूर्ण पहलू यह है कि प्रत्येक वृक्ष आमतौर पर प्रतिस्थापन के साथ नमूनाकरण के कारण डेटा के एक अलग सेट पर प्रशिक्षित होता है: लगभग दो-तिहाई अवलोकन प्रत्येक बूटस्ट्रैप नमूने में कम से कम एक बार दिखाई देते हैं, जबकि शेष एक-तिहाई आउट-ऑफ-बैग होते हैं। आउट-ऑफ-बैग भविष्यवाणियों का उपयोग सामान्यीकरण त्रुटि का अनुमान लगाने के लिए किया जा सकता है, बिना समर्पित सत्यापन सेट की आवश्यकता के, लेकिन प्रत्येक अवलोकन के लिए उन वृक्षों का उपयोग करके समग्र भविष्यवाणी के आधार पर जिनके लिए वह अवलोकन प्रशिक्षण डेटा में शामिल नहीं था।

रैंडम फीचर चयन

रैंडम फॉरेस्ट में प्रमुख नवाचार प्रत्येक नोड विभाजन पर फीचर का यादृच्छिक चयन है। पारंपरिक निर्णय वृक्ष हर नोड पर सभी फीचरों के बीच विभाजन चुनकर अनुकूलित होते हैं जो अशुद्धता को सबसे अच्छा कम करता है, उदाहरण के लिए, वर्गीकरण के लिए गिनी अशुद्धता या प्रतिगमन में वर्ग त्रुटि। हालाँकि, रैंडम फॉरेस्ट में, प्रत्येक विभाजन केवल फीचरों के एक यादृच्छिक रूप से चुने गए उपसमुच्चय पर विचार करता है, जो अक्सर कुल फीचरों की संख्या के वर्गमूल के आकार का होता है। यह वृक्षों को अलग-अलग संरचित होने के लिए मजबूर करता है और उनके बीच सहसंबंध को कम करता है। कभी-कभी वैकल्पिक विभाजन चुने जाते हैं क्योंकि कुछ वैश्विक फीचर अन्य सभी पर हावी हो सकते हैं, जिससे कई लगभग समान वृक्ष बनते हैं। उम्मीदवार फीचरों को यादृच्छिक रूप से प्रतिबंधित करके, वन उन क्रमपरिवर्तनों का पता लगा सकता है जो अन्यथा संभव नहीं होते, जिससे अधिक मजबूत भविष्यवाणी प्राप्त होती है।

यह रैंडम सबस्पेस दृष्टिकोण हो द्वारा पेश किया गया था और बाद में अमित और गेमन के नोड यादृच्छिकीकरण के साथ जोड़ा गया। ब्रेमैन के अंतिम सूत्रीकरण ने प्रत्येक नोड पर यादृच्छिक उपसमुच्चय चयन का उपयोग किया, लेकिन कुछ प्रकार प्रत्येक वृक्ष को फिट करने से पहले केवल यादृच्छिक चयन का उपयोग करते हैं। आधुनिक कार्यान्वयन भिन्न होते हैं; कई पुस्तकालय 'रैंडम सबस्पेस' या 'रैंडम स्प्लिट' रणनीति का समर्थन करते हैं। आमतौर पर फीचर आयाम d का उपयोग किया जाता है, जिसमें वर्गीकरण के लिए sqrt(d) या प्रतिगमन के लिए d/3 आकार का उपसमुच्चय होता है।

मॉडल व्यवहार और अति-अनुकूलन प्रतिरोध

रैंडम फॉरेस्ट अति-अनुकूलन के प्रति अपने प्रतिरोध के लिए जाने जाते हैं। प्रत्येक वृक्ष गहरा होता है और अति-अनुकूलित हो सकता है, लेकिन एन्सेम्बल विचरण को कम करता है। जब तक फीचर यादृच्छिकीकरण उन्हें प्रतिबंधित करता है, अधिक वृक्ष जोड़ने पर गहरे वन बेहतर प्रदर्शन करते हैं। यह ब्रेमैन के पेपर में सैद्धांतिक परिणामों द्वारा समर्थित है, जो सामान्यीकरण त्रुटि पर एक सीमा दिखाता है जो बेहतर वृक्ष ताकत और कम सहसंबंध के साथ संकीर्ण होती है। हालाँकि, यदि वृक्षों की संख्या बहुत अधिक है, तो मॉडल अति-अनुकूलित नहीं होता है; B बढ़ने पर त्रुटि निकट आती है, लेकिन यह लेबल में शोर के प्रति संवेदनशील हो सकती है। यदि फीचर यादृच्छिक रूप से नहीं चुने जाते हैं, तो वृक्ष सहसंबद्ध हो सकते हैं और लाभ को ऑफसेट कर सकते हैं। रैंडम फीचर चयन के साथ, वन वर्गीकरणकर्ता की जटिलता बढ़ने पर भी सटीकता बनाए रखता है। यह एकल वृक्ष की गहराई बढ़ाने के विपरीत है, जो अति-अनुकूलन की ओर ले जाता है।

वर्गीकरण के लिए, वन का आउटपुट सबसे अधिक मतों वाला वर्ग होता है। प्रतिगमन के लिए, भविष्यवाणी व्यक्तिगत वृक्षों का औसत होती है, और वृक्ष भविष्यवाणियों का मानक विचलन अनिश्चितता का एक स्वाभाविक अनुमान है।

व्यावहारिक उपयोग और विस्तार

रैंडम फॉरेस्ट कई डोमेन में लागू होते हैं, जिनमें रिमोट सेंसिंग, बायोइन्फॉर्मेटिक्स, वित्त और कंप्यूटर विज़न शामिल हैं। वे अप्रासंगिक फीचरों के प्रति मजबूत होते हैं, गैर-रैखिकताओं को संभाल सकते हैं, और समझने योग्यता उत्पन्न करते हैं, लेकिन एकल वृक्ष की तुलना में कम व्याख्या योग्य होते हैं। चर महत्व मेट्रिक्स शोधकर्ताओं को यह पहचानने की अनुमति देते हैं कि कौन से फीचर प्रासंगिक हैं। रैंडम फॉरेस्ट का उपयोग कृत्रिम बुद्धिमत्ता में भी किया जाता है, और यह कई आधुनिक मशीन लर्निंग कार्यों के लिए एक आधार रेखा के रूप में पारंपरिक संचालन में एक मौलिक एल्गोरिदम है, साथ ही गहन शिक्षण और तंत्रिका नेटवर्क भी।

विस्तार में अतिरिक्त वृक्ष शामिल हैं - और भी अधिक यादृच्छिक विभाजन सीमाएँ - और विसंगति का पता लगाने, रैंकिंग और लापता मान प्रक्षेपण के लिए रैंडम फॉरेस्ट का उपयोग। वे मशीन लर्निंग पाइपलाइनों में बैगिंग और एन्सेम्बल लर्निंग के निर्माण खंड के रूप में भी उपयोग किए जाते हैं।

अन्य मॉडलों के साथ तुलना

रैंडम फॉरेस्ट गहन शिक्षण-आधारित मॉडल जैसे तंत्रिका नेटवर्क से भिन्न होते हैं क्योंकि वे व्याख्या योग्य होते हैं, कम डेटा की आवश्यकता होती है, और सरल होते हैं। उन्हें CPU पर प्रशिक्षित किया जा सकता है जबकि गहरे तंत्रिका नेटवर्क को अक्सर त्वरक की आवश्यकता होती है। लेकिन वे उच्च-आयामी डेटा के साथ संघर्ष कर सकते हैं, लेकिन पूर्वाग्रह और त्रुटि के बीच संतुलन बना सकते हैं। वे छवियों और पाठ जैसे असंरचित डेटा के लिए कम प्रभावी होते हैं, जहाँ गहन शिक्षण उत्कृष्ट होता है। यह व्यापार-बंद उल्लेखनीय है: रैंडम फॉरेस्ट एक मजबूत बेंचमार्क बने हुए हैं, फिर भी पदानुक्रमित प्रतिनिधित्व सीखने की कमी है।

आधुनिक कृत्रिम बुद्धिमत्ता अनुसंधान के अग्रभाग पर, बड़े भाषा मॉडल और ट्रांसफॉर्मर-आधारित आर्किटेक्चर जैसी विधियाँ भाषा कार्यों में हावी हैं, लेकिन रैंडम फॉरेस्ट और अन्य वृक्ष एन्सेम्बल सारणीबद्ध डेटा और व्याख्या योग्य AI जैसे क्षेत्रों में अभी भी आम हैं।

यह भी देखें

• मशीन लर्निंग
• कृत्रिम बुद्धिमत्ता
• निर्णय वृक्ष सिस्टम के भीतर उपलब्ध लिंक में नहीं है।

संदर्भ

मूल स्रोत लेख के भीतर उद्धृत हैं, लेकिन कोई बाहरी URL प्रासंगिक नहीं हैं।