को-ट्रेनिंग एक अर्ध-पर्यवेक्षित शिक्षण एल्गोरिदम है जिसे 1998 में एवरिम ब्लम और टॉम मिशेल द्वारा प्रस्तुत किया गया था। यह सीमित लेबल किए गए डेटा की चुनौती का समाधान करता है, जब विशेषताओं को स्वाभाविक रूप से दो सशर्त रूप से स्वतंत्र दृश्यों में विभाजित किया जा सकता है, तो अलेबल उदाहरणों का लाभ उठाकर। यह विधि इन दृश्यों पर दो अलग-अलग क्लासिफायर को प्रशिक्षित करती है, और प्रत्येक क्लासिफायर की अलेबल डेटा पर उच्च-विश्वास भविष्यवाणियों का उपयोग दूसरे के प्रशिक्षण सेट को बढ़ाने के लिए किया जाता है, जिससे दोनों मॉडल पुनरावृत्त रूप से बेहतर होते हैं।
यह दृष्टिकोण इस धारणा पर आधारित है कि प्रत्येक दृश्य अपने आप में सीखने के लिए पर्याप्त है और दृश्य वर्ग लेबल दिए जाने पर सशर्त रूप से स्वतंत्र हैं। व्यवहार में, यह वेब पेज वर्गीकरण जैसे डोमेन के लिए मान्य है, जहां पृष्ठ पर पाठ और उसकी ओर इशारा करने वाले हाइपरलिंक्स का एंकर पाठ अलग लेकिन पूरक संकेत प्रदान करते हैं। को-ट्रेनिंग ने बाद की अर्ध-पर्यवेक्षित तकनीकों को प्रभावित किया है और Machine learning अनुसंधान में एक मौलिक अवधारणा बनी हुई है।
एल्गोरिदम और तंत्र
को-ट्रेनिंग दो लेबल किए गए डेटासेट से शुरू होती है, जिनमें से प्रत्येक में एकल दृश्य की विशेषताएं होती हैं (जैसे, दृश्य A और दृश्य B)। दो आधार क्लासिफायर, अक्सर Naive Bayes या Decision Trees मॉडल, इन लेबल किए गए सेटों पर स्वतंत्र रूप से प्रशिक्षित किए जाते हैं। प्रत्येक पुनरावृत्ति पर, प्रत्येक क्लासिफायर कुछ अलेबल उदाहरणों का चयन करता है जिनके लिए उसके पास उच्चतम विश्वास होता है (आमतौर पर अनुमानित संभावना द्वारा मापा जाता है) और उन्हें छद्म-लेबल निर्दिष्ट करता है। इन नए लेबल किए गए उदाहरणों को फिर दूसरे क्लासिफायर के प्रशिक्षण सेट में जोड़ा जाता है, और दोनों क्लासिफायर को फिर से प्रशिक्षित किया जाता है।
यह प्रक्रिया निश्चित संख्या में पुनरावृत्तियों के लिए या जब तक कोई उच्च-विश्वास भविष्यवाणी शेष नहीं रहती, दोहराई जाती है। मुख्य बात यह है कि प्रत्येक क्लासिफायर दूसरे को 'नया' लेबल किया गया डेटा प्रदान करता है जिसे वह अकेले सामना नहीं करता, जिससे मानव एनोटेशन के बिना प्रशिक्षण पूल प्रभावी रूप से विस्तारित होता है। ब्लम और मिशेल द्वारा सैद्धांतिक विश्लेषण ने दिखाया कि यदि दृश्य सशर्त रूप से स्वतंत्र हैं और प्रत्येक पर्याप्त है, तो को-ट्रेनिंग बहुत कम प्रारंभिक लेबल के साथ भी सटीकता बढ़ा सकती है।
अनुप्रयोग और डोमेन
को-ट्रेनिंग को विभिन्न क्षेत्रों में लागू किया गया है जहां बहु-दृश्य डेटा स्वाभाविक रूप से मौजूद है। प्राकृतिक भाषा प्रसंस्करण में, इसका उपयोग Named-entity recognition और Sentiment Analysis जैसे कार्यों के लिए किया गया है, जहां एक दृश्य शब्द-स्तरीय विशेषताएं हो सकती हैं और दूसरा वाक्य-विन्यास या स्थितीय विशेषताएं। कंप्यूटर दृष्टि में, को-ट्रेनिंग वस्तु वर्गीकरण के लिए रंग हिस्टोग्राम को बनावट डिस्क्रिप्टर के साथ जोड़ सकती है। जैव सूचना विज्ञान में, इसका उपयोग विभिन्न माप प्लेटफार्मों को दृश्यों के रूप में उपयोग करके जीन अभिव्यक्ति डेटा को वर्गीकृत करने के लिए किया गया है।
एक क्लासिक उदाहरण वेब पेज वर्गीकरण है: किसी पृष्ठ की पाठ सामग्री और आने वाले लिंक का एंकर पाठ दो दृश्य बनाते हैं। ब्लम और मिशेल द्वारा प्रारंभिक कार्य ने प्रदर्शित किया कि को-ट्रेनिंग केवल कुछ लेबल किए गए पृष्ठों और कई अलेबल पृष्ठों का उपयोग करके शैक्षणिक पाठ्यक्रम होमपेज को उच्च सटीकता के साथ वर्गीकृत कर सकती है। इस अनुप्रयोग ने उन सेटिंग्स में विधि के व्यावहारिक मूल्य को उजागर किया जहां लेबलिंग महंगी है लेकिन अलेबल डेटा प्रचुर मात्रा में है।
विस्तार और विविधताएं
को-ट्रेनिंग की सख्त धारणाओं को शिथिल करने के लिए कई विस्तार प्रस्तावित किए गए हैं। ट्राई-ट्रेनिंग छद्म-लेबल निर्दिष्ट करने के लिए तीन क्लासिफायर और बहुमत मतदान का उपयोग करती है, जिससे दृश्य विभाजन की आवश्यकता कम हो जाती है। को-रेगुलराइजेशन अलेबल डेटा पर क्लासिफायर के बीच सहमति को प्रोत्साहित करने के लिए एक दंड शब्द जोड़ता है। डेमोक्रेटिक-को-लर्निंग विचार को विभिन्न फीचर दृश्यों के बजाय विभिन्न एल्गोरिदम वाले कई शिक्षार्थियों के लिए सामान्यीकृत करता है।
एक अन्य संस्करण, सेल्फ-ट्रेनिंग, एक सरल एकल-दृश्य दृष्टिकोण है जहां एक क्लासिफायर अपने स्वयं के विश्वास भविष्यवाणियों को लेबल करता है, लेकिन यह त्रुटि प्रसार के लिए अधिक प्रवण है। को-ट्रेनिंग का बहु-दृश्य डिजाइन इस स्वतंत्रता धारणा के तहत प्रत्येक क्लासिफायर को दूसरे की गलतियों को सुधारने की अनुमति देकर इसे कम करता है। शोधकर्ताओं ने गहन शिक्षण अनुकूलन भी खोजे हैं, जहां विभिन्न आर्किटेक्चर या इनपुट परिवर्तन वाले तंत्रिका नेटवर्क दो दृश्यों के रूप में कार्य करते हैं।
सैद्धांतिक आधार और सीमाएं
को-ट्रेनिंग की सैद्धांतिक गारंटी लेबल दिए जाने पर दृश्यों की सशर्त स्वतंत्रता पर निर्भर करती है। व्यवहार में, यह धारणा अक्सर उल्लंघन होती है, जिससे प्रदर्शन में गिरावट आती है। जब दृश्य सहसंबद्ध होते हैं, तो क्लासिफायर एक-दूसरे की त्रुटियों को सुदृढ़ कर सकते हैं, जिससे पुष्टिकरण पूर्वाग्रह उत्पन्न होता है। अनुभवजन्य अध्ययनों ने दिखाया है कि को-ट्रेनिंग तब भी अच्छी तरह से काम कर सकती है जब स्वतंत्रता धारणा लगभग संतुष्ट हो, लेकिन अत्यधिक सहसंबद्ध विशेषताओं वाले डेटासेट पर यह सरल सेल्फ-ट्रेनिंग से कम प्रदर्शन कर सकती है।
एक और सीमा प्राकृतिक फीचर विभाजन की आवश्यकता है, जो हमेशा उपलब्ध नहीं होता। ऐसे मामलों में, चिकित्सक यादृच्छिक फीचर विभाजन का उपयोग कर सकते हैं, लेकिन यह अक्सर सैद्धांतिक औचित्य को कमजोर करता है। विधि को विश्वास सीमा और प्रति पुनरावृत्ति जोड़े गए उदाहरणों की संख्या के सावधानीपूर्वक ट्यूनिंग की भी आवश्यकता होती है, क्योंकि अत्यधिक आक्रामक लेबलिंग शोर पेश कर सकती है। इन चुनौतियों के बावजूद, को-ट्रेनिंग अर्ध-पर्यवेक्षित शिक्षण साहित्य में एक बेंचमार्क और अधिक मजबूत एल्गोरिदम के लिए एक निर्माण खंड बनी हुई है।
आधुनिक अर्ध-पर्यवेक्षित शिक्षण से संबंध
Deep learning के उदय के साथ, को-ट्रेनिंग ने आधुनिक दृष्टिकोणों जैसे कि स्थिरता-नियमितीकरण और छद्म-लेबलिंग को प्रेरित किया है जो अत्याधुनिक मॉडलों में उपयोग किए जाते हैं। मिक्समैच और फिक्समैच जैसी तकनीकें डेटा संवर्धन के माध्यम से कई दृश्यों को जोड़ती हैं और भविष्यवाणी स्थिरता लागू करती हैं, जो को-ट्रेनिंग के विभिन्न दृष्टिकोणों के बीच सहमति का लाभ उठाने के मूल विचार को प्रतिध्वनित करती हैं। यह अवधारणा Representation learning में बहु-दृश्य शिक्षण के साथ भी संरेखित होती है, जहां मॉडल कई मोडैलिटी या फीचर सेट से सीखते हैं।
Large language model के युग में, को-ट्रेनिंग सिद्धांत Reinforcement Learning from AI Feedback (RLAIF) पाइपलाइनों में दिखाई देते हैं, जहां पुरस्कार भविष्यवाणी और नीति निर्माण के लिए अलग-अलग मॉडल पुनरावृत्त रूप से एक-दूसरे को परिष्कृत करते हैं। जबकि आधुनिक विधियां अक्सर विशाल अलेबल कोरपोरा तक स्केल करती हैं, को-ट्रेनिंग की मौलिक अंतर्दृष्टि - कि विविध दृश्य पर्यवेक्षी संकेत प्रदान कर सकते हैं - शैक्षणिक और औद्योगिक दोनों सेटिंग्स में एल्गोरिदम डिजाइन को सूचित करना जारी रखती है।