लेबल स्मूथिंग एक नियमितीकरण तकनीक है जिसका उपयोग मशीन-लर्निंग और डीप-लर्निंग में किसी मॉडल को अपने पूर्वानुमानों में अत्यधिक आत्मविश्वासी बनने से रोकने के लिए किया जाता है। सही वर्ग के लिए 1.0 और अन्य सभी के लिए 0.0 की संभावना (जिसे वन-हॉट एन्कोडिंग के रूप में जाना जाता है) आउटपुट करने के लिए मॉडल को प्रशिक्षित करने के बजाय, लेबल स्मूथिंग इन कठोर लक्ष्यों को एक नरम संस्करण से बदल देती है। यह सभी गलत वर्गों को संभाव्यता द्रव्यमान की एक छोटी मात्रा प्रदान करके प्राप्त किया जाता है, जो आमतौर पर एक समान वितरण से लिया जाता है। यह तकनीक न्यूरल-नेटवर्क प्रशिक्षण के संदर्भ में लोकप्रिय हुई, विशेष रूप से छवि वर्गीकरण और प्राकृतिक-भाषा-प्रसंस्करण कार्यों के लिए, और कई आधुनिक प्रशिक्षण पाइपलाइनों में एक मानक घटक बन गई है, जिसमें बड़े-भाषा-मॉडल के लिए भी शामिल है।
मूल विचार मॉडल के अत्यधिक आत्मविश्वास को कम करना है, जो अदृश्य डेटा पर खराब सामान्यीकरण का कारण बन सकता है। कठोर लक्ष्य मॉडल को अपने आउटपुट लॉगिट्स को चरम मूल्यों तक धकेलने के लिए प्रोत्साहित करते हैं, जिससे यह भंगुर और शोर के प्रति संवेदनशील हो जाता है। लक्ष्यों को स्मूथ करके, मॉडल को अधिक मध्यम संभाव्यता वितरण उत्पन्न करने के लिए प्रोत्साहित किया जाता है, जो अक्सर अंशांकन और मजबूती में सुधार करता है। लेबल स्मूथिंग एक सरल लेकिन प्रभावी तरीका है जिसके लिए न्यूनतम कम्प्यूटेशनल ओवरहेड की आवश्यकता होती है और इसे मौजूदा प्रशिक्षण ढांचे में आसानी से एकीकृत किया जा सकता है।
गणितीय सूत्रीकरण
\(K\) वर्गों वाले एक मानक वर्गीकरण कार्य में, एक नमूने के लिए ग्राउंड ट्रुथ लेबल को एक वन-हॉट वेक्टर \(y\) के रूप में दर्शाया जाता है, जहाँ सही वर्ग \(c\) के लिए \(y_c = 1\) और अन्य सभी वर्गों \(i \neq c\) के लिए \(y_i = 0\) होता है। मॉडल वर्गों पर एक संभाव्यता वितरण \(p\) आउटपुट करता है, जो आमतौर पर लॉगिट्स पर सॉफ्टमैक्स फ़ंक्शन लागू करके प्राप्त किया जाता है। प्रशिक्षण हानि आमतौर पर \(y\) और \(p\) के बीच क्रॉस-एन्ट्रॉपी होती है।
लेबल स्मूथिंग लक्ष्य वितरण \(y\) को \(y^{LS}\) में संशोधित करती है, जिसे इस प्रकार परिभाषित किया गया है:
\[ y^{LS}_i = (1 - \epsilon) \cdot y_i + \frac{\epsilon}{K} \]
जहाँ \(\epsilon\) 0 और 1 के बीच एक स्मूथिंग पैरामीटर है। सही वर्ग के लिए, लक्ष्य \(1 - \epsilon + \frac{\epsilon}{K}\) बन जाता है, और प्रत्येक गलत वर्ग के लिए, यह \(\frac{\epsilon}{K}\) बन जाता है। यह सुनिश्चित करता है कि लक्ष्य संभावनाओं का योग 1 बना रहे। क्रॉस-एन्ट्रॉपी हानि की गणना तब \(y\) के बजाय \(y^{LS}\) का उपयोग करके की जाती है।
\(\epsilon\) के लिए एक सामान्य विकल्प 0.1 है, लेकिन कार्य और डेटासेट के आधार पर मान 0.01 से 0.2 तक हो सकते हैं। पैरामीटर नरमी की डिग्री को नियंत्रित करता है; एक बड़ा \(\epsilon\) अधिक समान लक्ष्य वितरण में परिणाम देता है, जबकि \(\epsilon = 0\) मूल कठोर लेबल को पुनर्प्राप्त करता है।
ऐतिहासिक संदर्भ
लेबल स्मूथिंग की अवधारणा की जड़ें नियमितीकरण और संभाव्यता अंशांकन पर पहले के काम में हैं। एक उल्लेखनीय अग्रदूत मॉडल डिस्टिलेशन में "सॉफ्ट टारगेट" का उपयोग है, जहाँ एक छोटे मॉडल को एक बड़े, पूर्व-प्रशिक्षित मॉडल के आउटपुट संभावनाओं की नकल करने के लिए प्रशिक्षित किया जाता है। हालाँकि, लेबल स्मूथिंग को एक स्वतंत्र तकनीक के रूप में औपचारिक रूप से 2016 में गूगल-डीपमाइंड (तब गूगल ब्रेन) के शोधकर्ताओं द्वारा "Rethinking the Inception Architecture for Computer Vision" शीर्षक वाले एक पेपर में पेश और लोकप्रिय किया गया था। लेखकों, जिनमें क्रिश्चियन सेगेडी, विंसेंट वानहाउके, सर्गेई इओफ़े, जोनाथन श्लेन्स और ज़बिग्न्यू वोजना शामिल थे, ने इसे छवि वर्गीकरण के लिए गहरे कन्वोल्यूशनल नेटवर्क के प्रशिक्षण में सुधार करने के तरीके के रूप में प्रस्तावित किया।
तब से, लेबल स्मूथिंग को विभिन्न डोमेन में व्यापक रूप से अपनाया गया है। यह बड़े पैमाने के मॉडलों के प्रशिक्षण में विशेष रूप से प्रभावी दिखाया गया है, जिसमें ट्रांसफॉर्मर-आधारित आर्किटेक्चर शामिल हैं जिनका उपयोग जनरेटिव-एआई और प्राकृतिक-भाषा-प्रसंस्करण में किया जाता है। यह तकनीक अब कई ओपन-सोर्स प्रशिक्षण लाइब्रेरीज़ में एक मानक घटक है और अक्सर अत्याधुनिक मॉडलों में डिफ़ॉल्ट रूप से उपयोग की जाती है।
लाभ और तंत्र
लेबल स्मूथिंग कई लाभ प्रदान करती है जो बेहतर मॉडल प्रदर्शन में योगदान करते हैं:
- अत्यधिक आत्मविश्वास को रोकता है: लक्ष्यों को नरम करके, मॉडल को किसी एक वर्ग को अत्यधिक उच्च संभावनाएँ निर्दिष्ट करने से हतोत्साहित किया जाता है। यह प्रशिक्षण डेटा पर ओवरफिटिंग के जोखिम को कम करता है और मॉडल की सामान्यीकरण करने की क्षमता में सुधार करता है।
- अंशांकन में सुधार करता है: लेबल स्मूथिंग के साथ प्रशिक्षित मॉडल में बेहतर-अंशांकित संभावनाएँ होती हैं, जिसका अर्थ है कि उनके अनुमानित आत्मविश्वास स्कोर वास्तविक सटीकता के साथ अधिक निकटता से संरेखित होते हैं। यह उन अनुप्रयोगों में विशेष रूप से महत्वपूर्ण है जहाँ निर्णय सीमाओं का उपयोग किया जाता है।
- नियमितीकरण प्रभाव: यह तकनीक लक्ष्य वितरण में थोड़ी मात्रा में शोर जोड़कर ड्रॉपआउट या वेट-इनिशियलाइज़ेशन रणनीतियों के समान नियमितीकरण के एक रूप के रूप में कार्य करती है। यह मॉडल को अधिक मजबूत विशेषताएँ सीखने में मदद कर सकता है।
- चिकनी हानि परिदृश्य: लेबल स्मूथिंग अनुकूलन परिदृश्य को चिकना बना सकती है, जो तेजी से अभिसरण की सुविधा प्रदान कर सकती है और तेज मिनिमा में फंसने की संभावना को कम कर सकती है।
शोध ने यह भी दिखाया है कि लेबल स्मूथिंग सीखी गई प्रस्तुतियों की गुणवत्ता में सुधार कर सकती है। उदाहरण के लिए, कंप्यूटर-विज़न कार्यों में, लेबल स्मूथिंग के साथ प्रशिक्षित मॉडल अक्सर फीचर एम्बेडिंग उत्पन्न करते हैं जो अधिक अलग करने योग्य और ट्रांसफर लर्निंग के लिए बेहतर अनुकूल होते हैं।
आधुनिक एआई में अनुप्रयोग
लेबल स्मूथिंग आधुनिक एआई सिस्टम के प्रशिक्षण में एक सर्वव्यापी तकनीक बन गई है। बड़े-भाषा-मॉडल के क्षेत्र में, इसका उपयोग अक्सर प्रीट्रेनिंग और फाइन-ट्यूनिंग के दौरान किया जाता है। उदाहरण के लिए, GPT और BERT वेरिएंट जैसे मॉडलों ने अपनी मजबूती और अंशांकन में सुधार के लिए लेबल स्मूथिंग को शामिल किया है। यह तकनीक मशीन अनुवाद और टेक्स्ट सारांशीकरण जैसे कार्यों के लिए सीक्वेंस-टू-सीक्वेंस मॉडल में भी लागू की जाती है।
रीइन्फोर्समेंट-लर्निंग और आरएलएआईएफ (एआई फीडबैक से रीइन्फोर्समेंट लर्निंग) जैसे संबंधित क्षेत्रों में, लेबल स्मूथिंग का उपयोग इनाम संकेतों या लक्ष्य वितरण को नरम करने के लिए किया जा सकता है, जिससे प्रशिक्षण को स्थिर करने में मदद मिलती है। इसके अतिरिक्त, इसे अक्सर डेटा-ऑग्मेंटेशन और ग्रेडिएंट-क्लिपिंग जैसे अन्य नियमितीकरण विधियों के साथ जोड़ा जाता है ताकि अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।
अन्य तकनीकों से संबंध
लेबल स्मूथिंग अवधारणात्मक रूप से मशीन लर्निंग में कई अन्य विधियों से संबंधित है:
- नॉलेज डिस्टिलेशन: डिस्टिलेशन में, एक छात्र मॉडल को शिक्षक मॉडल के सॉफ्ट आउटपुट पर प्रशिक्षित किया जाता है। लेबल स्मूथिंग को डिस्टिलेशन का एक सरल रूप माना जा सकता है जहाँ शिक्षक एक समान वितरण है।
- कॉन्फिडेंस पेनाल्टी: यह एक नियमितीकरण तकनीक है जो अत्यधिक आत्मविश्वास वाले पूर्वानुमानों को हतोत्साहित करने के लिए हानि फ़ंक्शन में एक पेनाल्टी शब्द जोड़ती है। लेबल स्मूथिंग लक्ष्यों को सीधे संशोधित करके एक समान प्रभाव प्राप्त करती है।
- मिक्सअप और कटमिक्स: ये डेटा-ऑग्मेंटेशन तकनीकें हैं जो उदाहरणों के जोड़े और उनके लेबल के बीच प्रक्षेप करके नए प्रशिक्षण नमूने बनाती हैं। अतिरिक्त नियमितीकरण के लिए लेबल स्मूथिंग को इन विधियों के शीर्ष पर लागू किया जा सकता है।
- तापमान स्केलिंग: तापमान-स्केलिंग में, सॉफ्टमैक्स लागू करने से पहले लॉगिट्स को एक तापमान पैरामीटर से विभाजित किया जाता है, जो आउटपुट वितरण की तीक्ष्णता को प्रभावित करता है। लेबल स्मूथिंग लक्ष्य पक्ष पर काम करती है, जबकि तापमान स्केलिंग भविष्यवाणी पक्ष पर काम करती है।
व्यावहारिक विचार
लेबल स्मूथिंग को लागू करते समय, कई व्यावहारिक पहलुओं पर विचार किया जाना चाहिए:
- एप्सिलॉन का चयन: स्मूथिंग पैरामीटर \(\epsilon\) एक हाइपरपैरामीटर है जिसे ट्यून करने की आवश्यकता होती है। एक सामान्य डिफ़ॉल्ट 0.1 है, लेकिन इष्टतम मान भिन्न हो सकते हैं। बड़ी संख्या में वर्गों वाले कार्यों के लिए, अत्यधिक स्मूथिंग से बचने के लिए एक छोटा \(\epsilon\) उपयुक्त हो सकता है।
- हानि कार्यों के साथ सहभागिता: लेबल स्मूथिंग आमतौर पर क्रॉस-एन्ट्रॉपी हानि के साथ लागू की जाती है। हालाँकि, इसे अन्य हानि कार्यों, जैसे फोकल लॉस या लॉस-फंक्शन जो मेट्रिक लर्निंग में उपयोग किए जाते हैं, के लिए अनुकूलित किया जा सकता है, हालाँकि सूत्रीकरण को समायोजन की आवश्यकता हो सकती है।
- लॉगिट्स पर प्रभाव: लेबल स्मूथिंग का एक ज्ञात दुष्प्रभाव यह है कि यह मॉडल के लॉगिट्स को परिमाण में बड़ा कर सकता है, जो आत्मविश्वास स्कोर की व्याख्या को प्रभावित कर सकता है। कुछ अध्ययनों ने नोट किया है कि यह नॉलेज डिस्टिलेशन के साथ समस्याएँ पैदा कर सकता है, क्योंकि नरम आउटपुट कम जानकारीपूर्ण हो सकते हैं।
- कार्यान्वयन: व्यवहार में, लेबल स्मूथिंग को अक्सर लक्ष्य वैक्टर को संशोधित करने के बजाय हानि फ़ंक्शन को संशोधित करके लागू किया जाता है, ताकि पूर्ण स्मूथ वितरण को संग्रहीत करने से बचा जा सके। यह कम्प्यूटेशनल रूप से कुशल है और मौजूदा ढांचे में एकीकृत करना आसान है।
अनुसंधान और विस्तार
अपनी शुरुआत के बाद से, लेबल स्मूथिंग व्यापक शोध का विषय रही है। अध्ययनों ने इसके सैद्धांतिक गुणों का विश्लेषण किया है, यह दिखाते हुए कि इसे एन्ट्रॉपी नियमितीकरण के एक रूप के रूप में या लेबल शोर के बारे में पूर्व ज्ञान को शामिल करने के तरीके के रूप में व्याख्या किया जा सकता है। विस्तार में अनुकूली लेबल स्मूथिंग शामिल है, जहाँ स्मूथिंग पैरामीटर प्रशिक्षण के दौरान सीखा जाता है, और वर्ग-निर्भर स्मूथिंग, जहाँ विभिन्न वर्गों को स्मूथिंग के विभिन्न स्तर प्राप्त होते हैं।
ट्रांसफॉर्मर-आधारित मॉडलों के संदर्भ में, लेबल स्मूथिंग को प्रशिक्षण स्थिरता में सुधार करने के लिए दिखाया गया है, खासकर जब लेयर-नॉर्मलाइज़ेशन और रिज़िड्यूअल-नेटवर्क कनेक्शन के साथ जोड़ा जाता है। इसका उपयोग लर्निंग-रेट-शेड्यूल और एडम-ऑप्टिमाइज़र के साथ संयोजन में इष्टतम प्रदर्शन प्राप्त करने के लिए भी किया जाता है।
सीमाएँ और आलोचनाएँ
व्यापक उपयोग के बावजूद, लेबल स्मूथिंग सीमाओं के बिना नहीं है। कुछ शोधकर्ताओं ने बताया है कि यह उन कार्यों पर प्रदर्शन को खराब कर सकती है जहाँ मॉडल को बहुत आत्मविश्वासपूर्ण भविष्यवाणियाँ करने की आवश्यकता होती है, जैसे कि स्पष्ट निर्णय सीमाओं वाले कुछ प्रकार के वर्गीकरण। इसके अतिरिक्त, लेबल स्मूथिंग मॉडल की वास्तविक अनिश्चितता को अस्पष्ट कर सकती है, जिससे उच्च-दांव वाले अनुप्रयोगों में आउटपुट संभावनाओं की व्याख्या करना कठिन हो जाता है।
एक और आलोचना यह है कि लेबल स्मूथिंग हमेशा अंशांकन में सुधार नहीं कर सकती है, और कुछ मामलों में, यह तापमान स्केलिंग जैसे अन्य तरीकों की तुलना में खराब अंशांकन का कारण बन सकती है। लेबल स्मूथिंग की प्रभावशीलता डेटासेट और मॉडल आर्किटेक्चर पर भी निर्भर करती है, और यह सभी परिदृश्यों में लाभ प्रदान नहीं कर सकती है।
निष्कर्ष
लेबल स्मूथिंग आर्टिफिशियल-इंटेलिजेंस में एक मौलिक और व्यापक रूप से उपयोग की जाने वाली नियमितीकरण तकनीक बनी हुई है। इसकी सरलता, प्रभावशीलता और कम कम्प्यूटेशनल लागत ने इसे कई प्रशिक्षण पाइपलाइनों में एक डिफ़ॉल्ट विकल्प बना दिया है। हालाँकि इसकी कुछ सीमाएँ हैं, लेकिन सामान्यीकरण और अंशांकन के संदर्भ में इसके लाभ अक्सर कमियों से अधिक होते हैं, विशेष रूप से बड़े पैमाने पर गहन शिक्षण अनुप्रयोगों में। जैसे-जैसे शोध जारी रहता है, लेबल स्मूथिंग के नए रूप और परिशोधन उभरने की संभावना है, जो मशीन लर्निंग टूलकिट में इसकी भूमिका को और मजबूत करेंगे।