मशीन-लर्निंग और सांख्यिकी में, लर्निंग रेट एक अनुकूलन एल्गोरिदम में एक ट्यूनिंग पैरामीटर है जो लॉस फ़ंक्शन के न्यूनतम की ओर बढ़ते समय प्रत्येक पुनरावृत्ति पर चरण आकार निर्धारित करता है। चूंकि यह प्रभावित करता है कि नई प्राप्त जानकारी पुरानी जानकारी को किस हद तक ओवरराइड करती है, यह रूपक रूप से उस गति का प्रतिनिधित्व करता है जिस पर एक मशीन-लर्निंग मॉडल "सीखता है"। अनुकूली नियंत्रण साहित्य में, लर्निंग रेट को आमतौर पर गेन कहा जाता है।
लर्निंग रेट निर्धारित करने में, अभिसरण दर और ओवरशूटिंग के बीच एक व्यापार-बंद होता है। जबकि अवरोहण दिशा आमतौर पर लॉस फ़ंक्शन के ग्रेडिएंट से निर्धारित होती है, लर्निंग रेट यह तय करता है कि उस दिशा में कितना बड़ा कदम उठाया जाता है। बहुत अधिक लर्निंग रेट सीखने को न्यूनतम से कूदने पर मजबूर करेगा, लेकिन बहुत कम लर्निंग रेट या तो अभिसरण में बहुत अधिक समय लेगा या अवांछनीय स्थानीय न्यूनतम में फंस जाएगा।
तेज़ अभिसरण प्राप्त करने, दोलनों और अवांछनीय स्थानीय न्यूनतम में फंसने से रोकने के लिए, लर्निंग रेट को अक्सर प्रशिक्षण के दौरान या तो लर्निंग रेट शेड्यूल के अनुसार या अनुकूली लर्निंग रेट का उपयोग करके बदला जाता है। लर्निंग रेट और इसके समायोजन प्रति पैरामीटर भी भिन्न हो सकते हैं, ऐसी स्थिति में यह एक विकर्ण मैट्रिक्स होता है जिसे न्यूटन की विधि में हेसियन मैट्रिक्स के व्युत्क्रम के सन्निकटन के रूप में व्याख्या किया जा सकता है। लर्निंग रेट क्वासी-न्यूटन विधियों और संबंधित अनुकूलन एल्गोरिदम में अशुद्ध लाइन सर्च द्वारा निर्धारित चरण लंबाई से संबंधित है।
मुख्य अवधारणाएँ: डिके और मोमेंटम
एक लर्निंग रेट शेड्यूल सीखने के दौरान लर्निंग रेट को बदलता है और अक्सर एपॉक या पुनरावृत्तियों के बीच बदला जाता है। यह मुख्य रूप से दो मापदंडों के साथ किया जाता है: डिके और मोमेंटम। डिके सीखने को एक अच्छी जगह पर स्थिर करने और दोलनों से बचने का कार्य करता है, एक स्थिति जो तब उत्पन्न हो सकती है जब बहुत अधिक स्थिर लर्निंग रेट सीखने को न्यूनतम पर आगे-पीछे कूदने पर मजबूर करता है, और इसे एक हाइपरपैरामीटर द्वारा नियंत्रित किया जाता है।
मोमेंटम एक गेंद के पहाड़ी से लुढ़कने के समान है; लक्ष्य गेंद को पहाड़ी के सबसे निचले बिंदु पर स्थिर करना है, जो सबसे कम त्रुटि के अनुरूप है। मोमेंटम सीखने को तेज करता है (प्रभावी लर्निंग रेट बढ़ाता है) जब त्रुटि लागत ग्रेडिएंट लंबे समय तक एक ही दिशा में जा रहा होता है और छोटे उभारों पर 'लुढ़ककर' स्थानीय न्यूनतम से भी बचता है। मोमेंटम एक हाइपरपैरामीटर द्वारा नियंत्रित होता है जो एक गेंद के द्रव्यमान के समान होता है जिसे मैन्युअल रूप से चुना जाना चाहिए - बहुत अधिक और गेंद उन न्यूनतम पर लुढ़क जाएगी जिन्हें हम खोजना चाहते हैं, बहुत कम और यह अपने उद्देश्य को पूरा नहीं करेगा। मोमेंटम को शामिल करने का सूत्र डिके की तुलना में अधिक जटिल है लेकिन अक्सर केरस जैसी डीप-लर्निंग लाइब्रेरीज़ में निर्मित होता है।
समय-आधारित शेड्यूल
समय-आधारित लर्निंग शेड्यूल पिछले समय पुनरावृत्ति की लर्निंग रेट के आधार पर लर्निंग रेट को बदलते हैं। डिके को शामिल करते हुए, लर्निंग रेट के लिए गणितीय सूत्र है:
\[ \eta_{n+1} = \frac{\eta_0}{1 + dn} \]
जहाँ \(\eta\) लर्निंग रेट है, \(\eta_0\) मूल लर्निंग रेट है, \(d\) एक डिके पैरामीटर है और \(n\) पुनरावृत्ति चरण है। यह शेड्यूल लर्निंग रेट को सुचारू रूप से और एकरूपता से कम करता है, प्रशिक्षण आगे बढ़ने पर कमी कम आक्रामक होती जाती है। इसे लागू करना सरल है और केवल प्रारंभिक दर और एक डिके स्थिरांक की आवश्यकता होती है, जो इसे प्रारंभिक न्यूरल-नेटवर्क प्रयोगों के लिए एक सामान्य विकल्प बनाता है।
चरण-आधारित शेड्यूल
चरण-आधारित लर्निंग शेड्यूल कुछ पूर्वनिर्धारित चरणों के अनुसार लर्निंग रेट बदलते हैं। डिके अनुप्रयोग सूत्र यहाँ इस प्रकार परिभाषित है:
\[ \eta_n = \eta_0 d^{\left\lfloor \frac{1+n}{r} \right\rfloor} \]
जहाँ \(\eta_n\) पुनरावृत्ति \(n\) पर लर्निंग रेट है, \(\eta_0\) प्रारंभिक लर्निंग रेट है, \(d\) यह है कि प्रत्येक गिरावट पर लर्निंग रेट कितनी बदलनी चाहिए (0.5 आधा होने के अनुरूप है) और \(r\) गिरावट दर से मेल खाता है, या कितनी बार दर गिराई जानी चाहिए (10 हर 10 पुनरावृत्तियों में एक गिरावट के अनुरूप है)। फ्लोर फ़ंक्शन (\(\lfloor \dots \rfloor\)) यहाँ अपने इनपुट के मान को 1 से कम सभी मानों के लिए 0 पर गिरा देता है। यह दृष्टिकोण बड़े भाषा मॉडल और ट्रांसफॉर्मर के प्रशिक्षण में व्यापक रूप से उपयोग किया जाता है, जहाँ चिकित्सक अक्सर पूर्वनिर्धारित मील के पत्थर पर दर को 0.1 या 0.5 के कारक से कम करते हैं, जैसे कुल प्रशिक्षण चरणों के एक निश्चित अंश के बाद।
घातीय शेड्यूल
घातीय लर्निंग शेड्यूल चरण-आधारित के समान हैं, लेकिन चरणों के बजाय, एक घटता घातीय फ़ंक्शन का उपयोग किया जाता है। डिके को शामिल करने के लिए गणितीय सूत्र है:
\[ \eta_n = \eta_0 e^{-dn} \]
जहाँ \(d\) एक डिके पैरामीटर है। यह शेड्यूल एक सुचारू, निरंतर डिके प्रदान करता है जो प्रारंभिक चरणों में समय-आधारित डिके की तुलना में तेज़ और बाद में धीमा होता है। इसे अक्सर तब पसंद किया जाता है जब लॉस परिदृश्य अपेक्षाकृत सुचारू होता है और एक सौम्य कमी वांछित होती है। विविधताओं में गर्म पुनःआरंभ के साथ घातीय डिके शामिल है, जहाँ स्थानीय न्यूनतम से बचने के लिए लर्निंग रेट को समय-समय पर उच्च मान पर रीसेट किया जाता है, एक तकनीक जो पाठ्यक्रम-लर्निंग और ग्रेडिएंट-क्लिपिंग पर हाल के शोध में खोजी गई है।
कोसाइन और वार्मअप शेड्यूल
शास्त्रीय शेड्यूल से परे, आधुनिक अभ्यास अक्सर कोसाइन एनीलिंग का उपयोग करता है, जहाँ लर्निंग रेट एक प्रारंभिक मान से लगभग शून्य तक एक कोसाइन वक्र का अनुसरण करता है। यह शेड्यूल अक्सर एक रैखिक वार्मअप चरण के साथ जोड़ा जाता है, जिसके दौरान लर्निंग रेट कुछ सौ या हज़ार चरणों में एक छोटे मान से प्रारंभिक अधिकतम तक बढ़ जाती है। वार्मअप विशेष रूप से बहुत गहरे नेटवर्क और बड़े ट्रांसफॉर्मर के प्रशिक्षण के लिए महत्वपूर्ण है, क्योंकि यह यादृच्छिक रूप से आरंभिक वज़न में बड़े अपडेट के कारण होने वाली प्रारंभिक अस्थिरता को रोकता है। वार्मअप के साथ कोसाइन शेड्यूल कई ओपनएआई और गूगल-डीपमाइंड अनुसंधान कार्यान्वयनों में एक मानक विकल्प बन गया है, क्योंकि वे समान प्रशिक्षण बजट के लिए चरण-आधारित डिके की तुलना में बेहतर अंतिम प्रदर्शन देते हैं।
अनुकूली लर्निंग रेट विधियाँ
लर्निंग रेट शेड्यूल के साथ समस्या यह है कि वे सभी हाइपरपैरामीटर पर निर्भर करते हैं जिन्हें प्रत्येक दिए गए लर्निंग सत्र के लिए मैन्युअल रूप से चुना जाना चाहिए और समस्या या उपयोग किए गए मॉडल के आधार पर बहुत भिन्न हो सकते हैं। इसका मुकाबला करने के लिए, कई अलग-अलग प्रकार के अनुकूली ग्रेडिएंट डिसेंट एल्गोरिदम हैं जैसे कि अडाग्राड, अडाडेल्टा, आरएमएसप्रॉप और एडम जो आमतौर पर केरस जैसी डीप-लर्निंग लाइब्रेरीज़ में निर्मित होते हैं। ये विधियाँ ऐतिहासिक ग्रेडिएंट जानकारी के आधार पर प्रति पैरामीटर लर्निंग रेट समायोजित करती हैं, प्रभावी रूप से कई मामलों में मैन्युअल रूप से ट्यून किए गए शेड्यूल की आवश्यकता को समाप्त करती हैं। उदाहरण के लिए, एडम प्रति-पैरामीटर लर्निंग रेट बनाए रखता है जो पिछले वर्ग ग्रेडिएंट के योग के वर्गमूल के व्युत्क्रम द्वारा स्केल किए जाते हैं, जो स्वचालित एनीलिंग का एक रूप प्रदान करता है। जबकि अनुकूली विधियाँ अक्सर तेज़ी से अभिसरण करती हैं, वे कभी-कभी कुछ कार्यों पर अच्छी तरह से ट्यून किए गए शेड्यूल की तुलना में खराब सामान्यीकरण कर सकती हैं, जिससे संकर दृष्टिकोण उत्पन्न होते हैं जो एक अनुकूली ऑप्टिमाइज़र के शीर्ष पर एक निश्चित शेड्यूल का उपयोग करते हैं।
व्यावहारिक विचार और चयन
लर्निंग रेट शेड्यूल चुनने में कई कारकों को संतुलित करना शामिल है: मॉडल की वास्तुकला, डेटासेट का आकार, अनुकूलन एल्गोरिदम और उपलब्ध कंप्यूट बजट। सरल डेटासेट पर छोटे मॉडल के लिए, एक स्थिर लर्निंग रेट या एक सरल समय-आधारित डिके पर्याप्त हो सकता है। बड़े पैमाने पर प्रशिक्षण रन के लिए, जैसे कि जनरेटिव-एआई प्रणालियों के लिए, चिकित्सक अक्सर वार्मअप, कोसाइन डिके और कभी-कभी पुनःआरंभ का संयोजन उपयोग करते हैं। प्रारंभिक लर्निंग रेट स्वयं आमतौर पर एक लर्निंग रेट रेंज परीक्षण के माध्यम से चुना जाता है, जहाँ दर को कुछ पुनरावृत्तियों में रैखिक रूप से बढ़ाया जाता है और वह मान चुना जाता है जो सबसे तेज़ लॉस कमी देता है। कई फ्रेमवर्क, जिनमें एडब्ल्यूएस और गूगल-क्लाउड शामिल हैं, निर्मित शेड्यूलर और स्वचालित ट्यूनिंग उपकरण प्रदान करते हैं जो मैन्युअल बोझ को कम करते हैं।
अन्य तकनीकों से संबंध
लर्निंग रेट शेड्यूल अन्य प्रशिक्षण तकनीकों के साथ निकटता से बातचीत करते हैं। बैच-नॉर्मलाइज़ेशन और लेयर-नॉर्मलाइज़ेशन लॉस परिदृश्य को स्थिर कर सकते हैं, जिससे उच्च लर्निंग रेट और सरल शेड्यूल की अनुमति मिलती है। वेट-इनिशियलाइज़ेशन उपयुक्त प्रारंभिक दर को प्रभावित करता है, क्योंकि खराब स्केल किए गए प्रारंभिक वज़न को विचलन से बचने के लिए कम दरों की आवश्यकता हो सकती है। ग्रेडिएंट-क्लिपिंग विस्फोटक ग्रेडिएंट को रोकता है, जो विशेष रूप से आक्रामक शेड्यूल या आवर्ती वास्तुकला का उपयोग करते समय प्रासंगिक है। सुदृढीकरण लर्निंग में, शेड्यूल अक्सर अन्वेषण रणनीतियों से बंधे होते हैं, और आरएलएचएफ में भाषा मॉडल को संरेखित करने के लिए, लर्निंग रेट को आमतौर पर पूर्व-प्रशिक्षित ज्ञान को संरक्षित करने के लिए सावधानीपूर्वक एनील किया जाता है जबकि मानव प्रतिक्रिया के अनुकूल होता है।
ऐतिहासिक संदर्भ और अनुसंधान
लर्निंग रेट को बदलने की अवधारणा अनुकूली-नियंत्रण और स्टोकेस्टिक ग्रेडिएंट डिसेंट में प्रारंभिक कार्य से जुड़ी है। एमआईटी-सीएसएआईएल और स्टैनफोर्ड-एआई-लैब जैसे संस्थानों के शोधकर्ताओं ने विभिन्न डिके फ़ंक्शन के सैद्धांतिक गुणों का अध्ययन किया, यह दिखाते हुए कि गैर-उत्तल सेटिंग्स में अभिसरण के लिए एक घटती दर आवश्यक है। 1980 के दशक में बर्नार्ड-विड्रो और अन्य द्वारा मोमेंटम की शुरूआत ने आधुनिक ऑप्टिमाइज़र के लिए आधार तैयार किया। बाद में, अडाग्राड और एडम जैसी अनुकूली विधियों का विकास, जिसे डेविड-कपलान और अन्य सहित शोधकर्ताओं ने अग्रणी किया, ने मैन्युअल शेड्यूल से स्वचालित प्रति-पैरामीटर समायोजन पर ध्यान केंद्रित किया। आज, शेड्यूल का चुनाव अनुसंधान का एक सक्रिय क्षेत्र बना हुआ है, जिसमें अध्ययन विभिन्न मॉडल परिवारों में विभिन्न डिके आकृतियों के सामान्यीकरण गुणों की तुलना करते हैं, जिनमें अवशिष्ट नेटवर्क और यू-नेट शामिल हैं।