नेस्टरोव मोमेंटम, जिसे नेस्टरोव एक्सेलेरेटेड ग्रेडिएंट (NAG) के रूप में भी जाना जाता है, एक अनुकूलन विधि है जिसका उपयोग तंत्रिका नेटवर्क और अन्य मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए किया जाता है। यह शास्त्रीय मोमेंटम दृष्टिकोण को परिष्कृत करता है, जिसमें ग्रेडिएंट की गणना वर्तमान पैरामीटर स्थिति पर नहीं, बल्कि संचित वेग के आधार पर अनुमानित भविष्य की स्थिति पर की जाती है। यह लुकहेड तंत्र अक्सर मानक मोमेंटम की तुलना में तेज़ अभिसरण और बेहतर प्रदर्शन की ओर ले जाता है, विशेष रूप से डीप लर्निंग में सामान्य खराब-स्थिति या गैर-उत्तल अनुकूलन समस्याओं के लिए।
यह विधि 1983 में यूरी नेस्टरोव द्वारा उत्तल अनुकूलन के संदर्भ में पेश की गई थी, जहाँ इसने चिकने उत्तल कार्यों के लिए एक इष्टतम अभिसरण दर प्राप्त की। मशीन लर्निंग समुदाय में, इसे सौमिथ चिंताला और अन्य लोगों द्वारा टॉर्च और बाद में PyTorch जैसी लाइब्रेरीज़ में इसके कार्यान्वयन के माध्यम से लोकप्रिय बनाया गया। यह तकनीक अब कई प्रशिक्षण पाइपलाइनों में एक मानक घटक है, जिसे अक्सर SGD वेरिएंट और लर्निंग रेट शेड्यूल के साथ संयोजन में उपयोग किया जाता है।
नेस्टरोव मोमेंटम का मुख्य विचार ग्रेडिएंट की गणना करने से पहले एक कदम आगे देखना है। मानक मोमेंटम में, वेग को वर्तमान पैरामीटर पर ग्रेडिएंट का उपयोग करके अद्यतन किया जाता है, और फिर पैरामीटर को वेग की दिशा में स्थानांतरित किया जाता है। नेस्टरोव मोमेंटम में, पैरामीटर को पहले वेग द्वारा अस्थायी रूप से स्थानांतरित किया जाता है, ग्रेडिएंट की गणना इस लुकहेड स्थिति पर की जाती है, और फिर वेग को इस ग्रेडिएंट के साथ अद्यतन किया जाता है। यह सूक्ष्म अंतर अनुकूलक को हानि परिदृश्य में परिवर्तनों के प्रति अधिक सक्रिय रूप से प्रतिक्रिया करने की अनुमति देता है, जिससे दोलन और ओवरशूटिंग कम होती है।
गणितीय सूत्रीकरण
मानक मोमेंटम अद्यतन नियम आमतौर पर इस प्रकार लिखे जाते हैं:
- v_t = mu v_{t-1} - lr grad(theta_{t-1})
- theta_t = theta_{t-1} + v_t
जहाँ v वेग वेक्टर है, mu मोमेंटम गुणांक है (आमतौर पर 0.9), lr लर्निंग रेट है, और grad(theta) पैरामीटर theta पर हानि फ़ंक्शन का ग्रेडिएंट है।
नेस्टरोव मोमेंटम इसे संशोधित करता है:
- theta_lookahead = theta_{t-1} + mu * v_{t-1}
- v_t = mu v_{t-1} - lr grad(theta_lookahead)
- theta_t = theta_{t-1} + v_t
लुकहेड चरण पिछले वेग से गति का अनुमान लगाने वाले बिंदु पर ग्रेडिएंट का मूल्यांकन करता है। यह लुकहेड स्थिति पर ग्रेडिएंट चरण करने के बराबर है, फिर वेग को सही करना, जिससे भविष्य के ग्रेडिएंट दिशा का अधिक सटीक अनुमान मिलता है।
मानक मोमेंटम के साथ तुलना
मानक मोमेंटम पिछले ग्रेडिएंट्स का एक चल औसत जमा करता है, जो शोर वाले ग्रेडिएंट्स को सुचारू करने और सुसंगत दिशाओं में प्रगति को तेज करने में मदद करता है। हालाँकि, यह तब धीमा हो सकता है जब ग्रेडिएंट दिशा अचानक बदलती है। नेस्टरोव मोमेंटम इसे अपेक्षित भविष्य की स्थिति पर ग्रेडिएंट की गणना करके संबोधित करता है, जो वेग को पूरी तरह से पैरामीटर वहाँ ले जाने से पहले एक सुधारात्मक संकेत प्रदान करता है। इसके परिणामस्वरूप अक्सर कम दोलन और तेज़ अभिसरण होता है, विशेष रूप से उच्च वक्रता या संकीर्ण घाटियों वाली समस्याओं पर।
अनुभवजन्य अध्ययनों से पता चलता है कि नेस्टरोव मोमेंटम अक्सर विशिष्ट डीप लर्निंग कार्यों पर मानक मोमेंटम से बेहतर प्रदर्शन करता है, जैसे कि छवि वर्गीकरण बेंचमार्क पर कन्वोल्यूशनल नेटवर्क या अनुक्रम डेटा पर आवर्ती नेटवर्क प्रशिक्षित करना। उदाहरण के लिए, CIFAR-10 पर एक अवशिष्ट नेटवर्क प्रशिक्षित करने में, 0.9 के मोमेंटम गुणांक के साथ नेस्टरोव मोमेंटम का उपयोग मानक मोमेंटम के समान सटीकता प्राप्त कर सकता है लेकिन कम युगों के साथ।
अभिसरण गुण
सैद्धांतिक रूप से, नेस्टरोव मोमेंटम चिकने उत्तल कार्यों के लिए O(1/t^2) की एक इष्टतम अभिसरण दर प्राप्त करता है, जबकि मानक ग्रेडिएंट डिसेंट के लिए O(1/t) और मानक मोमेंटम के लिए O(1/t) (जो O(1/t) है लेकिन बेहतर स्थिरांक के साथ) की तुलना में। इस सैद्धांतिक लाभ ने नेस्टरोव की विधि को अनुकूलन सिद्धांत में एक आधारशिला बना दिया है। व्यवहार में, विधि गैर-उत्तल समस्याओं पर भी मजबूत प्रदर्शन बनाए रखती है, हालाँकि सैद्धांतिक गारंटी सीधे लागू नहीं होती हैं।
विधि की स्थिरता मानक मोमेंटम के लिए विशिष्ट होने की तुलना में थोड़ा छोटा लर्निंग रेट उपयोग करके बढ़ाई जाती है, क्योंकि लुकहेड कभी-कभी ओवरशूटिंग का कारण बन सकता है यदि लर्निंग रेट बहुत अधिक है। चिकित्सक अक्सर मोमेंटम गुणांक को 0.9 पर सेट करते हैं और कई आर्किटेक्चर के लिए लर्निंग रेट को 0.01 से 0.1 की सीमा में ट्यून करते हैं।
डीप लर्निंग फ्रेमवर्क में कार्यान्वयन
नेस्टरोव मोमेंटम अधिकांश डीप लर्निंग फ्रेमवर्क में आसानी से उपलब्ध है। उदाहरण के लिए, PyTorch में, SGD अनुकूलक इसे सक्षम करने के लिए एक पैरामीटर nesterov=True स्वीकार करता है। इसी तरह, TensorFlow और Keras इसे SGD अनुकूलक के nesterov तर्क के माध्यम से प्रदान करते हैं। कार्यान्वयन सीधा है: अनुकूलक आंतरिक रूप से ग्रेडिएंट का मूल्यांकन करने से पहले लुकहेड गणना करता है, जो उपयोगकर्ता के लिए पारदर्शी रूप से संभाला जाता है।
PyTorch में एक विशिष्ट उपयोग इस प्रकार दिखता है:
import torch optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9, nesterov=True)
यह एकल फ्लैग लुकहेड तंत्र को सक्षम करता है, जिससे शोधकर्ताओं और इंजीनियरों के लिए अपने प्रशिक्षण लूप को संशोधित किए बिना इसे अपनाना आसान हो जाता है।
डीप लर्निंग में अनुप्रयोग
नेस्टरोव मोमेंटम विभिन्न तंत्रिका नेटवर्क आर्किटेक्चर को प्रशिक्षित करने में व्यापक रूप से उपयोग किया जाता है, जिसमें अवशिष्ट नेटवर्क, छवि विभाजन के लिए U-Nets, और बड़े भाषा मॉडल और जनरेटिव AI प्रणालियों में ट्रांसफॉर्मर शामिल हैं। उदाहरण के लिए, ImageNet पर ResNet के कई ओपन-सोर्स कार्यान्वयन अत्याधुनिक परिणाम प्राप्त करने के लिए 0.9 के मोमेंटम और एक कोसाइन लर्निंग रेट शेड्यूल के साथ नेस्टरोव मोमेंटम का उपयोग करते हैं।
डीप लर्निंग अनुसंधान में, नेस्टरोव मोमेंटम को अक्सर प्रशिक्षण को स्थिर करने के लिए बैच नॉर्मलाइज़ेशन और वेट इनिशियलाइज़ेशन तकनीकों के साथ जोड़ा जाता है। यह एक सामान्य आधार रेखा भी है जिसके खिलाफ Adam और RMSprop जैसे नए अनुकूलकों की तुलना की जाती है। जबकि Adam जैसी अनुकूली विधियाँ प्रति पैरामीटर लर्निंग रेट समायोजित करती हैं, नेस्टरोव मोमेंटम एक नियतात्मक त्वरण प्रदान करता है जो विशेष रूप से तब प्रभावी होता है जब हानि परिदृश्य चिकना होता है।
अन्य अनुकूलकों के साथ संबंध
नेस्टरोव मोमेंटम अन्य अनुकूलन एल्गोरिदम से निकटता से संबंधित है। इसे त्वरित ग्रेडिएंट विधियों के व्यापक परिवार के एक विशिष्ट उदाहरण के रूप में देखा जा सकता है। तकनीक को अधिक उन्नत अनुकूलकों में भी शामिल किया गया है; उदाहरण के लिए, Adam के कुछ वेरिएंट (जैसे NAdam) Adam की अनुकूली लर्निंग दरों को नेस्टरोव त्वरण के साथ जोड़ते हैं। यह हाइब्रिड दृष्टिकोण दोनों विधियों के लाभों को पकड़ने का लक्ष्य रखता है, जिससे अनुकूली प्रति-पैरामीटर स्केलिंग और लुकहेड सुधार दोनों प्राप्त होते हैं।
AWS या Google Cloud जैसे वितरित प्रशिक्षण वातावरण में, नेस्टरोव मोमेंटम का उपयोग अक्सर बड़े बैचों में स्थिरता सुनिश्चित करने के लिए ग्रेडिएंट क्लिपिंग के साथ किया जाता है। विधि की सापेक्ष सरलता और मजबूत प्रदर्शन इसे अनुसंधान और उत्पादन दोनों सेटिंग्स में एक प्रमुख बनाती है।
व्यावहारिक सुझाव और ट्यूनिंग
नेस्टरोव मोमेंटम का उपयोग करते समय, लर्निंग रेट और मोमेंटम गुणांक को उचित रूप से ट्यून करना महत्वपूर्ण है। एक सामान्य प्रारंभिक बिंदु 0.9 के मोमेंटम के साथ 0.01 का लर्निंग रेट है, लेकिन मॉडल और डेटासेट के आधार पर इन मानों को अक्सर समायोजित करने की आवश्यकता होती है। इष्टतम परिणाम प्राप्त करने के लिए डेटा ऑग्मेंटेशन और लर्निंग रेट शेड्यूलिंग जैसी तकनीकों का अक्सर संयोजन में उपयोग किया जाता है।
एक संभावित नुकसान यह है कि लुकहेड गणना प्रभावी चरण आकार को इच्छित से बड़ा कर सकती है, इसलिए लर्निंग रेट को 1/(1-mu) के कारक से कम करने की कभी-कभी सिफारिश की जाती है। उदाहरण के लिए, यदि मोमेंटम 0.9 का उपयोग कर रहे हैं, तो कोई मानक SGD की तुलना में लर्निंग रेट को 10 के कारक से कम कर सकता है। कई कार्यान्वयन इस स्केलिंग को आंतरिक रूप से स्वचालित रूप से संभालते हैं, लेकिन इसे सत्यापित करना उचित है।
निष्कर्ष
नेस्टरोव मोमेंटम मशीन लर्निंग के लिए अनुकूलन टूलबॉक्स में एक मौलिक उपकरण बना हुआ है। इसका लुकहेड ग्रेडिएंट मूल्यांकन स्थिरता बनाए रखते हुए अभिसरण को तेज करने का एक सैद्धांतिक तरीका प्रदान करता है। 2020 के दशक के मध्य तक, यह शैक्षणिक अनुसंधान (MIT CSAIL और स्टैनफोर्ड AI लैब जैसे संस्थानों में) और औद्योगिक अनुप्रयोगों (OpenAI और Google DeepMind जैसी कंपनियों द्वारा) दोनों में व्यापक रूप से उपयोग किया जा रहा है। जबकि नए अनुकूलक विकसित किए गए हैं, नेस्टरोव मोमेंटम की सरलता और सैद्धांतिक समर्थन आधुनिक AI प्रणालियों के प्रशिक्षण में इसकी निरंतर प्रासंगिकता सुनिश्चित करते हैं।