अर्ली स्टॉपिंग (Early stopping) मशीन लर्निंग में उपयोग किया जाने वाला एक प्रकार का नियमितीकरण (regularization) है, जो किसी पुनरावृत्तीय अनुकूलन विधि, जैसे कि ग्रेडिएंट डिसेंट (gradient descent), के साथ मॉडल को प्रशिक्षित करते समय ओवरफिटिंग (overfitting) से बचने के लिए किया जाता है। ये विधियाँ प्रत्येक पुनरावृत्ति के साथ मॉडल को प्रशिक्षण डेटा के अनुरूप बेहतर बनाती हैं। एक सीमा तक, यह प्रशिक्षण सेट के बाहर के डेटा, जैसे कि सत्यापन सेट (validation set), पर मॉडल के प्रदर्शन में सुधार करता है। उस बिंदु के बाद, हालाँकि, प्रशिक्षण डेटा के अनुरूप मॉडल में सुधार करना सामान्यीकरण त्रुटि (generalization error) में वृद्धि की कीमत पर होता है। अर्ली स्टॉपिंग नियम इस बात पर मार्गदर्शन प्रदान करते हैं कि शिक्षार्थी (learner) के ओवरफिट करना शुरू करने से पहले कितनी पुनरावृत्तियाँ चलाई जा सकती हैं। अर्ली स्टॉपिंग नियम कई अलग-अलग मशीन लर्निंग विधियों में उपयोग किए गए हैं, जिनमें सैद्धांतिक आधार की अलग-अलग मात्राएँ शामिल हैं।
पृष्ठभूमि
यह अनुभाग अर्ली स्टॉपिंग विधियों के विवरण के लिए आवश्यक कुछ बुनियादी मशीन-लर्निंग अवधारणाओं को प्रस्तुत करता है।
ओवरफिटिंग
मशीन लर्निंग एल्गोरिदम प्रशिक्षण डेटा के एक सीमित सेट के आधार पर एक मॉडल को प्रशिक्षित करते हैं। प्रशिक्षण के दौरान, मॉडल का मूल्यांकन इस आधार पर किया जाता है कि वह प्रशिक्षण सेट में निहित अवलोकनों की कितनी अच्छी भविष्यवाणी करता है। सामान्य तौर पर, हालाँकि, मशीन लर्निंग योजना का लक्ष्य एक ऐसा मॉडल तैयार करना होता है जो सामान्यीकरण करता है, अर्थात, जो पहले से न देखे गए अवलोकनों की भविष्यवाणी करता है। ओवरफिटिंग तब होती है जब कोई मॉडल प्रशिक्षण सेट के डेटा को अच्छी तरह से फिट करता है, जबकि बड़ी सामान्यीकरण त्रुटि उत्पन्न करता है। यह Machine learning में एक केंद्रीय चुनौती है, क्योंकि अत्यधिक क्षमता वाले मॉडल अंतर्निहित पैटर्न सीखने के बजाय शोर को याद कर सकते हैं।
नियमितीकरण
मशीन लर्निंग के संदर्भ में नियमितीकरण, ओवरफिटिंग को रोकने के लिए किसी सीखने के एल्गोरिदम को संशोधित करने की प्रक्रिया को संदर्भित करता है। इसमें आम तौर पर सीखे गए मॉडल पर किसी प्रकार की स्मूथनेस बाधा लगाना शामिल होता है। यह स्मूथनेस स्पष्ट रूप से लागू की जा सकती है, मॉडल में मापदंडों की संख्या तय करके, या लागत फलन को बढ़ाकर जैसा कि टिखोनोव नियमितीकरण (Tikhonov regularization) में होता है। टिखोनोव नियमितीकरण, प्रिंसिपल कंपोनेंट रिग्रेशन और कई अन्य नियमितीकरण योजनाओं के साथ, वर्णक्रमीय नियमितीकरण (spectral regularization) के अंतर्गत आता है, जिसकी विशेषता एक फिल्टर का अनुप्रयोग है। अर्ली स्टॉपिंग भी इसी वर्ग की विधियों से संबंधित है। Deep learning में, प्रशिक्षण डेटा को याद किए बिना बड़े न्यूरल नेटवर्क को प्रशिक्षित करने के लिए नियमितीकरण महत्वपूर्ण है।
ग्रेडिएंट डिसेंट विधियाँ
ग्रेडिएंट डिसेंट विधियाँ प्रथम-क्रम, पुनरावृत्तीय अनुकूलन विधियाँ हैं। प्रत्येक पुनरावृत्ति उद्देश्य फलन के ग्रेडिएंट के ऋणात्मक की दिशा में एक कदम उठाकर अनुकूलन समस्या के अनुमानित समाधान को अद्यतन करती है। चरण-आकार को उचित रूप से चुनकर, ऐसी विधि को उद्देश्य फलन के स्थानीय न्यूनतम पर अभिसरण कराया जा सकता है। ग्रेडिएंट डिसेंट का उपयोग मशीन लर्निंग में एक हानि फलन (loss function) को परिभाषित करके किया जाता है जो प्रशिक्षण सेट पर शिक्षार्थी की त्रुटि को दर्शाता है और फिर उस फलन को न्यूनतम करता है। अर्ली स्टॉपिंग ग्रेडिएंट डिसेंट के लिए विशेष रूप से प्रासंगिक है क्योंकि यह निर्धारित करता है कि इस पुनरावृत्तीय प्रक्रिया को कब रोका जाए।
विश्लेषणात्मक परिणामों पर आधारित अर्ली स्टॉपिंग
सांख्यिकीय शिक्षण सिद्धांत में अर्ली स्टॉपिंग
अर्ली स्टॉपिंग का उपयोग सांख्यिकीय शिक्षण सिद्धांत में सामने आने वाली गैर-पैरामीट्रिक प्रतिगमन समस्याओं को नियमित करने के लिए किया जा सकता है। किसी दिए गए इनपुट स्थान, आउटपुट स्थान और एक अज्ञात संभाव्यता माप से खींचे गए नमूनों के लिए, लक्ष्य एक प्रतिगमन फलन का अनुमान लगाना होता है। प्रतिगमन फलन का अनुमान लगाने के लिए एक सामान्य विकल्प प्रजनन कर्नेल हिल्बर्ट स्थान (reproducing kernel Hilbert space) से फलनों का उपयोग करना है। ये स्थान अनंत-आयामी हो सकते हैं, जिसमें वे मनमाने आकार के प्रशिक्षण सेटों को ओवरफिट करने वाले समाधान प्रदान कर सकते हैं। इसलिए, इन विधियों के लिए नियमितीकरण विशेष रूप से महत्वपूर्ण है। गैर-पैरामीट्रिक प्रतिगमन समस्याओं को नियमित करने का एक तरीका ग्रेडिएंट डिसेंट जैसी पुनरावृत्तीय प्रक्रिया पर अर्ली स्टॉपिंग नियम लागू करना है।
इन समस्याओं के लिए प्रस्तावित अर्ली स्टॉपिंग नियम पुनरावृत्ति संख्या के फलन के रूप में सामान्यीकरण त्रुटि पर ऊपरी सीमाओं के विश्लेषण पर आधारित हैं। वे चलाने के लिए पुनरावृत्तियों की संख्या के लिए नुस्खे प्रदान करते हैं जिनकी गणना समाधान प्रक्रिया शुरू करने से पहले की जा सकती है। यह सैद्धांतिक आधार अर्ली स्टॉपिंग को विशुद्ध रूप से अनुमानी दृष्टिकोणों से अलग करता है।
#### उदाहरण: न्यूनतम-वर्ग हानि
याओ, रोसास्को और कैपोनेटो, 2007 से अनुकूलित: मान लीजिए कि इनपुट स्थान n-आयामी वास्तविक स्थान का एक उपसमुच्चय है और आउटपुट स्थान वास्तविक संख्याएँ हैं। एक अज्ञात संभाव्यता माप से स्वतंत्र रूप से खींचे गए नमूनों के एक सेट को देखते हुए, लक्ष्य न्यूनतम-वर्ग हानि फलन के लिए अपेक्षित जोखिम को न्यूनतम करना है। प्रतिगमन फलन इनपुट दिए जाने पर आउटपुट की सशर्त अपेक्षा है। इस सेटिंग के लिए अर्ली स्टॉपिंग नियम एक स्टॉपिंग पुनरावृत्ति प्रदान करते हैं जो पूर्वाग्रह और विचरण को संतुलित करता है, जिससे कई मामलों में इष्टतम अभिसरण दरें प्राप्त होती हैं।
व्यावहारिक कार्यान्वयन
व्यवहार में, अर्ली स्टॉपिंग को प्रशिक्षण के दौरान सत्यापन सेट पर मॉडल के प्रदर्शन की निगरानी करके लागू किया जाता है। प्रत्येक युग (epoch) के बाद (या पुनरावृत्तियों की एक निश्चित संख्या के बाद), मॉडल का मूल्यांकन सत्यापन सेट पर किया जाता है। यदि सत्यापन प्रदर्शन में जाँच की एक पूर्वनिर्धारित संख्या के लिए सुधार नहीं हुआ है, तो प्रशिक्षण रोक दिया जाता है। यह धैर्य पैरामीटर (patience parameter) सत्यापन प्रदर्शन में अस्थायी उतार-चढ़ाव को समय से पहले रोके बिना अनुमति देता है। सर्वोत्तम सत्यापन प्रदर्शन प्राप्त करने वाले मॉडल मापदंडों को आम तौर पर अंतिम पुनरावृत्ति के अंतिम मापदंडों के बजाय बनाए रखा जाता है।
यह दृष्टिकोण Transformer (architecture) मॉडल और बड़े भाषा मॉडल के प्रशिक्षण में व्यापक रूप से उपयोग किया जाता है, जहाँ प्रशिक्षण अत्यंत महंगा हो सकता है और ओवरफिटिंग एक सतत जोखिम है। उदाहरण के लिए, OpenAI और Google DeepMind अपने प्रशिक्षण पाइपलाइनों में अर्ली स्टॉपिंग का उपयोग यह सुनिश्चित करने के लिए करते हैं कि मॉडल अनदेखे डेटा पर अच्छी तरह से सामान्यीकरण करें।
अन्य नियमितीकरण विधियों से संबंध
अर्ली स्टॉपिंग अन्य प्रकार के नियमितीकरण से निकटता से संबंधित है। विशेष रूप से, यह दिखाया गया है कि ग्रेडिएंट डिसेंट में अर्ली स्टॉपिंग कुछ सेटिंग्स में L2 नियमितीकरण (जिसे वेट डेके (weight decay) भी कहा जाता है) के बराबर है, जिसमें पुनरावृत्तियों की संख्या नियमितीकरण शक्ति के व्युत्क्रम के अनुरूप भूमिका निभाती है। यह संबंध इस बात की अंतर्दृष्टि प्रदान करता है कि अर्ली स्टॉपिंग क्यों काम करती है: यह अद्यतनों की संख्या को प्रतिबंधित करके मॉडल की प्रभावी जटिलता को सीमित करता है, उसी तरह जैसे वेट डेके बड़े वजन को दंडित करता है।
स्पष्ट नियमितीकरण विधियों के विपरीत जो हानि फलन को संशोधित करती हैं, अर्ली स्टॉपिंग अंतर्निहित नियमितीकरण का एक रूप है। यह उद्देश्य को नहीं बदलता है बल्कि अनुकूलन पथ को प्रतिबंधित करता है। यह इसे अंतर्निहित मॉडल वास्तुकला या हानि फलन को संशोधित किए बिना किसी भी पुनरावृत्तीय प्रशिक्षण एल्गोरिदम पर लागू करना आसान बनाता है।
सैद्धांतिक आधार
अर्ली स्टॉपिंग के सैद्धांतिक आधारों का सांख्यिकीय शिक्षण सिद्धांत के संदर्भ में व्यापक रूप से अध्ययन किया गया है। शोधकर्ताओं ने पुनरावृत्तियों की संख्या के फलन के रूप में सामान्यीकरण त्रुटि पर सीमाएँ प्राप्त की हैं, यह दर्शाते हुए कि एक इष्टतम स्टॉपिंग समय मौजूद है जो अपेक्षित त्रुटि को न्यूनतम करता है। ये सीमाएँ अक्सर परिकल्पना स्थान के गुणों, जैसे कि इसकी क्षमता या जटिलता, और डेटा में शोर स्तर पर निर्भर करती हैं।
प्रजनन कर्नेल हिल्बर्ट स्थानों में गैर-पैरामीट्रिक प्रतिगमन के लिए, अर्ली स्टॉपिंग को कुछ शर्तों के तहत मिनिमैक्स इष्टतम दरें प्राप्त करने के लिए दिखाया गया है। इसका मतलब है कि समान धारणाओं को देखते हुए, कोई अन्य अनुमानक कम स्पर्शोन्मुख त्रुटि प्राप्त नहीं कर सकता है। ये परिणाम व्यवहार में अर्ली स्टॉपिंग का उपयोग करने के लिए एक कठोर औचित्य प्रदान करते हैं।
आधुनिक AI में अनुप्रयोग
अर्ली स्टॉपिंग आधुनिक AI प्रणालियों के प्रशिक्षण में एक मानक घटक है। Deep learning में, इसका उपयोग छवि वर्गीकरण, भाषण पहचान और प्राकृतिक भाषा प्रसंस्करण जैसे कार्यों के लिए कन्वोल्यूशनल नेटवर्क, आवर्तक नेटवर्क और ट्रांसफॉर्मर को प्रशिक्षित करने के लिए किया जाता है। Anthropic और OpenAI जैसी कंपनियाँ GPT और Claude जैसे मॉडलों को प्रशिक्षित करते समय अपने विशाल डेटासेट पर ओवरफिटिंग से बचने के लिए अर्ली स्टॉपिंग का उपयोग करती हैं।
पर्यवेक्षित शिक्षण के अलावा, अर्ली स्टॉपिंग को अनपर्यवेक्षित और सुदृढीकरण शिक्षण सेटिंग्स में भी लागू किया जाता है। उदाहरण के लिए, जनरेटिव मॉडल के प्रशिक्षण में, अर्ली स्टॉपिंग जनरेटर को प्रशिक्षण नमूनों को याद करने से रोक सकता है। सुदृढीकरण शिक्षण में, यह प्रशिक्षण को रोक सकता है जब एजेंट का प्रदर्शन सत्यापन वातावरण पर स्थिर हो जाता है।
सीमाएँ और विचार
जबकि अर्ली स्टॉपिंग सरल और प्रभावी है, इसकी सीमाएँ हैं। सत्यापन सेट का चुनाव और धैर्य पैरामीटर अंतिम मॉडल गुणवत्ता को महत्वपूर्ण रूप से प्रभावित कर सकते हैं। यदि सत्यापन सेट बहुत छोटा है, तो प्रदर्शन अनुमान शोर भरे हो सकते हैं, जिससे समय से पहले या विलंबित रोक हो सकती है। इसके अतिरिक्त, अर्ली स्टॉपिंग अन्य हाइपरपैरामीटर, जैसे कि सीखने की दर और बैच आकार, के साथ परस्पर क्रिया कर सकती है, जिससे इसे अलगाव में ट्यून करना मुश्किल हो जाता है।
एक और विचार यह है कि अर्ली स्टॉपिंग मानता है कि सत्यापन प्रदर्शन सामान्यीकरण के लिए एक विश्वसनीय प्रॉक्सी है। कुछ मामलों में, जैसे कि जब डेटा वितरण समय के साथ बदलता है, यह धारणा सही नहीं हो सकती है। फिर भी, अर्ली स्टॉपिंग मशीन लर्निंग चिकित्सक के टूलकिट में एक मौलिक उपकरण बना हुआ है।