ग्रोकिंग एक ऐसी घटना है जो मशीन लर्निंग में देखी जाती है, विशेष रूप से डीप लर्निंग में, जहाँ एक तंत्रिका नेटवर्क प्रशिक्षण डेटा को लंबे समय तक याद रखता हुआ प्रतीत होता है, इससे पहले कि वह अचानक वास्तविक सामान्यीकरण की स्थिति में परिवर्तित हो जाता है। यह शब्द, जिसे 2022 में OpenAI के शोधकर्ताओं द्वारा गढ़ा गया था, स्पष्ट ओवरफिटिंग के लंबे चरण के बाद अनदेखे डेटा पर प्रदर्शन में अचानक और अक्सर नाटकीय सुधार का वर्णन करता है। यह विलंबित सामान्यीकरण सामान्य प्रशिक्षण गतिशीलता के विपरीत है, जहाँ मॉडल धीरे-धीरे सुधरते हैं या जल्दी स्थिर हो जाते हैं, और इसका तंत्रिका नेटवर्क के सीखने के तरीके को समझने पर महत्वपूर्ण प्रभाव पड़ता है।
इस घटना का पहली बार व्यवस्थित रूप से दस्तावेजीकरण 2022 के एक पेपर में एलेथिया पावर और OpenAI के सहयोगियों द्वारा किया गया था, जिन्होंने मॉड्यूलर अंकगणित जैसे एल्गोरिथमिक कार्यों पर प्रशिक्षित छोटे ट्रांसफॉर्मर मॉडल का अध्ययन किया। उन्होंने पाया कि मॉडल ने प्रशिक्षण डेटा पर लगभग पूर्ण सटीकता प्राप्त करने के बाद, यह कई और चरणों तक प्रशिक्षण जारी रखा, मान्यता डेटा पर कोई दृश्य सुधार नहीं दिखा, केवल अचानक लगभग पूर्ण सामान्यीकरण प्राप्त करने के लिए। यह "ग्रोकिंग" घटना, जिसका नाम रॉबर्ट ए. हेनलेन के 1961 के उपन्यास स्ट्रेंजर इन ए स्ट्रेंज लैंड (जहाँ "ग्रोक" का अर्थ गहराई से समझना है) से लिया गया है, तब से विभिन्न आर्किटेक्चर और कार्यों में दोहराई गई है, जिससे अंतर्निहित तंत्रों पर शोध को बढ़ावा मिला है।
विशेषताएँ और शर्तें
ग्रोकिंग आमतौर पर विशिष्ट शर्तों के साथ प्रशिक्षित मॉडलों में होता है: छोटे डेटासेट, सरल एल्गोरिथमिक कार्य, और कुछ नियमितीकरण तकनीकें। यह घटना सबसे अधिक स्पष्ट होती है जब मॉडल को वेट डेके (जो बड़े वेट को दंडित करता है) या ड्रॉपआउट या डेटा ऑग्मेंटेशन जैसे अन्य नियमितीकरण रूपों के साथ प्रशिक्षित किया जाता है। कई प्रयोगों में, ग्रोकिंग केवल तब प्रकट होता है जब मॉडल ने प्रशिक्षण डेटा को पूरी तरह से ओवरफिट कर लिया हो, और परिवर्तन अक्सर तीव्र होता है, जो लंबे स्थिर चरण के बाद कुछ सौ या हज़ार प्रशिक्षण चरणों के भीतर होता है।
ग्रोकिंग से पहले की देरी काफी बड़ी हो सकती है, कभी-कभी प्रारंभिक फिटिंग की तुलना में परिमाण के क्रमों में अधिक प्रशिक्षण चरणों की आवश्यकता होती है। उदाहरण के लिए, मूल मॉड्यूलर अंकगणित प्रयोगों में, मॉडलों ने डेटा को याद करने के लिए दसियों हज़ार चरण लिए, फिर सैकड़ों हज़ार चरणों के लिए स्थिर रहे, इससे पहले कि वे अचानक सामान्यीकरण करें। यह व्यवहार हाइपरपैरामीटर के प्रति संवेदनशील है: बड़े मॉडल तेजी से ग्रोक करते हैं, जबकि छोटे मॉडल कभी ग्रोक नहीं कर सकते, और वेट डेके की उपस्थिति अक्सर महत्वपूर्ण होती है।
सैद्धांतिक व्याख्याएँ
ग्रोकिंग को समझाने के लिए कई सिद्धांत प्रस्तावित किए गए हैं, हालाँकि 2025 तक कोई सर्वसम्मति नहीं है। एक प्रमुख परिकल्पना यह है कि ग्रोकिंग मॉडल के आंतरिक प्रतिनिधित्व में स्मरण और सामान्यीकरण के बीच प्रतिस्पर्धा से उत्पन्न होता है। स्थिर चरण के दौरान, नेटवर्क प्रशिक्षण उदाहरणों को एक जटिल, ओवरफिटेड तरीके से एन्कोड करता है, लेकिन ग्रेडिएंट डिसेंट धीरे-धीरे इन प्रतिनिधित्वों को सरल बनाता है, अंततः एक अधिक सामान्य समाधान खोजता है। यह प्रक्रिया भौतिकी में चरण संक्रमणों के समान है, जहाँ एक प्रणाली अचानक कम-ऊर्जा स्थिति में पुनर्गठित होती है।
काम की एक और पंक्ति, जिसमें टोरंटो विश्वविद्यालय और अन्य जगहों के शोधकर्ताओं के अध्ययन शामिल हैं, सुझाव देती है कि ग्रोकिंग हानि परिदृश्य की ज्यामिति से संबंधित है। मॉडल शुरू में एक तीव्र न्यूनतम में फंस सकता है जो खराब सामान्यीकरण करता है, लेकिन जैसे-जैसे प्रशिक्षण जारी रहता है, यह एक सपाट न्यूनतम में भाग जाता है जो बेहतर सामान्यीकरण करता है। वेट डेके तीव्र समाधानों को दंडित करके इस भागने को प्रोत्साहित करता है। इसके अतिरिक्त, कुछ शोध ने ग्रोकिंग को मॉड्यूलर या संरचित प्रतिनिधित्वों के उद्भव से जोड़ा है, जैसे अंकगणितीय कार्यों में फूरियर विशेषताएँ, जो मॉडल को याद किए गए उदाहरणों के बजाय सामान्य नियमों का उपयोग करके उत्तरों की गणना करने की अनुमति देती हैं।
मशीन लर्निंग के लिए निहितार्थ
ग्रोकिंग ओवरफिटिंग और सामान्यीकरण के बारे में पारंपरिक ज्ञान को चुनौती देता है। मानक अभ्यास में, प्रशिक्षण तब रोक दिया जाता है जब मान्यता प्रदर्शन स्थिर हो जाता है, लेकिन ग्रोकिंग दिखाता है कि प्रशिक्षण जारी रखने से नाटकीय सुधार हो सकते हैं, यहाँ तक कि स्पष्ट अभिसरण के बाद भी। इसका बड़े मॉडलों के प्रशिक्षण पर व्यावहारिक प्रभाव पड़ता है, जहाँ कम्प्यूटेशनल बजट अक्सर सीमित होते हैं। यदि वास्तविक दुनिया के कार्यों में ग्रोकिंग होता है, तो इसका मतलब हो सकता है कि कुछ मॉडल अप्रशिक्षित हैं और लंबे प्रशिक्षण रन से लाभान्वित होंगे, लेकिन ग्रोकिंग की शुरुआत का पता लगाना मुश्किल है क्योंकि यह अप्रत्याशित है और अत्यधिक कंप्यूट की आवश्यकता हो सकती है।
यह घटना यह अध्ययन करने के लिए एक परीक्षण मंच भी प्रदान करती है कि तंत्रिका नेटवर्क स्मरण से सामान्यीकरण में कैसे परिवर्तित होते हैं, जो बड़े भाषा मॉडल और अन्य AI प्रणालियों की क्षमताओं को समझने के लिए प्रासंगिक है। शोधकर्ताओं ने ग्रोकिंग और बड़े मॉडलों में क्षमताओं के अचानक उद्भव के बीच समानताएँ खींची हैं, हालाँकि संबंध अनुमानित बना हुआ है। ग्रोकिंग को समझना सीखने को तेज करने के लिए तकनीकों को सूचित कर सकता है, जैसे पाठ्यक्रम सीखना या अनुकूली नियमितीकरण, और अधिक विश्वसनीय रूप से सामान्यीकरण करने वाले मॉडलों को डिजाइन करने में मदद कर सकता है।
संबंधित घटनाएँ और अनुसंधान दिशाएँ
ग्रोकिंग अन्य देखी गई प्रशिक्षण गतिशीलता से संबंधित है, जैसे "डबल डिसेंट," जहाँ परीक्षण प्रदर्शन पहले सुधरता है, फिर बिगड़ता है, फिर मॉडल आकार बढ़ने पर फिर सुधरता है। दोनों घटनाएँ तंत्रिका नेटवर्क में सीखने की गैर-मोनोटोनिक प्रकृति को उजागर करती हैं। हालाँकि, ग्रोकिंग अलग है क्योंकि यह एक निश्चित मॉडल के लिए समय के साथ होता है, न कि मॉडल आकार पर। एक और संबंधित अवधारणा जैविक प्रणालियों में "महत्वपूर्ण सीखने की अवधि" है, जहाँ उचित विकास के लिए कुछ अनुभव विशिष्ट समय पर होने चाहिए, जिसकी तुलना कुछ शोधकर्ताओं ने ग्रोकिंग घटनाओं के समय से की है।
वर्तमान अनुसंधान दिशाओं में बड़े मॉडलों और अधिक जटिल कार्यों, जैसे प्राकृतिक भाषा प्रसंस्करण, में ग्रोकिंग की जाँच शामिल है, जहाँ साक्ष्य मिश्रित हैं। कुछ अध्ययनों ने ट्रांसफॉर्मर-आधारित भाषा मॉडलों में ग्रोकिंग जैसा व्यवहार बताया है, लेकिन अन्य ने इसे नहीं देखा है, संभवतः अनुकूलन और डेटा पैमाने में अंतर के कारण। शोधकर्ता यह भी खोज रहे हैं कि प्रारंभिकरण, सीखने की दर अनुसूचियाँ, और आर्किटेक्चर विकल्प ग्रोकिंग को कैसे प्रभावित करते हैं, भविष्यवाणी सिद्धांतों को विकसित करने के लक्ष्य के साथ। 2025 तक, ग्रोकिंग अध्ययन का एक सक्रिय क्षेत्र बना हुआ है, जिसमें इसकी सार्वभौमिकता, तंत्र और व्यावहारिक प्रासंगिकता के बारे में खुले प्रश्न हैं।
यह भी देखें
- डीप लर्निंग
- तंत्रिका नेटवर्क
- ट्रांसफॉर्मर
- OpenAI
- वेट प्रारंभिकरण
- पाठ्यक्रम सीखना
- डेटा ऑग्मेंटेशन
- मॉडल प्रूनिंग
संदर्भ
पावर, ए., बुर्दा, वाई., एडवर्ड्स, एच., बाबुश्किन, आई., और मिस्रा, वी. (2022). ग्रोकिंग: छोटे एल्गोरिथमिक डेटासेट पर ओवरफिटिंग से परे सामान्यीकरण। arXiv प्रीप्रिंट arXiv:2201.02177।
नंदा, एन., चान, एल., लीबेरम, टी., स्मिथ, जे., और स्टीनहार्ड्ट, जे. (2023). यांत्रिक व्याख्यात्मकता के माध्यम से ग्रोकिंग के लिए प्रगति उपाय। arXiv प्रीप्रिंट arXiv:2301.05217।
वर्मा, वी., दास, आर., श्मिट, डी., और शाह, एन. (2023). सर्किट दक्षता के माध्यम से ग्रोकिंग की व्याख्या। arXiv प्रीप्रिंट arXiv:2309.02390।