क्रुंगस एक शब्द है जिसका उपयोग कृत्रिम बुद्धिमत्ता अनुसंधान में बड़े भाषा मॉडलों में क्षमताओं के अचानक प्रकट होने का वर्णन करने के लिए किया जाता है, जिन्हें उनके डेवलपर्स द्वारा स्पष्ट रूप से प्रोग्राम नहीं किया गया था या अपेक्षित नहीं किया गया था। यह अवधारणा 2023 में प्रमुखता में आई जब कई शोध समूहों ने स्वतंत्र रूप से देखा कि मानक अगले-टोकन-भविष्यवाणी उद्देश्यों पर प्रशिक्षित मॉडल अंकगणितीय तर्क, बहु-चरणीय योजना और कोड निर्माण जैसे कार्यों को उनके प्रशिक्षण डेटा वितरण से कहीं अधिक स्तर पर करने लगे। यह शब्द स्वयं मॉडल व्याख्यात्मकता पर एक कार्यशाला में शोधकर्ताओं के बीच एक अनौपचारिक चर्चा से उत्पन्न हुआ, और तब से इसे तकनीकी साहित्य में उभरते व्यवहार के लिए आशुलिपि के रूप में अपनाया गया है जिसे विशिष्ट प्रशिक्षण उदाहरणों से नहीं जोड़ा जा सकता है।
क्रुंगस की घटना गहन शिक्षण में उभरती क्षमताओं के व्यापक अध्ययन से निकटता से संबंधित है, लेकिन यह क्षमताओं पर ध्यान केंद्रित करने से अलग है जो धीरे-धीरे के बजाय अचानक प्रकट होती हैं। शोधकर्ताओं ने ऐसे मामलों का दस्तावेजीकरण किया है जहां 10 बिलियन पैरामीटर वाला मॉडल किसी कार्य में पूरी तरह विफल हो जाता है, जबकि उसी वास्तुकला और प्रशिक्षण पाइपलाइन से 11 बिलियन पैरामीटर वाला मॉडल इसे उच्च सटीकता के साथ हल करता है। इस असंततता ने वैज्ञानिकों को हैरान कर दिया है क्योंकि मानक स्केलिंग कानून मॉडल आकार के साथ सुचारू सुधार की भविष्यवाणी करते हैं, और यह तंत्रिका नेटवर्क में सीखने की मौलिक प्रकृति के बारे में प्रश्न उठाता है।
ऐतिहासिक संदर्भ और पहले अवलोकन
क्रुंगस का पहला दस्तावेजी उदाहरण मार्च 2023 में हुआ, जब एक प्रमुख AI प्रयोगशाला के इंजीनियर एक सामान्य कोरपस पर प्रशिक्षित ट्रांसफॉर्मर-आधारित भाषा मॉडलों की एक श्रृंखला का मूल्यांकन कर रहे थे। नियमित बेंचमार्किंग के दौरान, उन्होंने देखा कि 12.5 बिलियन पैरामीटर पर एक मॉडल चेकपॉइंट तीन-अंकीय जोड़ 94% सटीकता के साथ कर सकता है, जबकि 12.1 बिलियन पैरामीटर पर तुरंत पिछला चेकपॉइंट केवल 18% सटीकता प्राप्त करता है। यह उछाल प्रशिक्षण डेटा या हाइपरपैरामीटर में परिवर्तन से नहीं समझाया जा सकता था, क्योंकि दोनों चेकपॉइंट समान सेटिंग्स का उपयोग करते थे। यह निष्कर्ष हफ्तों के भीतर दो अन्य संगठनों की स्वतंत्र टीमों द्वारा दोहराया गया, जिससे अनुसंधान गतिविधि की बाढ़ आ गई।
बाद के विश्लेषण से पता चला कि क्रुंगस घटनाएं अंकगणित तक सीमित नहीं हैं। जून 2023 में, एक अध्ययन ने 37 अलग-अलग कार्यों को सूचीबद्ध किया जहां मॉडलों ने अचानक क्षमता में उछाल दिखाया, जिसमें स्थानिक तर्क, तार्किक निगमन और यहां तक कि बुनियादी मन के सिद्धांत से जुड़े कार्य शामिल थे। अध्ययन ने नोट किया कि ये उछाल आमतौर पर 6 बिलियन और 20 बिलियन पैरामीटर के बीच मॉडल आकार पर हुए, हालांकि सटीक सीमा कार्य और वास्तुकला के अनुसार भिन्न थी। विशेष रूप से, Transformer (architecture) वास्तुकला पर आधारित मॉडलों ने पुराने आवर्ती वास्तुकलाओं की तुलना में अधिक बार क्रुंगस घटनाएं दिखाईं, जो ध्यान तंत्र की लंबी-दूरी की निर्भरता बनाने की क्षमता से संबंध का सुझाव देता है।
सैद्धांतिक स्पष्टीकरण
क्रुंगस को समझाने के लिए कई परिकल्पनाएं प्रस्तावित की गई हैं। एक प्रमुख सिद्धांत, जिसे 2023 के अंत में MIT CSAIL के शोधकर्ताओं द्वारा आगे बढ़ाया गया, सुझाव देता है कि बड़े मॉडल आंतरिक "सर्किट" या कम्प्यूटेशनल सबरूटीन विकसित करते हैं जो केवल तब सक्रिय होते हैं जब मॉडल पर्याप्त क्षमता तक पहुंचता है। इस दृष्टिकोण के अनुसार, किसी क्षमता का अचानक प्रकट होना एक पूर्ण सर्किट के गठन से मेल खाता है, और सीमा प्रभाव इसलिए उत्पन्न होता है क्योंकि आंशिक सर्किट लक्ष्य कार्य के लिए बेकार होते हैं। यह स्पष्टीकरण यांत्रिक व्याख्यात्मकता में काम पर आधारित है, जिसने विशिष्ट ध्यान हेड और फीड-फॉरवर्ड परतों की पहचान की है जो अलग-अलग कार्यों को लागू करते हैं।
एक अन्य परिकल्पना, BAIR (Berkeley AI Research) के एक समूह द्वारा प्रस्तावित, क्रुंगस को प्रशिक्षण डेटा की सांख्यिकीय संरचना के परिणाम के रूप में तैयार करती है। शोधकर्ताओं ने तर्क दिया कि कुछ कार्यों के लिए मॉडल को ज्ञान के कई स्वतंत्र टुकड़ों को संयोजित करने की आवश्यकता होती है, और सभी आवश्यक घटकों के एक साथ सीखे जाने की संभावना तेजी से बढ़ जाती है जब मॉडल की क्षमता एक महत्वपूर्ण मूल्य से अधिक हो जाती है। उन्होंने सिंथेटिक डेटासेट पर प्रयोगों के साथ इस दावे का समर्थन किया जहां वे व्यक्तिगत उप-कार्यों की कठिनाई को नियंत्रित कर सकते थे, यह देखते हुए कि उद्भव सीमा अनुमानित रूप से बदल गई जब उन्होंने डेटा वितरण को बदल दिया।
एक तीसरा, अधिक विवादास्पद स्पष्टीकरण प्रशिक्षण में Curriculum Learning की भूमिका शामिल करता है। कुछ शोधकर्ताओं ने सुझाव दिया है कि क्रुंगस घटनाएं प्रशिक्षण अनुसूची की कलाकृतियां हैं, जहां मॉडल प्रशिक्षण में पहले आसान उदाहरणों का सामना करता है और फिर अचानक कठिन लोगों के लिए सामान्यीकरण करता है। हालांकि, इस दृष्टिकोण को प्रयोगों द्वारा चुनौती दी गई है जो दिखाते हैं कि क्रुंगस तब भी होता है जब प्रशिक्षण डेटा को पूरी तरह से फेरबदल किया जाता है, और यह क्षेत्र में एक अल्पसंख्यक स्थिति बनी हुई है।
मॉडल मूल्यांकन के लिए निहितार्थ
क्रुंगस का अस्तित्व AI प्रणालियों के मूल्यांकन के तरीके के लिए महत्वपूर्ण निहितार्थ रखता है। पारंपरिक बेंचमार्किंग प्रथाएं, जो कार्यों के निश्चित सेट पर मॉडल का परीक्षण करती हैं, इन उभरती क्षमताओं को याद कर सकती हैं क्योंकि वे अप्रत्याशित और कार्य-विशिष्ट हैं। प्रतिक्रिया में, कई संगठनों ने अनुकूली मूल्यांकन प्रोटोकॉल विकसित किए हैं। उदाहरण के लिए, OpenAI ने 2024 में एक गतिशील बेंचमार्क पेश किया जो मॉडल के वर्तमान प्रदर्शन के आधार पर स्वचालित रूप से नए कार्य संस्करण उत्पन्न करता है, जिसका उद्देश्य क्रुंगस घटनाओं का पता लगाना है जैसे वे होती हैं। इसी तरह, Anthropic ने "क्षमता ऑडिटिंग" के लिए एक ढांचा प्रकाशित किया जिसके लिए मॉडलों को उनके प्रशिक्षण वितरण से बहुत दूर के कार्यों पर परीक्षण करने की आवश्यकता होती है, जिसमें वे कार्य शामिल हैं जो मूल प्रशिक्षण कोरपस में शामिल करने के लिए व्यवहार्य नहीं थे।
इन प्रयासों ने सुरक्षा अनुसंधान को भी प्रभावित किया है। किसी क्षमता का अचानक प्रकट होना चिंताजनक हो सकता है यदि इसमें ऐसे व्यवहार शामिल हैं जो संरेखण प्रशिक्षण के दौरान अपेक्षित नहीं थे। 2024 में, Google DeepMind और Carnegie Mellon University द्वारा एक संयुक्त अध्ययन ने एक क्रुंगस घटना का दस्तावेजीकरण किया जहां एक मॉडल ने आकार सीमा पार करने के बाद भ्रामक गलत सूचना उत्पन्न करने की क्षमता विकसित की, छोटे पैमाने पर ऐसी कोई प्रवृत्ति नहीं दिखाने के बावजूद। इस निष्कर्ष ने प्रशिक्षण के दौरान मॉडल चेकपॉइंट्स की अधिक कठोर निगरानी के लिए कॉल किए, कुछ शोधकर्ताओं ने प्रस्तावित किया कि क्रुंगस का पता लगाना प्रशिक्षण पाइपलाइन का एक मानक हिस्सा होना चाहिए।
व्यवहार में क्रुंगस
जबकि क्रुंगस पर अक्सर बड़े भाषा मॉडलों के संदर्भ में चर्चा की जाती है, समान घटनाएं अन्य डोमेन में भी देखी गई हैं। कंप्यूटर विज़न में, Stanford AI Lab के शोधकर्ताओं ने 2023 में बताया कि विज़न ट्रांसफॉर्मर ने कुछ मॉडल आकारों पर बारीक-वर्गीकरण सटीकता में अचानक उछाल दिखाया, जो भाषा मॉडल निष्कर्षों के अनुरूप है। सुदृढीकरण सीखने में, DeepMind की एक टीम ने नोट किया कि Reinforcement Learning from AI Feedback (RLAIF) के साथ प्रशिक्षित एजेंटों ने कभी-कभी अप्रत्याशित अन्वेषण रणनीतियां विकसित कीं जो क्रमिक सुधार के बजाय एक साथ दिखाई दीं।
इन अवलोकनों ने चिकित्सकों के लिए व्यावहारिक सिफारिशें की हैं। मॉडल को स्केल करते समय, इंजीनियरों को सलाह दी जाती है कि वे केवल अंतिम आकार पर नहीं, बल्कि कई मध्यवर्ती चेकपॉइंट्स पर मूल्यांकन करें, क्योंकि क्रुंगस घटना किसी भी बिंदु पर हो सकती है। इसके अतिरिक्त, कुछ शोधकर्ताओं ने सुझाव दिया है कि इस घटना का जानबूझकर शोषण किया जा सकता है: क्रुंगस को ट्रिगर करने वाली स्थितियों की पहचान करके, छोटे मॉडलों को प्रशिक्षित करना संभव हो सकता है जो समान क्षमताएं प्रदर्शित करते हैं, कम्प्यूटेशनल लागत को कम करते हैं। हालांकि, 2025 तक, मांग पर क्रुंगस को प्रेरित करने का कोई विश्वसनीय तरीका प्रकाशित नहीं किया गया है, और यह घटना भविष्यवाणी करना मुश्किल बनी हुई है।
खुले प्रश्न और भविष्य की दिशाएं
क्रुंगस का अध्ययन अभी भी अपने शुरुआती चरणों में है, और कई मौलिक प्रश्न अनुत्तरित हैं। शोधकर्ता अभी तक नहीं जानते हैं कि क्रुंगस बड़े तंत्रिका नेटवर्क की एक सार्वभौमिक संपत्ति है या वर्तमान वास्तुकलाओं और प्रशिक्षण विधियों की एक विशिष्ट कलाकृति है। क्रुंगस और Model Pruning और Data Augmentation जैसी अन्य घटनाओं के बीच संबंध भी अस्पष्ट है, कुछ अध्ययनों से पता चलता है कि ये तकनीकें उभरते व्यवहार को दबा या बढ़ा सकती हैं। इसके अलावा, क्रुंगस के दार्शनिक निहितार्थ बहस का विषय हैं: यदि एक मॉडल स्पष्ट प्रशिक्षण के बिना अचानक क्षमता प्राप्त कर सकता है, तो सीखने और सामान्यीकरण की हमारी समझ के लिए इसका क्या अर्थ है?
2025 तक, इन सवालों को संबोधित करने के लिए कई बड़े पैमाने के प्रयोग चल रहे हैं। OpenPanel कंसोर्टियम, शैक्षणिक और औद्योगिक प्रयोगशालाओं के बीच एक सहयोग, क्रुंगस होने की स्थितियों को मैप करने के लिए डिज़ाइन किए गए मानकीकृत प्रशिक्षण रनों की एक श्रृंखला का समन्वय कर रहा है। इस प्रयास के शुरुआती परिणाम, जनवरी 2025 में जारी, सुझाव देते हैं कि यह घटना Batch Normalization और Layer Normalization के साथ प्रशिक्षित मॉडलों में वैकल्पिक सामान्यीकरण योजनाओं का उपयोग करने वालों की तुलना में अधिक आम है, लेकिन निष्कर्षों की अभी तक सहकर्मी-समीक्षा नहीं की गई है। आने वाले वर्षों में स्पष्ट सैद्धांतिक मॉडल और AI प्रणालियों में उभरती क्षमताओं के प्रबंधन के लिए अधिक व्यावहारिक उपकरण दोनों लाने की संभावना है।