करिकुलम लर्निंग Machine learning की एक तकनीक है जिसमें एक मॉडल को बढ़ती कठिनाई के उदाहरणों पर प्रशिक्षित किया जाता है, जहाँ "कठिनाई" की परिभाषा बाहरी रूप से प्रदान की जा सकती है या प्रशिक्षण प्रक्रिया के भाग के रूप में खोजी जा सकती है। इसका उद्देश्य अच्छा प्रदर्शन तेज़ी से प्राप्त करना है, या यदि वैश्विक इष्टतम नहीं मिलता है तो बेहतर स्थानीय इष्टतम में अभिसरण करना है। यह मानव और पशु सीखने से लिए गए सहज विचार पर आधारित है कि सरल समस्याओं से शुरू करना एक शिक्षार्थी को जटिल कार्यों से निपटने से पहले नींव बनाने में मदद कर सकता है।
यह विधि आधुनिक Deep learning और Artificial intelligence में एक महत्वपूर्ण उपकरण बन गई है, जिसके अनुप्रयोग प्राकृतिक भाषा प्रसंस्करण से लेकर स्वायत्त ड्राइविंग तक हैं। हालाँकि हर समस्या को करिकुलम लर्निंग से लाभ नहीं होता, यह विभिन्न क्षेत्रों में सफलता दिखा चुकी है, अक्सर नियमितीकरण के एक रूप के रूप में जो खराब स्थानीय न्यूनतम से बचने में मदद करता है। मूल विचार वही रहता है: प्रशिक्षण डेटा को एक साथ या यादृच्छिक रूप से प्रस्तुत करने के बजाय बढ़ती कठिनाई के क्रम में प्रस्तुत किया जाता है।
कठिनाई को परिभाषित करना
करिकुलम लर्निंग में एक केंद्रीय चुनौती यह परिभाषित करना है कि किसी उदाहरण को "आसान" या "कठिन" क्या बनाता है। यह डोमेन और उपलब्ध संसाधनों के आधार पर कई तरीकों से किया जा सकता है। एक सामान्य दृष्टिकोण मानव एनोटेशन का उपयोग करना है, जहाँ विशेषज्ञ जटिलता के आधार पर उदाहरणों को लेबल करते हैं। उदाहरण के लिए, Large language model प्रशिक्षण में, छोटे वाक्यों को लंबे वाक्यों की तुलना में आसान के रूप में वर्गीकृत किया जा सकता है। वैकल्पिक रूप से, एक बाहरी अनुमानी शब्द आवृत्ति, छवि रिज़ॉल्यूशन, या दृश्य में वस्तुओं की संख्या जैसे गुणों के आधार पर कठिनाई स्कोर निर्दिष्ट कर सकता है।
एक अन्य दृष्टिकोण कठिनाई को स्वचालित करने के लिए एक अलग मॉडल के प्रदर्शन का उपयोग करना है। जिन उदाहरणों को एक पूर्व-प्रशिक्षित मॉडल सटीक रूप से भविष्यवाणी करता है उन्हें आसान माना जाता है, जबकि जो गलत वर्गीकृत होते हैं वे कठिन होते हैं। इस विधि का बूस्टिंग से घनिष्ठ संबंध है, जहाँ कमजोर शिक्षार्थियों को गलतियों पर ध्यान केंद्रित करके जोड़ा जाता है। कठिनाई को प्रशिक्षण के दौरान गतिशील रूप से भी मापा जा सकता है, जैसे कि व्यक्तिगत उदाहरणों पर मॉडल के स्वयं के नुकसान को ट्रैक करके, जो स्व-गति वाली सीखने की रणनीतियों की ओर ले जाता है।
कठिनाई परिभाषा में भिन्नताएँ परिणामों को महत्वपूर्ण रूप से प्रभावित कर सकती हैं। उदाहरण के लिए, छवि पहचान में, एक मॉडल पहले सरल आकृतियाँ सीख सकता है, जैसे वर्ग और वृत्त, इससे पहले कि यह अतिव्यापी वस्तुओं वाले जटिल दृश्यों की ओर बढ़े। Reinforcement learning में, दुश्मनों की संख्या कम करके या बाधाओं को हटाकर एक खेल को सरल बनाया जा सकता है, फिर एजेंट मूल बातें सीखने के बाद धीरे-धीरे पूर्ण वातावरण को बहाल किया जाता है।
शेड्यूलिंग रणनीतियाँ
एक बार कठिनाई परिभाषित हो जाने के बाद, अगला कदम इसे बढ़ाने के लिए शेड्यूल तय करना है। सरल दृष्टिकोण एक निश्चित शेड्यूल का उपयोग करते हैं, जैसे प्रशिक्षण पुनरावृत्तियों के पहले आधे भाग के लिए आसान उदाहरण प्रस्तुत करना और फिर दूसरे आधे भाग के लिए सभी उदाहरणों को मिलाना। यह प्रभावी हो सकता है लेकिन कठिन उदाहरणों को समय से पहले पेश कर सकता है जिनके लिए मॉडल अभी तैयार नहीं है।
अधिक अनुकूली विधियाँ, जिन्हें अक्सर स्व-गति वाली सीखना कहा जाता है, मॉडल के वर्तमान प्रदर्शन के आधार पर कठिनाई बढ़ाती हैं। यदि मॉडल आसान उदाहरणों पर उच्च सटीकता प्राप्त करता है, तो एल्गोरिथ्म स्वचालित रूप से कठिन उदाहरण पेश करता है; यदि प्रदर्शन गिरता है, तो यह आसान डेटा पर वापस आ सकता है। यह सीखने और भूलने के बीच एक गतिशील संतुलन प्रदान करता है। एक और भिन्नता एक संभाव्य शेड्यूल का उपयोग करती है, जहाँ उदाहरण एक वितरण से खींचे जाते हैं जो समय के साथ कठिन उदाहरणों पर अधिक केंद्रित हो जाता है।
प्रत्येक चरण में विविधता भी महत्वपूर्ण है। एक डेटासेट में जहाँ आसान उदाहरण एक-दूसरे के समान रूप से समान होते हैं, एक करिकुलम जो केवल समानता को पुरस्कृत करता है, मॉडल को अति-विशेषज्ञ बना सकता है। इससे बचने के लिए, कुछ रणनीतियाँ स्पष्ट रूप से सुनिश्चित करती हैं कि प्रत्येक मिनी-बैच में कठिनाइयों का मिश्रण शामिल हो। यह विशेष रूप से Computer vision या Natural language processing जैसे क्षेत्रों में प्रासंगिक है, जहाँ डेटासेट में अक्सर अंतर्निहित पूर्वाग्रह होते हैं।
सैद्धांतिक विचार
करिकुलम लर्निंग ट्रांसफर लर्निंग के विचार से निकटता से जुड़ी है: सफलता यह मानती है कि एक मॉडल जो आसान उदाहरणों से सीखता है वह कठिन उदाहरणों पर सामान्यीकरण कर सकता है। उदाहरण के लिए, बुनियादी ज्यामितीय आकृतियों की पहचान करना सीखने के बाद, एक मॉडल अधिक आसानी से नाव या कार की पहचान करना सीख सकता है, जो सरल आकृतियों से बनी होती हैं। इस अर्थ में, आसान उदाहरण प्रेरण या प्राइमिंग का एक रूप प्रदान करते हैं, जबकि कठिन उदाहरण नए पैटर्न पेश करते हैं।
इस तकनीक को अक्सर नियमितीकरण का एक रूप माना जाता है, क्योंकि यह जटिल डेटा को धीरे-धीरे पेश करके ओवरफिटिंग की संभावना को कम करती है। 2009 में योशुआ-बेंजियो और सहयोगियों द्वारा प्रारंभिक कार्य ने दिखाया कि करिकुलम लर्निंग सामान्यीकरण में सुधार करती है, विशेष रूप से परीक्षण सेटों पर। हालाँकि, प्रभाव हमेशा फायदेमंद नहीं होता; कुछ कार्यों में, एंटी-करिकुलम लर्निंग जो पहले सबसे कठिन उदाहरण प्रस्तुत करती है, पारंपरिक करिकुलम से बेहतर प्रदर्शन करती है, विशेष रूप से जब अंतिम उद्देश्य आसान संस्करण से बहुत अलग होता है।
अंतर्निहित सिद्धांत यह है कि छोटे से शुरू करना मॉडल को सामान्य सिद्धांतों को सीखने की अनुमति देता है जो शोर या जटिल विवरणों से उलझे नहीं होते। यह मनुष्यों में संज्ञानात्मक सीखने को दर्शाता है, जहाँ बच्चों को पढ़ना या बीजगणित हल करना सीखने से पहले पहले संख्याओं और अक्षरों जैसी सरल अवधारणाएँ सिखाई जाती हैं। कुछ शोधकर्ताओं ने यह भी सुझाव दिया है कि करिकुलम लर्निंग उन कुछ प्रशिक्षण तकनीकों में से एक है जो कई आर्किटेक्चर में अभिसरण गति और अंतिम सटीकता में लगातार सुधार करती है।
प्राकृतिक भाषा प्रसंस्करण में अनुप्रयोग
प्राकृतिक भाषा प्रसंस्करण में, करिकुलम लर्निंग को भाषण-भाग टैगिंग, इरादा पहचान, भावना विश्लेषण और मशीन अनुवाद जैसे कार्यों पर लागू किया गया है। उदाहरण के लिए, Machine translation में एक करिकुलम छोटे, सरल वाक्यों से शुरू हो सकता है और धीरे-धीरे लंबाई और भाषाई जटिलता बढ़ा सकता है। भाषण-भाग टैगिंग में, मॉडल को अक्सर सरल अंग्रेजी वाक्यों पर प्रशिक्षित किया जाता है इससे पहले कि यह असामान्य व्याकरणिक निर्माणों वाले बड़े कोरपोरा की ओर बढ़े।
GPT जैसे बड़े भाषा मॉडल भी करिकुलम के साथ पूर्व-प्रशिक्षण से लाभान्वित हुए हैं। कुछ दृष्टिकोण प्रशिक्षण कोरपस को वाक्य की लंबाई या दुर्लभ शब्दों की आवृत्ति द्वारा क्रमबद्ध करते हैं। यह मॉडल को अधिक स्थिर तरीके से वाक्यविन्यास और बुनियादी शब्दार्थ प्राप्त करने में मदद कर सकता है। भावना विश्लेषण के लिए, एक आसान उदाहरण स्पष्ट सकारात्मक शब्द जैसे "महान" वाली फिल्म समीक्षा हो सकती है, जबकि एक कठिन उदाहरण अस्पष्ट भाषा के साथ व्यंग्यात्मक हो सकता है। करिकुलम को बेंचमार्क पर तेज़ प्रशिक्षण और बेहतर प्रदर्शन की ओर ले जाता दिखाया गया है, विशेष रूप से जब फाइन-ट्यूनिंग के साथ जोड़ा जाता है।
यहाँ तक कि भाषण पहचान में भी, करिकुलम लर्निंग का उपयोग किया गया है। ACCAN विधि, उदाहरण के लिए, पहले सबसे कम सिग्नल-से-शोर अनुपात वाले उदाहरणों पर प्रशिक्षित होती है, जो शोर भाषण कार्यों में एंटी-करिकुलम का एक उदाहरण है। यह दर्शाता है कि इष्टतम क्रम डोमेन और शोर के प्रकार के आधार पर भिन्न हो सकता है।
कंप्यूटर विज़न में अनुप्रयोग
छवि पहचान कार्य करिकुलम से बहुत लाभान्वित होते हैं। चेहरे की पहचान के लिए, एक मॉडल पहले सामने, अच्छी रोशनी वाले अभिविन्यास में चेहरे सीख सकता है, फिर साइड कोण, और अंत में मास्क या छाया वाले चेहरे। इसी तरह, वस्तु पहचान में, एक मॉडल प्रति छवि एक वस्तु से शुरू कर सकता है और बाद में कई वस्तुओं वाले अव्यवस्थित दृश्यों की ओर बढ़ सकता है। दोनों मामलों में, क्रमिक विस्तार मॉडल को दृश्य जटिलता से अभिभूत हुए बिना मौलिक विशेषताओं को सीखने में मदद करता है।
2009 में बेंजियो एट अल. के पेपर से एक क्लासिक उदाहरण में ज्यामितीय आकृतियों का वर्गीकरण शामिल था जहाँ आकृतियों ने धीरे-धीरे अधिक अंतर जोड़े, जैसे कि मॉडल ने अतिव्यापी आकृतियों पर जाने से पहले एक वर्ग और त्रिकोण के बीच अंतर करना कैसे सीखा। MIT-CSAIL या स्टैनफोर्ड-एआई-लैब जैसे छवि डेटासेट के साथ प्रारंभिक प्रयोगों ने दिखाया कि एक करिकुलम अभिसरण और अंतिम सटीकता में सुधार कर सकता है। तब से, यह कई विज़न टूलकिट में एक मानक विकल्प बन गया है।
सुदृढीकरण सीखना और उससे परे
करिकुलम लर्निंग को अक्सर Reinforcement learning के साथ जोड़ा जाता है, जहाँ इसका उपयोग खेल के सरलीकृत संस्करणों में एजेंटों को प्रशिक्षित करने के लिए किया जाता है। उदाहरण के लिए, एक रोबोट खाली कमरे में वस्तुओं को पकड़ना सीख सकता है इससे पहले कि यह अव्यवस्थित वातावरण में पकड़ना सीखे। खेल खेलने के लिए, एक एजेंट पहले कमजोर प्रतिद्वंद्वी के खिलाफ या कम समय सीमा के साथ खेल सकता है, फिर धीरे-धीरे कठिनाई बढ़ा सकता है। यह शतरंज कंप्यूटर या अन्य वीडियो गेम में एक सामान्य प्रथा है।
इस विधि को ग्राफ लर्निंग, मैट्रिक्स फैक्टराइजेशन और यहाँ तक कि जब मॉडल पैरामीटरों की संख्या स्वयं भिन्न होती है, में भी लागू किया जा सकता है। कुछ लेखक, उदाहरण के लिए, एक करिकुलम के भाग के रूप में Neural network में परतों की संख्या को धीरे-धीरे बढ़ाना शामिल करते हैं, क्योंकि एक बड़ा मॉडल अनुकूलित करना कठिन होता है। Machine translation और प्रश्न-उत्तर बड़े मॉडल एक ही विचार से लाभान्वित होते हैं।
इतिहास और प्रभाव
"करिकुलम लर्निंग" शब्द 2009 में योशुआ बेंजियो और सहयोगियों द्वारा पेश किया गया था, जिन्होंने आकार देने की मनोवैज्ञानिक तकनीक और मानव संरचित शिक्षा के लिए एक सादृश्य बनाया। उन्होंने जेफरी एलमैन के पहले के काम को भी स्वीकार किया, जिन्होंने 1993 में एक तंत्रिका नेटवर्क में छोटे से शुरू करने के महत्व पर ध्यान दिया था। तब से, इस विधि को कई क्षेत्रों में खोजा गया है और यह रहा है: एक सर्वेक्षण बताता है कि यह दक्षता और अंतिम प्रदर्शन दोनों में लाभ देता है यदि करिकुलम अच्छी तरह से डिज़ाइन किया गया हो।
आज, करिकुलम लर्निंग व्यापक रूप से व्यावहारिक गहन शिक्षण में उपयोग की जाती है, न केवल शैक्षणिक अनुसंधान में। इसे बड़े मॉडलों के लिए डेटा पाइपलाइनों में एकीकृत किया गया है, और कई ओपन-सोर्स लाइब्रेरी नमूना शेड्यूलिंग का समर्थन करती हैं। हालाँकि, यह एक सार्वभौमिक समाधान नहीं है; कुछ कार्यों को लाभ नहीं हो सकता है या खराब डिज़ाइन किए गए करिकुलम से पीड़ित भी हो सकते हैं। करिकुलम और उसके शेड्यूल का चुनाव अनुसंधान का एक सक्रिय क्षेत्र बना हुआ है, जिसमें मॉडल व्यवहार से स्वचालित रूप से करिकुलम बनाने पर चल रहे काम हैं।
बड़े पैमाने पर पूर्व-प्रशिक्षण के युग में, जैसे कि बड़े-भाषा-मॉडल के साथ, डेटा की बढ़ती मात्रा उदाहरणों के क्रम को और भी महत्वपूर्ण बनाती है। टेराबाइट्स डेटा के साथ, एक अच्छा करिकुलम प्रशिक्षण की लागत को कम कर सकता है और मॉडल को प्रमुख विशेषताओं पर ध्यान केंद्रित करने में मदद कर सकता है। परिणामस्वरूप, यह संभावना है कि करिकुलम लर्निंग Generative AI और उससे आगे के भविष्य के विकास में एक प्रमुख घटक बनी रहेगी।