वृद्धिशील अधिगम, जिसे सतत अधिगम या आजीवन अधिगम के रूप में भी जाना जाता है, मशीन-अधिगम में एक प्रतिमान है जहाँ एक मॉडल को नए डेटा उपलब्ध होने पर क्रमिक रूप से अद्यतन किया जाता है, बजाय एक स्थिर डेटासेट पर एक बार प्रशिक्षित किए जाने के। केंद्रीय चुनौती पहले से अर्जित ज्ञान को संरक्षित करते हुए नई जानकारी को शामिल करना है, जिसे अक्सर विनाशकारी विस्मृति के रूप में जाना जाता है। वृद्धिशील अधिगम उन अनुप्रयोगों के लिए आवश्यक है जिन्हें बदलते डेटा वितरणों के अनुकूलन की आवश्यकता होती है, जैसे वैयक्तिकृत अनुशंसाएँ, रोबोटिक्स, और वास्तविक समय की निगरानी, जहाँ शुरू से पुनः प्रशिक्षण कम्प्यूटेशनल रूप से निषेधात्मक या अव्यावहारिक है।
इस अवधारणा की जड़ें संज्ञानात्मक विज्ञान और प्रारंभिक तंत्रिका-नेटवर्क अनुसंधान में हैं। 1980 और 1990 के दशक में, शोधकर्ताओं ने अध्ययन किया कि कनेक्शनिस्ट मॉडल निरंतर कैसे सीख सकते हैं, लेकिन विनाशकारी हस्तक्षेप का मुद्दा माइकल जॉर्डन और अन्य लोगों द्वारा उजागर किया गया था। गहन-अधिगम के उदय के साथ 2010 के दशक में इस क्षेत्र ने गति प्राप्त की, क्योंकि बड़े पैमाने के मॉडलों को गैर-स्थिर वातावरणों के अनुकूल होने के बढ़ते दबाव का सामना करना पड़ा। आधुनिक वृद्धिशील अधिगम विधियों को तीन मुख्य रणनीतियों में वर्गीकृत किया गया है: नियमितीकरण-आधारित, अभ्यास-आधारित, और वास्तुकला-आधारित दृष्टिकोण।
नियमितीकरण-आधारित विधियाँ
नियमितीकरण-आधारित विधियाँ पहले से सीखे गए भारों की सुरक्षा के लिए अधिगम प्रक्रिया में बाधाएँ जोड़ती हैं। एक प्रमुख उदाहरण इलास्टिक वेट कंसोलिडेशन (EWC) है, जिसे 2017 में जोशुआ टेनेनबाम और सहकर्मियों द्वारा पेश किया गया था, जो पुराने कार्यों के लिए महत्वपूर्ण मापदंडों में परिवर्तनों को दंडित करता है। एक अन्य दृष्टिकोण, बिना भूलना सीखना (LwF), नए प्रशिक्षण का मार्गदर्शन करने के लिए पुराने मॉडल से ज्ञान आसवन का उपयोग करता है। ये विधियाँ कम्प्यूटेशनल रूप से कुशल हैं और पुराने डेटा को संग्रहीत करने की आवश्यकता नहीं होती है, लेकिन जब कई कार्य जमा हो जाते हैं तो वे संघर्ष कर सकती हैं।
अभ्यास-आधारित विधियाँ
अभ्यास-आधारित विधियाँ पिछले उदाहरणों का एक उपसमुच्चय संग्रहीत करती हैं, जिसे मेमोरी बफर के रूप में जाना जाता है, और नए डेटा पर प्रशिक्षण के दौरान उन्हें दोहराती हैं। अनुभव पुनर्प्ले, एक क्लासिक तकनीक, प्रदर्शन बनाए रखने के लिए नए और पुराने नमूनों को आपस में मिलाती है। अधिक उन्नत विधियाँ, जैसे ग्रेडिएंट एपिसोडिक मेमोरी (GEM) और एवरेज्ड जीईएम (A-GEM), अद्यतनों को बाधित करने के लिए संग्रहीत ग्रेडिएंट्स का उपयोग करती हैं। ये दृष्टिकोण व्यवहार में प्रभावी हैं और निरंतर अधिगम बेंचमार्क में व्यापक रूप से उपयोग किए जाते हैं। हालाँकि, वे विशेष रूप से संवेदनशील डोमेन में गोपनीयता और भंडारण संबंधी चिंताएँ उठाते हैं।
वास्तुकला-आधारित विधियाँ
वास्तुकला-आधारित विधियाँ विभिन्न कार्यों के लिए अलग-अलग मॉडल घटक आवंटित करती हैं। प्रोग्रेसिव न्यूरल नेटवर्क, 2016 में पेश किए गए, पुराने को स्थिर रखते हुए प्रत्येक कार्य के लिए न्यूरॉन्स के नए कॉलम जोड़ते हैं। डायनेमिक एक्सपैंशन नेटवर्क और पैकनेट क्षमता को तराशने के लिए प्रूनिंग और मास्किंग का उपयोग करते हैं। ये विधियाँ डिज़ाइन द्वारा विस्मृति से बचती हैं लेकिन असीमित मॉडल विकास का कारण बन सकती हैं। हाल के काम जटिलता को नियंत्रित करने के लिए वास्तुकला विस्तार को स्पार्सिटी के साथ जोड़ते हैं।
अनुप्रयोग और बेंचमार्क
वृद्धिशील अधिगम उन कृत्रिम-बुद्धिमत्ता प्रणालियों में लागू किया जाता है जो बदलते वातावरण में काम करती हैं। उदाहरण के लिए, वेमो और टेस्ला ऑटोपायलट नए ड्राइविंग परिदृश्यों का सामना करने पर धारणा मॉडल में सुधार के लिए निरंतर अनुकूलन का उपयोग करते हैं। बड़े भाषा मॉडल में, पैरामीटर-कुशल फाइन-ट्यूनिंग और सिंथेटिक डेटा के साथ अभ्यास जैसी तकनीकें मॉडल को पूर्ण पुनः प्रशिक्षण के बिना अद्यतित रहने में मदद करती हैं। स्प्लिट MNIST, परम्यूटेड MNIST, और कार्य अनुक्रमों के साथ CIFAR-100 जैसे बेंचमार्क विधियों के मूल्यांकन के लिए मानक हैं। यह क्षेत्र पाठ्यचर्या-अधिगम के साथ भी प्रतिच्छेद करता है, जहाँ डेटा एक सार्थक क्रम में प्रस्तुत किया जाता है।
चुनौतियाँ और भविष्य की दिशाएँ
प्रगति के बावजूद, वृद्धिशील अधिगम खुली चुनौतियों का सामना करता है। स्थिरता-प्लास्टिसिटी दुविधा - नई जानकारी सीखने की आवश्यकता को पुरानी बनाए रखने के साथ संतुलित करना - अनसुलझी बनी हुई है। मूल्यांकन प्रोटोकॉल अलग-अलग होते हैं, जिससे तुलना करना कठिन हो जाता है। ऑनलाइन और कुछ-शॉट निरंतर अधिगम में भी बढ़ती रुचि है, जहाँ डेटा छोटे बैचों में आता है। एमआईटी सीएसएआईएल और बर्कले एआई रिसर्च जैसे संस्थानों में अनुसंधान अधिक मजबूत आजीवन अधिगम प्रणाली बनाने के लिए सिनैप्टिक समेकन और न्यूरोजेनेसिस जैसे जैविक रूप से प्रेरित तंत्रों की खोज जारी रखता है।