अप्रेंटिसशिप लर्निंग मशीन-लर्निंग की एक उपशाखा है, जो किसी एजेंट को स्पष्ट पुरस्कार संकेतों या हस्त-निर्मित निर्देशों के बजाय किसी विशेषज्ञ के प्रदर्शनों को देखकर कार्य करना सिखाने से संबंधित है। यह शब्द 2004 में पीटर अबील और एंड्रयू एनजी के मौलिक कार्य में लोकप्रिय हुआ, जिन्होंने इस समस्या को मार्कोव निर्णय प्रक्रिया (MDP) में विशेषज्ञ की फीचर अपेक्षाओं से मेल खाती नीति सीखने के रूप में तैयार किया। मानक पर्यवेक्षित अनुकरण सीखने के विपरीत, जो सीधे विशेषज्ञ के कार्यों की नकल करता है, अप्रेंटिसशिप लर्निंग आमतौर पर विशेषज्ञ के व्यवहार को प्रेरित करने वाले अंतर्निहित पुरस्कार फ़ंक्शन का अनुमान लगाने का प्रयास करती है, जिसे उलटा सुदृढीकरण सीखना भी कहा जाता है। यह दृष्टिकोण एजेंट को प्रदर्शित राज्यों से परे सामान्यीकरण करने और उन स्थितियों को संभालने की अनुमति देता है जहां इष्टतम व्यवहार केवल अवलोकनों से क्रियाओं का सीधा मानचित्रण नहीं है।
मूल विचार यह है कि विशेषज्ञ का व्यवहार किसी अज्ञात पुरस्कार फ़ंक्शन के संबंध में इष्टतम (या लगभग इष्टतम) माना जाता है। शिक्षार्थी का लक्ष्य एक ऐसी नीति खोजना है जो अपेक्षित संचयी पुरस्कार द्वारा मापी गई विशेषज्ञ के समान प्रदर्शन करे। चूंकि सच्चा पुरस्कार अज्ञात है, शिक्षार्थी को इसे प्रदर्शनों से अनुमान लगाना चाहिए। अबील और एनजी ने दिखाया कि यदि पुरस्कार फ़ंक्शन ज्ञात फीचर्स का रैखिक संयोजन है, तो विशेषज्ञ की नीति की फीचर अपेक्षाओं से मेल खाना यह सुनिश्चित करने के लिए पर्याप्त है कि शिक्षार्थी की नीति पुरस्कार फ़ंक्शन के विशिष्ट भारों की परवाह किए बिना लगभग विशेषज्ञ के समान प्रदर्शन करती है। यह अंतर्दृष्टि कई अप्रेंटिसशिप लर्निंग एल्गोरिदम का आधार बनती है।
औपचारिक ढांचा
अप्रेंटिसशिप लर्निंग आमतौर पर मार्कोव निर्णय प्रक्रिया (MDP) के ढांचे के भीतर औपचारिक रूप से तैयार की जाती है, जो राज्यों, क्रियाओं, संक्रमण संभावनाओं और छूट कारक के सेट द्वारा परिभाषित होती है। मानक सेटिंग में, पुरस्कार फ़ंक्शन शिक्षार्थी के लिए अज्ञात होता है। विशेषज्ञ प्रक्षेपवक्रों का एक सेट प्रदान करता है, जो राज्यों और क्रियाओं के अनुक्रम हैं। शिक्षार्थी को तब एक ऐसी नीति की गणना करनी चाहिए जो अज्ञात पुरस्कार के तहत अपेक्षित रिटर्न को अधिकतम करती है।
मुख्य गणितीय उपकरण फीचर अपेक्षाओं की अवधारणा है। किसी दी गई नीति के लिए, फीचर अपेक्षा प्रक्षेपवक्र के साथ सामने आए फीचर वैक्टरों का अपेक्षित छूट वाला योग है। शिक्षार्थी की नीति की फीचर अपेक्षाओं को विशेषज्ञ की नीति से मिलाकर, शिक्षार्थी यह सुनिश्चित करता है कि उसकी नीति किसी भी रैखिक पुरस्कार फ़ंक्शन के तहत इष्टतम के करीब है जिसे विशेषज्ञ अनुकूलित कर रहा हो सकता है। यह एक मजबूत गारंटी है, क्योंकि इसके लिए शिक्षार्थी को सटीक पुरस्कार भारों की पहचान करने की आवश्यकता नहीं होती है।
उलटा सुदृढीकरण सीखने से संबंध
अप्रेंटिसशिप लर्निंग उलटा सुदृढीकरण सीखने (IRL) से निकटता से संबंधित है, जो विशेषज्ञ प्रदर्शनों से पुरस्कार फ़ंक्शन को पुनर्प्राप्त करने की समस्या है। IRL में, लक्ष्य पुरस्कार फ़ंक्शन का स्पष्ट रूप से अनुमान लगाना है, जबकि अप्रेंटिसशिप लर्निंग में, लक्ष्य सीधे एक ऐसी नीति उत्पन्न करना है जो अच्छा प्रदर्शन करती है। कई अप्रेंटिसशिप लर्निंग एल्गोरिदम एक IRL समस्या को पुनरावृत्त रूप से हल करके और फिर अनुमानित पुरस्कार का उपयोग करके एक नीति को प्रशिक्षित करके काम करते हैं। इस पुनरावृत्त प्रक्रिया को अक्सर 'अप्रेंटिसशिप लर्निंग एल्गोरिदम' कहा जाता है और इसे 2004 के पेपर में पेश किया गया था। एल्गोरिदम वर्तमान पुरस्कार अनुमान को अधिकतम करने वाली नीति खोजने और विशेषज्ञ के व्यवहार को अधिक इष्टतम दिखाने के लिए पुरस्कार अनुमान को अद्यतन करने के बीच वैकल्पिक रूप से काम करता है।
एल्गोरिदम और विधियाँ
अप्रेंटिसशिप लर्निंग के लिए कई एल्गोरिदम विकसित किए गए हैं। अबील और एनजी का मूल एल्गोरिदम विशेषज्ञ की फीचर अपेक्षाओं से मेल खाती नीति खोजने के लिए रैखिक प्रोग्रामिंग दृष्टिकोण का उपयोग करता है। बाद के कार्यों ने इसे गैर-रैखिक पुरस्कार फ़ंक्शनों तक विस्तारित किया है, जिसमें अधिकतम एन्ट्रॉपी IRL जैसी तकनीकों का उपयोग किया गया है, जो विशेषज्ञ के व्यवहार को स्टोकेस्टिक के रूप में मॉडल करती है और फीचर अपेक्षाओं से मेल खाते हुए नीति की एन्ट्रॉपी को अधिकतम करती है। एक और लोकप्रिय दृष्टिकोण जनरेटिव एडवर्सेरियल नेटवर्क (GAN) का उपयोग जनरेटिव एडवर्सेरियल इमिटेशन लर्निंग (GAIL) के रूप में है, जो स्पष्ट रूप से पुरस्कार फ़ंक्शन को पुनर्प्राप्त किए बिना विशेषज्ञ के राज्य-क्रिया वितरण की नकल करने वाली नीति सीखता है।
हाल की विधियाँ उच्च-आयामी राज्य स्थानों, जैसे छवियों, को संभालने के लिए तंत्रिका-नेटवर्क आर्किटेक्चर का लाभ उठाती हैं। ये विधियाँ अक्सर अप्रेंटिसशिप लर्निंग को गहन-सीखने तकनीकों के साथ जोड़ती हैं, जिससे एजेंट कच्चे पिक्सेल इनपुट से सीख सकता है। उदाहरण के लिए, रोबोटिक हेरफेर कार्यों में, एक गहन अप्रेंटिसशिप लर्निंग एल्गोरिदम मानव प्रदर्शनकर्ता को देखकर वस्तुओं को पकड़ना सीख सकता है, दृश्य इनपुट को संसाधित करने के लिए कनवल्शनल तंत्रिका नेटवर्क का उपयोग करके।
अनुप्रयोग
अप्रेंटिसशिप लर्निंग विभिन्न क्षेत्रों में लागू की गई है। रोबोटिक्स में, इसका उपयोग रोबोटों को ड्राइविंग, उड़ान और हेरफेर जैसे कार्य सिखाने के लिए किया गया है। उदाहरण के लिए, Waymo और Tesla ने स्वायत्त ड्राइविंग के लिए अनुकरण सीखने की तकनीकों का पता लगाया है, जहां विशेषज्ञ एक मानव ड्राइवर है। गेम खेलने में, अप्रेंटिसशिप लर्निंग का उपयोग शतरंज और गो जैसे खेलों में विशेषज्ञ चालों को देखकर एजेंटों को प्रशिक्षित करने के लिए किया गया है, हालांकि आधुनिक दृष्टिकोण अक्सर इसे सुदृढीकरण सीखने के साथ जोड़ते हैं। प्राकृतिक भाषा प्रसंस्करण में, अप्रेंटिसशिप लर्निंग को संवाद प्रणालियों पर लागू किया गया है, जहां एजेंट मानव संवादों की नकल करके बातचीत करना सीखता है, और सारांशीकरण कार्यों पर भी।
स्वास्थ्य देखभाल में, अप्रेंटिसशिप लर्निंग का उपयोग नैदानिक निर्णय लेने को मॉडल करने के लिए किया गया है। उदाहरण के लिए, एक एजेंट अनुभवी चिकित्सकों के निर्णयों को देखकर उपचार की सिफारिश करना सीख सकता है। यह उन क्षेत्रों में विशेष रूप से उपयोगी है जहां पुरस्कार फ़ंक्शन निर्दिष्ट करना कठिन है, जैसे व्यक्तिगत चिकित्सा। वित्त में, इसे एल्गोरिदमिक ट्रेडिंग पर लागू किया गया है, जहां विशेषज्ञ एक सफल व्यापारी है और एजेंट उनकी रणनीतियों की नकल करना सीखता है।
चुनौतियाँ और सीमाएँ
अप्रेंटिसशिप लर्निंग में मुख्य चुनौतियों में से एक बड़ी संख्या में विशेषज्ञ प्रदर्शनों की आवश्यकता है। विशेषज्ञ का व्यवहार शोर या उप-इष्टतम हो सकता है, जिससे खराब सीखने के परिणाम हो सकते हैं। इसके अतिरिक्त, यह धारणा कि विशेषज्ञ एक रैखिक पुरस्कार फ़ंक्शन को अनुकूलित कर रहा है, कई वास्तविक दुनिया के परिदृश्यों में बहुत प्रतिबंधात्मक हो सकती है। जब सच्चा पुरस्कार गैर-रैखिक होता है, तो फीचर अपेक्षाओं से मेल खाना अच्छे प्रदर्शन की गारंटी के लिए पर्याप्त नहीं हो सकता है।
एक और चुनौती वितरणात्मक बदलाव का मुद्दा है। शिक्षार्थी की नीति उन राज्यों का दौरा कर सकती है जो विशेषज्ञ प्रदर्शनों द्वारा कवर नहीं किए गए हैं, जिससे अप्रत्याशित व्यवहार हो सकता है। यह उच्च-आयामी राज्य स्थानों में विशेष रूप से समस्याग्रस्त है, जहां विशेषज्ञ का कवरेज विरल है। इस मुद्दे को कम करने के लिए डेटा संवर्धन और डोमेन यादृच्छिकरण जैसी तकनीकें प्रस्तावित की गई हैं, लेकिन वे हमेशा प्रभावी नहीं होती हैं।
इसके अलावा, अप्रेंटिसशिप लर्निंग फीचर्स की पसंद के प्रति संवेदनशील है। फीचर्स कार्य के प्रासंगिक पहलुओं को पकड़ने के लिए पर्याप्त जानकारीपूर्ण होने चाहिए, लेकिन इतने उच्च-आयामी नहीं कि फीचर अपेक्षा मिलान कम्प्यूटेशनल रूप से असंभव हो जाए। व्यवहार में, अच्छे फीचर्स डिजाइन करने के लिए अक्सर डोमेन विशेषज्ञता की आवश्यकता होती है।
अन्य सीखने के प्रतिमानों के साथ तुलना
अप्रेंटिसशिप लर्निंग की तुलना अक्सर पाठ्यक्रम-सीखने और एआई फीडबैक से सुदृढीकरण सीखना जैसे अन्य प्रतिमानों से की जाती है। पाठ्यक्रम सीखने में, एजेंट को धीरे-धीरे कठिन कार्यों पर प्रशिक्षित किया जाता है, जो सीखने की दक्षता में सुधार करने के लिए एक अलग दृष्टिकोण है। इसके विपरीत, अप्रेंटिसशिप लर्निंग विशेषज्ञ प्रदर्शनों से सीखने पर केंद्रित है। मानव फीडबैक से सुदृढीकरण सीखना (RLHF), जो बड़े-भाषा-मॉडल के प्रशिक्षण में उपयोग किया जाता है, संबंधित लेकिन अलग है: RLHF पुरस्कार मॉडल को आकार देने के लिए मानव प्राथमिकताओं का उपयोग करता है, जबकि अप्रेंटिसशिप लर्निंग सीधे प्रदर्शनों का उपयोग करती है। हालांकि, दोनों विधियों का उद्देश्य एजेंट व्यवहार को मानव इरादों के साथ संरेखित करना है।
एक और संबंधित अवधारणा व्यवहारिक क्लोनिंग है, जो अनुकरण सीखने का एक सरल रूप है जहां एजेंट पर्यवेक्षित सीखने का उपयोग करके राज्यों से क्रियाओं का सीधा मानचित्रण सीखता है। व्यवहारिक क्लोनिंग अक्सर लागू करना आसान होता है लेकिन वितरणात्मक बदलाव से ग्रस्त होता है और विशेषज्ञ के प्रदर्शनों से परे सामान्यीकरण नहीं कर सकता है। अप्रेंटिसशिप लर्निंग, पुरस्कार का अनुमान लगाकर, संभावित रूप से बेहतर सामान्यीकरण कर सकती है।
हाल के विकास
अप्रेंटिसशिप लर्निंग में हाल की प्रगति गहन सीखने और बड़े पैमाने पर कंप्यूट के साथ एकीकरण द्वारा संचालित हुई है। उदाहरण के लिए, OpenAI और Google DeepMind ने एल्गोरिदम विकसित किए हैं जो जटिल वातावरण में अति-मानव प्रदर्शन प्राप्त करने के लिए अप्रेंटिसशिप लर्निंग को सुदृढीकरण सीखने के साथ जोड़ते हैं। जनरेटिव-एआई के संदर्भ में, अप्रेंटिसशिप लर्निंग का उपयोग मॉडलों को मानव मूल्यों के साथ संरेखित करने के लिए किया गया है, जो RLHF के समान है लेकिन प्राथमिकताओं के बजाय प्रदर्शनों का उपयोग करता है।
बहु-एजेंट प्रणालियों के लिए अप्रेंटिसशिप लर्निंग का उपयोग करने में भी बढ़ती रुचि है, जहां कई एजेंट एक दूसरे के प्रदर्शनों से सीखते हैं। यह स्वायत्त ड्राइविंग में विशेष रूप से प्रासंगिक है, जहां वाहनों को एक दूसरे के साथ बातचीत करनी चाहिए। MIT CSAIL और Stanford AI Lab जैसे संस्थानों में शोध ने इन दिशाओं का पता लगाया है, स्केलेबिलिटी और मजबूती पर ध्यान केंद्रित किया है।
भविष्य की दिशाएँ
अप्रेंटिसशिप लर्निंग का भविष्य इसकी वर्तमान सीमाओं को संबोधित करने में निहित है। एक आशाजनक दिशा उन विधियों का विकास है जिनके लिए कम प्रदर्शनों की आवश्यकता होती है, संभवतः पूर्व ज्ञान का लाभ उठाकर या अनिश्चित राज्यों में अतिरिक्त प्रदर्शनों के लिए विशेषज्ञ से पूछताछ करने के लिए सक्रिय सीखने का उपयोग करके। एक और दिशा आंशिक रूप से अवलोकनीय वातावरणों का विस्तार है, जहां एजेंट को अवलोकनों से छिपे राज्यों का अनुमान लगाना चाहिए। यह रोबोटिक्स और स्वायत्त ड्राइविंग जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए महत्वपूर्ण है, जहां सेंसर शोर और अधूरी जानकारी प्रदान करते हैं।
इसके अतिरिक्त, मॉडल-प्रूनिंग और डेटा-संवर्धन जैसे अन्य रूपों के साथ अप्रेंटिसशिप लर्निंग को संयोजित करने पर चल रहा काम है, ताकि दक्षता और सामान्यीकरण में सुधार हो सके। जैसे-जैसे एआई सिस्टम समाज में अधिक एकीकृत होते जा रहे हैं, अप्रेंटिसशिप लर्निंग संभवतः मशीनों को सुरक्षित और विश्वसनीय तरीके से मानव विशेषज्ञता से सीखने में सक्षम बनाने में एक महत्वपूर्ण भूमिका निभाएगी।