व्युत्क्रम सुदृढीकरण अधिगम (IRL) Machine learning की एक उपशाखा है जिसका उद्देश्य किसी Intelligent agent के अवलोकित व्यवहार से, आमतौर पर प्रदर्शनों के रूप में, उसके पुरस्कार फलन का अनुमान लगाना है। मानक Reinforcement learning के विपरीत, जहाँ एक एजेंट ज्ञात पुरस्कार संकेत को अधिकतम करने के लिए एक नीति सीखता है, IRL व्युत्क्रम समस्या को संबोधित करता है: विशेषज्ञ प्रक्षेपवक्रों के एक समूह को देखते हुए, उस पुरस्कार फलन को पुनर्प्राप्त करना जिसे विशेषज्ञ अंतर्निहित रूप से अनुकूलित कर रहा है। यह उन परिदृश्यों में विशेष रूप से उपयोगी है जहाँ पुरस्कार फलन को मैन्युअल रूप से निर्दिष्ट करना कठिन है, जैसे कि रोबोटिक्स, स्वायत्त ड्राइविंग, या मानव व्यवहार मॉडलिंग में। IRL Apprenticeship learning से निकटता से संबंधित है, जहाँ लक्ष्य प्रदर्शनों से एक नीति सीखना है, अक्सर पहले पुरस्कार फलन को पुनर्प्राप्त करके और फिर उसे अनुकूलित करके।
IRL के लिए औपचारिक सेटिंग आमतौर पर एक Markov Decision Process (MDP) है, जो एक अवस्था स्थान, क्रिया स्थान, संक्रमण संभावनाओं और एक पुरस्कार फलन द्वारा परिभाषित होती है। मानक RL में, पुरस्कार फलन दिया जाता है, और एजेंट एक इष्टतम नीति चाहता है। IRL में, पुरस्कार फलन अज्ञात होता है, और एल्गोरिदम को अवलोकित अवस्था-क्रिया युग्मों से इसका अनुमान लगाना चाहिए। अवलोकित व्यवहार को वास्तविक पुरस्कार फलन के संबंध में लगभग-इष्टतम माना जाता है, हालाँकि व्यवहार में प्रदर्शन शोरगुल वाले या उप-इष्टतम हो सकते हैं। IRL एल्गोरिदम अक्सर पुरस्कार के बारे में अनिश्चितता को मॉडल करने के लिए Bayesian learning mechanisms से तकनीकों का उपयोग करते हैं, या डेटा को समझाने वाला पुरस्कार खोजने के लिए अनुकूलन से।
ऐतिहासिक पृष्ठभूमि
व्युत्क्रम सुदृढीकरण अधिगम की अवधारणा 1990 के दशक के अंत और 2000 के दशक की शुरुआत में औपचारिक रूप से स्थापित की गई थी। 2000 में एंड्रयू एनजी और स्टुअर्ट रसेल द्वारा एक मौलिक पेपर ने इस समस्या को पेश किया और रैखिक प्रोग्रामिंग पर आधारित एक एल्गोरिदम प्रस्तावित किया। बाद में, पीटर एबील और एंड्रयू एनजी (2004) ने प्रशिक्षुता अधिगम ढांचा विकसित किया, जो विशेषज्ञ प्रदर्शन से मेल खाने वाली नीति सीखने के लिए IRL का उपयोग करता है। इस कार्य ने कई बाद के दृष्टिकोणों की नींव रखी, जिनमें अधिकतम एन्ट्रॉपी IRL (ज़ीबार्ट एट अल., 2008) और बायेसियन IRL (रामचंद्रन और अमीर, 2007) शामिल हैं। इन विधियों को रोबोटिक्स जैसे क्षेत्रों में लागू किया गया है, जहाँ रोबोट मानव प्रदर्शनों से कार्य सीखते हैं, और Game theory में रणनीतिक व्यवहार को मॉडल करने के लिए।
मुख्य एल्गोरिदम
IRL के लिए एल्गोरिदम के कई परिवार मौजूद हैं। सबसे प्रारंभिक दृष्टिकोण, जो एनजी और रसेल द्वारा प्रस्तावित किया गया था, सुविधाओं पर एक रैखिक पुरस्कार फलन मानता है और विशेषज्ञ की नीति को इष्टतम बनाने वाला पुरस्कार खोजने के लिए रैखिक प्रोग्रामिंग का उपयोग करता है। प्रशिक्षुता अधिगम एल्गोरिदम पुनरावृत्त रूप से एक नीति की गणना करता है जो विशेषज्ञ की सुविधा अपेक्षाओं और सीखने वाले के बीच अंतर को अधिकतम करती है, पुरस्कार अनुमान को परिष्कृत करती है। अधिकतम एन्ट्रॉपी IRL विशेषज्ञ के व्यवहार को प्रक्षेपवक्रों पर एक संभाव्यता वितरण के रूप में मॉडल करता है, जिसमें उच्च संचयी पुरस्कार के लिए उच्च संभावना होती है, और पुरस्कार मापदंडों को फिट करने के लिए ग्रेडिएंट-आधारित अनुकूलन का उपयोग करता है। बायेसियन IRL पुरस्कार को एक पूर्व के साथ एक यादृच्छिक चर के रूप में मानता है, जो अवलोकित प्रदर्शनों को देखते हुए एक पश्च में अद्यतन होता है, जो अनिश्चितता का एक माप प्रदान करता है। हाल के तरीके उच्च-आयामी अवस्था स्थानों को संभालने के लिए Deep learning को शामिल करते हैं, जैसे कि गहन IRL और प्रतिकूल IRL, जो पुरस्कार फलन का प्रतिनिधित्व करने के लिए तंत्रिका नेटवर्क का उपयोग करते हैं।
अनुप्रयोग
IRL ने विविध क्षेत्रों में अनुप्रयोग पाए हैं। रोबोटिक्स में, यह रोबोट को मानव प्रदर्शनों से हेरफेर या नेविगेशन कार्य सीखने में सक्षम बनाता है, जिससे हाथ से निर्मित पुरस्कार फलनों की आवश्यकता से बचा जा सकता है। स्वायत्त ड्राइविंग में, IRL रिकॉर्ड किए गए प्रक्षेपवक्रों से ड्राइवर की प्राथमिकताओं का अनुमान लगा सकता है, जिससे अधिक मानव-समान ड्राइविंग नीतियों को डिजाइन करने में मदद मिलती है। मानव व्यवहार मॉडलिंग में, IRL का उपयोग आर्थिक या सामाजिक संदर्भों में निर्णय लेने को समझने के लिए किया जाता है। इसे Reinforcement learning में Game theory के लिए प्रतिद्वंद्वियों की रणनीतियों को मॉडल करने के लिए भी लागू किया गया है। स्वास्थ्य सेवा में, IRL नैदानिक निर्णयों से रोगी की प्राथमिकताओं का अनुमान लगा सकता है, जिससे व्यक्तिगत उपचार में सुधार हो सकता है। हालाँकि, IRL कम्प्यूटेशनल रूप से चुनौतीपूर्ण है, विशेष रूप से बड़े अवस्था स्थानों में, और अक्सर सावधानीपूर्वक सुविधा इंजीनियरिंग या फलन सन्निकटन की आवश्यकता होती है।
चुनौतियाँ और सीमाएँ
IRL में एक मौलिक चुनौती समस्या की दुर्व्यवस्थित प्रकृति है: कई पुरस्कार फलन समान अवलोकित व्यवहार की व्याख्या कर सकते हैं। उदाहरण के लिए, एक पुरस्कार जो हर जगह शून्य है, किसी भी नीति को इष्टतम बनाता है, इसलिए अतिरिक्त धारणाओं या पूर्वों की आवश्यकता होती है। सामान्य समाधानों में विशेषज्ञ को इष्टतम मानना, कम से कम पक्षपाती पुरस्कार का चयन करने के लिए अधिकतम एन्ट्रॉपी का उपयोग करना, या पूर्व ज्ञान को शामिल करना शामिल है। एक और मुद्दा पर्याप्त और विविध प्रदर्शनों की आवश्यकता है; यदि विशेषज्ञ केवल व्यवहारों का एक संकीर्ण समूह दिखाता है, तो अनुमानित पुरस्कार अति-फिट हो सकता है। स्केलेबिलिटी भी एक चिंता है, क्योंकि कई IRL एल्गोरिदम को RL समस्या को बार-बार हल करने की आवश्यकता होती है, जो महंगा है। अंत में, IRL मानता है कि विशेषज्ञ का व्यवहार एक एकल पुरस्कार फलन के साथ सुसंगत है, जो बहु-एजेंट या गैर-स्थिर सेटिंग्स में सत्य नहीं हो सकता है।
अन्य अधिगम प्रतिमानों से संबंध
IRL Supervised learning और Reinforcement learning के बीच स्थित है। पर्यवेक्षित अधिगम के विपरीत, जो अवस्थाओं को सीधे क्रियाओं से मैप करता है, IRL पुरस्कार फलन के रूप में एक गहन व्याख्यात्मक मॉडल चाहता है। मानक RL के विपरीत, जो एक ज्ञात पुरस्कार मानता है, IRL इस धारणा को शिथिल करता है। यह Unsupervised learning से भी संबंधित है क्योंकि यह अलेबलित डेटा से अव्यक्त संरचना (पुरस्कार) निकालता है, हालाँकि डेटा आमतौर पर अनुक्रमिक होता है। IRL को सूचनात्मक प्रदर्शनों का चयन करने के लिए Active Learning के साथ, या बहुत कम उदाहरणों से पुरस्कारों का अनुमान लगाने के लिए Few-shot learning के साथ जोड़ा जा सकता है। Artificial intelligence के व्यापक संदर्भ में, IRL Apprenticeship learning का एक प्रमुख घटक है और पुरस्कार फलनों को आरंभ या आकार देने के लिए Deep Reinforcement Learning पाइपलाइनों में उपयोग किया जाता है।