वर्ल्ड मॉडल्स डेविड हा और जुर्गन श्मिडहुबर द्वारा 2018 में प्रकाशित एक ऐतिहासिक शोध पत्र है, जिसने सुदृढीकरण सीखने के लिए एक संक्षिप्त तंत्रिका नेटवर्क वास्तुकला प्रस्तुत की। इस पत्र ने प्रदर्शित किया कि एक एजेंट कच्चे संवेदी इनपुट के साथ केवल परीक्षण-और-त्रुटि पर निर्भर रहने के बजाय, पहले दुनिया की गतिशीलता का एक आंतरिक मॉडल बनाकर पर्यावरण को नेविगेट करना और नियंत्रित करना सीख सकता है। यह दृष्टिकोण मॉडल-आधारित सुदृढीकरण सीखने और जनरेटिव AI प्रणालियों में बाद के काम के लिए आधारभूत बन गया।
पत्र की मुख्य अंतर्दृष्टि सीखने की प्रक्रिया को तीन अलग-अलग घटकों में विभाजित करना था: एक विज़न एनकोडर, एक मेमोरी मॉड्यूल, और एक नियंत्रक। विज़न एनकोडर उच्च-आयामी अवलोकनों, जैसे कार रेसिंग सिम्युलेटर से छवियों, को एक निम्न-आयामी अव्यक्त स्थान में संपीड़ित करता है। मेमोरी मॉड्यूल, जो एक आवर्ती तंत्रिका नेटवर्क के रूप में लागू किया गया है, अस्थायी निर्भरताओं को पकड़ता है और भविष्य की स्थितियों की भविष्यवाणी करता है। नियंत्रक, एक सरल रैखिक परत, फिर इन संपीड़ित प्रतिनिधित्वों का उपयोग करके क्रियाएँ उत्पन्न करता है। इस मॉड्यूलर डिज़ाइन ने प्रत्येक घटक को स्वतंत्र रूप से प्रशिक्षित करने की अनुमति दी, जिससे समग्र प्रणाली एंड-टू-एंड दृष्टिकोणों की तुलना में अधिक नमूना-कुशल बन गई।
वास्तुकला और प्रशिक्षण
वर्ल्ड मॉडल वास्तुकला में स्थानिक संपीड़न के लिए एक वैरिएशनल ऑटोएनकोडर (VAE), अस्थायी भविष्यवाणी के लिए एक मिश्रण घनत्व नेटवर्क आवर्ती तंत्रिका नेटवर्क (MDN-RNN), और एक छोटा नियंत्रक नेटवर्क शामिल है। VAE CarRacing-v0 पर्यावरण से प्रत्येक 64x64x3 फ्रेम को 32-आयामी अव्यक्त वेक्टर में कम करता है। MDN-RNN फिर इन अव्यक्त वैक्टरों के अनुक्रमों को संसाधित करता है, वर्तमान स्थिति और क्रिया को देखते हुए अगली अव्यक्त स्थिति और इनाम की भविष्यवाणी करना सीखता है। नियंत्रक, केवल कुछ हज़ार पैरामीटरों के साथ, संयुक्त अव्यक्त स्थिति और आवर्ती छिपी स्थिति को स्टीयरिंग, गैस और ब्रेक कमांड में मैप करता है।
प्रशिक्षण तीन चरणों में आगे बढ़ता है। पहले, VAE को इनपुट फ्रेम का पुनर्निर्माण करने के लिए प्रशिक्षित किया जाता है। दूसरे, MDN-RNN को भविष्य की अव्यक्त स्थितियों और इनामों की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। तीसरे, नियंत्रक को CMA-ES विकासवादी एल्गोरिदम का उपयोग करके प्रशिक्षित किया जाता है, जहां पूरा वर्ल्ड मॉडल स्थिर होता है और नियंत्रक सीखी गई अव्यक्त गतिशीलता के साथ बातचीत करके संचयी इनाम को अधिकतम करना सीखता है। इस चरणबद्ध प्रशिक्षण ने आवश्यक पर्यावरण इंटरैक्शन की संख्या को नाटकीय रूप से कम कर दिया, एजेंट केवल लगभग 800 एपिसोड के डेटा संग्रह के बाद सक्षम ड्राइविंग प्राप्त करता है।
मुख्य परिणाम और योगदान
पत्र ने बताया कि प्रशिक्षित एजेंट CarRacing-v0 कार्य को हल कर सकता है, 1000 में से 906 का स्कोर प्राप्त करता है, जो उस समय की अत्याधुनिक विधियों के साथ प्रतिस्पर्धी था। अधिक महत्वपूर्ण रूप से, लेखकों ने प्रदर्शित किया कि वर्ल्ड मॉडल का उपयोग कल्पना-आधारित योजना के लिए किया जा सकता है। MDN-RNN को विशुद्ध रूप से अव्यक्त स्थान में रोल आउट करके, नियंत्रक वास्तविक पर्यावरण के साथ बातचीत किए बिना कई काल्पनिक क्रिया अनुक्रमों का मूल्यांकन कर सकता है। इस क्षमता ने एजेंटों के लिए आंतरिक रूप से भविष्य के परिणामों के बारे में तर्क करने की क्षमता पर प्रकाश डाला, एक गुण जो बाद में बड़े भाषा मॉडल और ट्रांसफॉर्मर-आधारित वास्तुकलाओं के लिए केंद्रीय बन गया।
एक और उल्लेखनीय योगदान सीखे गए अव्यक्त स्थान का विज़ुअलाइज़ेशन था। लेखकों ने दिखाया कि VAE के अव्यक्त आयाम ट्रैक वक्रता और कार अभिविन्यास जैसी सार्थक विशेषताओं को एनकोड करते हैं, और MDN-RNN नमूना लेने पर सुसंगत, प्रशंसनीय भविष्य के प्रक्षेपवक्र उत्पन्न कर सकता है। इस व्याख्यात्मकता ने वर्ल्ड मॉडल को यह समझने के लिए एक उपकरण के रूप में स्थापित करने में मदद की कि तंत्रिका नेटवर्क जटिल पर्यावरणों का प्रतिनिधित्व और भविष्यवाणी कैसे करते हैं।
प्रभाव और विरासत
वर्ल्ड मॉडल पत्र को हजारों बार उद्धृत किया गया है और मॉडल-आधारित सुदृढीकरण सीखने में एक व्यापक शोध दिशा को प्रेरित किया है। इसके विचारों ने बाद की प्रणालियों जैसे Dreamer और MuZero को सीधे प्रभावित किया, जो पर्यावरण गतिशीलता के आंतरिक मॉडल भी सीखते हैं। धारणा, स्मृति और नियंत्रण को अलग करने की अवधारणा संज्ञानात्मक विज्ञान सिद्धांतों के साथ भी प्रतिध्वनित हुई कि जैविक मस्तिष्क दुनिया के भविष्य कहनेवाला मॉडल कैसे बनाते हैं। कृत्रिम बुद्धिमत्ता अनुसंधान के संदर्भ में, पत्र को अक्सर एक विशिष्ट वास्तुकला पैटर्न के रूप में 'वर्ल्ड मॉडल' शब्द को लोकप्रिय बनाने का श्रेय दिया जाता है।
काम का मशीन सीखने की दक्षता के लिए भी व्यावहारिक निहितार्थ था। एक संपीड़ित प्रतिनिधित्व सीखकर, एजेंट को मॉडल-मुक्त विधियों की तुलना में कहीं कम वास्तविक पर्यावरण नमूनों की आवश्यकता थी, जो भौतिक प्रणालियों के लिए विशेष रूप से मूल्यवान था जहां बातचीत महंगी है। यह दक्षता सिद्धांत बाद में Google DeepMind और OpenAI में वास्तविक-विश्व कार्यों में स्थानांतरित करने से पहले सिम्युलेटेड पर्यावरणों में एजेंटों को प्रशिक्षित करने के दृष्टिकोणों को सूचित करता है।
सीमाएं और बाद का काम
अपनी सफलताओं के बावजूद, मूल वर्ल्ड मॉडल की सीमाएं थीं। VAE और MDN-RNN को स्थिर डेटासेट पर प्रशिक्षित किया गया था, जिसका अर्थ है कि एजेंट अपने प्रशिक्षण डेटा में मौजूद नहीं नई स्थितियों के अनुकूल नहीं हो सकता था। नियंत्रक भी अपेक्षाकृत सरल था, जिससे लंबी-क्षितिज योजना की आवश्यकता वाले कार्यों पर प्रदर्शन सीमित था। बाद के शोध ने ऑनलाइन सीखने, ध्यान तंत्र और पदानुक्रमित स्मृति संरचनाओं को शामिल करके इन मुद्दों को संबोधित किया। पत्र के लेखकों ने स्वयं काम का विस्तार यह दिखाने के लिए किया कि वर्ल्ड मॉडल कृत्रिम प्रशिक्षण डेटा उत्पन्न कर सकते हैं, प्रभावी रूप से एजेंट को अपनी कल्पना में अभ्यास करने की अनुमति देते हैं।
वर्ल्ड मॉडल का व्यापक प्रभाव सुदृढीकरण सीखने से परे है। यह विचार कि एक प्रणाली अपने पर्यावरण का एक संपीड़ित, भविष्य कहनेवाला प्रतिनिधित्व सीख सकती है, वीडियो भविष्यवाणी, रोबोटिक्स और यहां तक कि तंत्रिका इंटरफ़ेस अनुसंधान पर लागू किया गया है। जैसे-जैसे गहन सीखने का विकास जारी है, इस पत्र में व्यक्त सिद्धांत उन एजेंटों के निर्माण के लिए प्रासंगिक बने हुए हैं जो केवल प्रतिक्रिया करने के बजाय अनुमान लगा सकते हैं और योजना बना सकते हैं। यह पत्र एक स्पष्ट प्रदर्शन के रूप में खड़ा है कि दुनिया को समझना, यहां तक कि सरलीकृत रूप में, बुद्धिमान व्यवहार के लिए एक शक्तिशाली शॉर्टकट हो सकता है।
यह भी देखें
- मॉडल-आधारित सुदृढीकरण सीखना
- वैरिएशनल ऑटोएनकोडर
- आवर्ती तंत्रिका नेटवर्क
- विकासवादी एल्गोरिदम