TD3 (ट्विन डिलेड डीप डेटर्मिनिस्टिक पॉलिसी ग्रेडिएंट) एक डीप रीइन्फोर्समेंट लर्निंग एल्गोरिदम है जो निरंतर क्रिया स्थानों के लिए डिज़ाइन किया गया है। यह डीप डेटर्मिनिस्टिक पॉलिसी ग्रेडिएंट (DDPG) विधि का एक विस्तार है, जिसे अभिनेता-आलोचक विधियों में प्रदर्शन को सामान्यतः खराब करने वाले अतिअनुमान पूर्वाग्रह को संबोधित करने के लिए पेश किया गया था। TD3 को स्कॉट फुजिमोटो, हेर्के वैन हूफ और डेविड मेगर ने अपने 2018 के पेपर "एड्रेसिंग फंक्शन एप्रोक्सिमेशन एरर इन एक्टर-क्रिटिक मेथड्स" में प्रस्तावित किया था।
एल्गोरिदम एक अभिनेता-आलोचक वास्तुकला को तीन प्रमुख संशोधनों के साथ जोड़ता है: क्लिप्ड डबल-क्यू लर्निंग, विलंबित पॉलिसी अपडेट और टारगेट पॉलिसी स्मूथिंग। ये परिवर्तन सामूहिक रूप से विचरण को कम करते हैं और स्थिरता में सुधार करते हैं, जिससे TD3 मशीन लर्निंग अनुसंधान में निरंतर नियंत्रण कार्यों के लिए व्यापक रूप से उपयोग किया जाने वाला आधार बन गया है।
मुख्य तंत्र
TD3 मानक रीइन्फोर्समेंट लर्निंग ढांचे के भीतर काम करता है, जहां एक एजेंट संचयी पुरस्कार को अधिकतम करने के लिए पर्यावरण के साथ बातचीत करता है। अभिनेता नेटवर्क अवस्थाओं को क्रियाओं में मैप करता है, जबकि आलोचक नेटवर्क अवस्था-क्रिया जोड़े के लिए अपेक्षित रिटर्न (Q-मान) का अनुमान लगाते हैं। DDPG के विपरीत, जो एक एकल आलोचक का उपयोग करता है, TD3 दो आलोचक नेटवर्क बनाए रखता है और लक्ष्य मानों की गणना करते समय उनके अनुमानों के न्यूनतम का उपयोग करता है। यह क्लिप्ड डबल-क्यू लर्निंग फ़ंक्शन अनुमान त्रुटियों से उत्पन्न अतिअनुमान पूर्वाग्रह को कम करता है।
एल्गोरिदम पॉलिसी अपडेट में भी देरी करता है: अभिनेता को आलोचकों की तुलना में कम बार अपडेट किया जाता है (आमतौर पर हर दो आलोचक अपडेट पर)। यह आलोचकों को पॉलिसी समायोजित होने से पहले अधिक सटीक बनने की अनुमति देता है, जिससे अस्थिर करने वाले अपडेट का जोखिम कम होता है। इसके अतिरिक्त, टारगेट पॉलिसी स्मूथिंग लक्ष्य क्रियाओं में छोटा यादृच्छिक शोर जोड़ती है, जो मूल्य अनुमानों को नियमित करती है और पॉलिसी को Q-फ़ंक्शन में संकीर्ण शिखरों का शोषण करने से रोकती है।
DDPG के साथ तुलना
DDPG, जिसे टिमोथी पी. लिलिक्रैप एट अल. ने 2016 में पेश किया था, न्यूरल नेटवर्क का उपयोग करके निरंतर नियंत्रण के लिए एक अग्रणी एल्गोरिदम था। हालांकि, यह अक्सर Q-मानों के अतिअनुमान से ग्रस्त रहता था, जिससे उप-इष्टतम नीतियां बनती थीं। TD3 सीधे इस मुद्दे को ट्विन-क्रिटिक तंत्र और अन्य स्थिरीकरणों को शामिल करके लक्षित करता है। MuJoCo लोकोमोशन वातावरण (जैसे, HalfCheetah, Walker2d, Hopper) जैसे बेंचमार्क कार्यों पर अनुभवजन्य अध्ययन दिखाते हैं कि TD3 अंतिम प्रदर्शन और नमूना दक्षता दोनों के मामले में DDPG से लगातार बेहतर प्रदर्शन करता है।
DDPG के विपरीत, जो हर चरण पर पॉलिसी को अपडेट करता है, TD3 के विलंबित अपडेट पॉलिसी और मूल्य फ़ंक्शन अपडेट के बीच सहसंबंध को कम करते हैं, जो इसकी बेहतर स्थिरता में योगदान देता है। टारगेट स्मूथिंग शब्द एआई नियमितीकरण के एक रूप के रूप में भी कार्य करता है, जो पर्यवेक्षित शिक्षण में शोर जोड़ने के समान है।
कार्यान्वयन विवरण
व्यवहार में, TD3 प्रशिक्षण के लिए मिनी-बैच नमूने लेने के लिए एक अनुभव रीप्ले बफर का उपयोग करता है, जिसमें संक्रमण संग्रहीत होते हैं। दोनों आलोचक नेटवर्क को समान लक्ष्य मान का उपयोग करके अपडेट किया जाता है, जिसकी गणना दो लक्ष्य आलोचकों के आउटपुट के न्यूनतम के रूप में की जाती है। अभिनेता को डेटर्मिनिस्टिक पॉलिसी ग्रेडिएंट का उपयोग करके अपडेट किया जाता है, लेकिन केवल आलोचक अपडेट की एक निश्चित संख्या के बाद। अभिनेता और आलोचकों दोनों के लिए लक्ष्य नेटवर्क को छोटे tau पैरामीटर (आमतौर पर 0.005) के साथ सॉफ्ट अपडेट (पॉलियाक औसत) के माध्यम से अपडेट किया जाता है।
एल्गोरिदम के हाइपरपैरामीटर अपेक्षाकृत मानक हैं: आलोचकों के लिए लर्निंग रेट लगभग 1e-3 और अभिनेता के लिए 1e-4, डिस्काउंट फैक्टर 0.99, और बैच आकार 256। अन्वेषण शोर आमतौर पर मानक विचलन 0.1 के साथ गाऊसी होता है, जबकि टारगेट स्मूथिंग शोर 0.2 के मानक विचलन का उपयोग करता है और -0.5 से 0.5 की सीमा में क्लिप किया जाता है।
अनुप्रयोग और प्रभाव
TD3 रीइन्फोर्समेंट लर्निंग अनुसंधान में एक मानक आधार बन गया है, विशेष रूप से रोबोटिक्स और नियंत्रण कार्यों के लिए। इसका उपयोग अक्सर बर्कले एआई रिसर्च और अन्य शैक्षणिक प्रयोगशालाओं में नए एल्गोरिदम को बेंचमार्क करने के लिए किया जाता है। इसके सिद्धांतों ने बाद के तरीकों को प्रभावित किया है, जैसे कि सॉफ्ट एक्टर-क्रिटिक (SAC), जो अतिअनुमान को संबोधित करता है लेकिन ट्विन क्रिटिक्स के बजाय एन्ट्रॉपी नियमितीकरण के माध्यम से।
एल्गोरिदम को स्वायत्त ड्राइविंग और रोबोटिक सर्जरी अनुसंधान के लिए सिम्युलेटेड वातावरण में लागू किया गया है, हालांकि वास्तविक दुनिया की तैनाती सीमित बनी हुई है। उद्योग में, ओपनएआई और गूगल डीपमाइंड ने निरंतर नियंत्रण के लिए समान अभिनेता-आलोचक दृष्टिकोणों का पता लगाया है, हालांकि TD3 स्वयं मुख्य रूप से एक शोध उपकरण है।
सीमाएं और विस्तार
TD3 मानता है कि पर्यावरण मार्कोवियन है और पॉलिसी डेटर्मिनिस्टिक है, जो अन्वेषण को सीमित कर सकता है। ऑफ़लाइन रीइन्फोर्समेंट लर्निंग के लिए TD3+BC (व्यवहार क्लोनिंग के साथ) जैसे वेरिएंट प्रस्तावित किए गए हैं, जहां एजेंट एक निश्चित डेटासेट से सीखता है। अन्य विस्तारों में विचरण को और कम करने के लिए वितरणात्मक आलोचक और एन्सेम्बल विधियां शामिल हैं।
अपनी ताकत के बावजूद, TD3 हाइपरपैरामीटर ट्यूनिंग के प्रति संवेदनशील हो सकता है और उच्च-आयामी या आंशिक रूप से अवलोकन योग्य वातावरण में संघर्ष कर सकता है। शोधकर्ता इसके ढांचे पर निर्माण जारी रखते हैं, जिससे यह आधुनिक डीप रीइन्फोर्समेंट लर्निंग में एक मौलिक योगदान बन गया है।
यह भी देखें
- डीप रीइन्फोर्समेंट लर्निंग
- अभिनेता-आलोचक विधियां
- निरंतर नियंत्रण
- सॉफ्ट एक्टर-क्रिटिक