DeepMind DQN (डीप क्यू-नेटवर्क) एक ऐतिहासिक कृत्रिम बुद्धिमत्ता मॉडल है, जिसे Google DeepMind के शोधकर्ताओं द्वारा विकसित किया गया था। इसने प्रदर्शित किया कि एक एकल एल्गोरिदम केवल कच्चे पिक्सेल इनपुट और गेम स्कोर को पुरस्कार संकेत के रूप में उपयोग करके, एटारी 2600 वीडियो गेम की एक विस्तृत श्रृंखला को मानव प्रदर्शन के बराबर या उससे अधिक स्तर पर खेलना सीख सकता है। यह कार्य फरवरी 2015 में जर्नल नेचर में "ह्यूमन-लेवल कंट्रोल थ्रू डीप रीइन्फोर्समेंट लर्निंग" शीर्षक के तहत प्रकाशित हुआ था, जो मशीन-लर्निंग और कृत्रिम-बुद्धिमत्ता के क्षेत्र में एक महत्वपूर्ण मील का पत्थर साबित हुआ।
DQN का मुख्य नवाचार एक गहरे तंत्रिका-नेटवर्क का क्यू-लर्निंग की रीइन्फोर्समेंट लर्निंग तकनीक के साथ संयोजन था। पारंपरिक क्यू-लर्निंग विधियाँ छोटे राज्य स्थानों तक सीमित थीं, लेकिन DQN ने क्यू-फ़ंक्शन का अनुमान लगाने के लिए एक कन्वोल्यूशनल तंत्रिका नेटवर्क का उपयोग किया, जो वर्तमान गेम स्क्रीन के आधार पर प्रत्येक क्रिया के लिए अपेक्षित भविष्य के पुरस्कार का अनुमान लगाता है। इसने मॉडल को हाथ से तैयार की गई सुविधाओं की आवश्यकता के बिना वीडियो गेम के उच्च-आयामी दृश्य इनपुट को संभालने की अनुमति दी।
आर्किटेक्चर और प्रशिक्षण
DQN के आर्किटेक्चर में तीन कन्वोल्यूशनल परतों के बाद दो पूरी तरह से जुड़ी परतों वाला एक कन्वोल्यूशनल तंत्रिका नेटवर्क शामिल था। इनपुट चार लगातार 84x84 ग्रेस्केल फ्रेमों का एक स्टैक था, जो गति की जानकारी को कैप्चर करता था। नेटवर्क ने प्रत्येक संभावित क्रिया (जैसे, बाएं या दाएं जाना, या फायरिंग) के लिए एक क्यू-मान आउटपुट किया। प्रशिक्षण में अनुभव रिप्ले का उपयोग किया गया, जहां एजेंट ने संक्रमण (राज्य, क्रिया, पुरस्कार, अगला राज्य) को एक मेमोरी बफर में संग्रहीत किया और नेटवर्क को अपडेट करने के लिए यादृच्छिक मिनी-बैचों का नमूना लिया, जिससे अनुक्रमिक डेटा में सहसंबंध टूट गए।
एक दूसरा प्रमुख घटक एक लक्ष्य नेटवर्क था, जो मुख्य नेटवर्क की एक समय-समय पर अपडेट की गई प्रति थी, जिसका उपयोग लक्ष्य क्यू-मानों की गणना करने के लिए किया जाता था। इसने अपने स्वयं के अनुमानों के साथ नेटवर्क को अपडेट करने के कारण होने वाले विचलन के जोखिम को कम करके प्रशिक्षण को स्थिर किया। मॉडल ने एडम ऑप्टिमाइज़र (हालांकि मूल पेपर में RMSProp का उपयोग किया गया था) और एक सीखने की दर अनुसूची का उपयोग किया जो समय के साथ घटती गई। प्रशिक्षण एक एकल Nvidia GTX 580 GPU पर किया गया था, जिसमें प्रत्येक गेम लगभग 38 दिनों के गेम समय (200 मिलियन फ्रेम के बराबर) के लिए खेला गया था।
परिणाम और प्रभाव
2015 के नेचर पेपर में, DQN का मूल्यांकन 49 एटारी गेम पर किया गया था। इसने आधे से अधिक गेम में मानव औसत के कम से कम 75% का स्कोर हासिल किया, और 29 गेम में मानव प्रदर्शन को पार कर गया, जिसमें ब्रेकआउट, पोंग और स्पेस इनवेडर्स जैसे क्लासिक्स शामिल थे। मॉडल का प्रदर्शन विशेष रूप से दीर्घकालिक योजना की आवश्यकता वाले गेम में उल्लेखनीय था, जैसे कि ब्रेकआउट, जहां इसने उच्च स्कोर प्राप्त करने के लिए दीवार में एक अंतर का फायदा उठाना सीखा।
DQN की सफलता ने गहन रीइन्फोर्समेंट लर्निंग में शोध की एक लहर को जन्म दिया। इसने प्रदर्शित किया कि गहन-शिक्षण को अनुक्रमिक निर्णय लेने की समस्याओं पर लागू किया जा सकता है, न कि केवल छवि पहचान जैसे पर्यवेक्षित कार्यों पर। बाद के कार्यों ने DQN की नींव पर निर्माण किया, जिससे डबल DQN, ड्यूएलिंग DQN और प्राथमिकता अनुभव रिप्ले जैसे सुधार हुए, जिन्होंने इसकी कुछ सीमाओं को संबोधित किया, जिसमें क्यू-मानों का अधिक अनुमान और अकुशल नमूनाकरण शामिल था।
अन्य AI विकासों से संबंध
DQN गूगल-डीपमाइंड की उपलब्धियों की व्यापक वंशावली का हिस्सा है, जिसमें बाद में अल्फागो और अल्फाज़ीरो जैसे मॉडल शामिल हैं। जबकि DQN ने वीडियो गेम पर ध्यान केंद्रित किया, न्यूरल नेटवर्क को रीइन्फोर्समेंट लर्निंग के साथ संयोजित करने के इसके सिद्धांतों को बोर्ड गेम और रोबोटिक्स तक बढ़ाया गया। मॉडल ने जनरेटिव-एआई और बड़े-भाषा-मॉडल के विकास को भी प्रभावित किया, क्योंकि इनमें से कई सिस्टम व्यवहार को ठीक करने के लिए मानव प्रतिक्रिया से रीइन्फोर्समेंट लर्निंग (RLHF) का उपयोग करते हैं, एक तकनीक जो DQN के पुरस्कार-संचालित सीखने के साथ वैचारिक जड़ें साझा करती है।
ओपनएआई के बाद के सामान्य-उद्देश्य एजेंटों पर काम के विपरीत, DQN एटारी वातावरण के लिए विशेषीकृत था, लेकिन इसने एक प्रमाण-अवधारणा प्रदान की कि गहरे तंत्रिका नेटवर्क कच्चे संवेदी डेटा से जटिल नियंत्रण नीतियां सीख सकते हैं। इसने स्वायत्त ड्राइविंग (जैसे, वेमो, टेस्ला-ऑटोपायलट) और रोबोटिक्स में शोध को प्रेरित किया, जहां समान गहन रीइन्फोर्समेंट लर्निंग दृष्टिकोण लागू किए जाते हैं।
सीमाएं और विरासत
अपनी सफलता के बावजूद, DQN में उल्लेखनीय सीमाएं थीं। इसे सीखने के लिए लाखों फ्रेम के अनुभव की आवश्यकता थी, जिससे यह मानव सीखने की तुलना में नमूना-अकुशल था। यह उन गेमों में भी संघर्ष करता था जिनमें विरल पुरस्कार थे या व्यापक अन्वेषण की आवश्यकता थी। मॉडल हाइपरपैरामीटर के प्रति संवेदनशील था, और इसका प्रदर्शन गेमों के बीच भिन्न था, कभी-कभी कुछ शीर्षकों पर बिल्कुल भी सीखने में विफल रहता था।
फिर भी, DQN कृत्रिम बुद्धिमत्ता में एक मौलिक कार्य बना हुआ है। इसे अकादमिक साहित्य में व्यापक रूप से उद्धृत किया जाता है और यह नए रीइन्फोर्समेंट लर्निंग एल्गोरिदम का मूल्यांकन करने के लिए एक मानक बेंचमार्क है। कोड और प्रशिक्षित मॉडल DeepMind द्वारा ओपन-सोर्स किए गए थे, जिससे दुनिया भर के शोधकर्ता परिणामों को पुन: पेश और विस्तारित कर सकें। 2020 के दशक के मध्य तक, DQN का प्रभाव आधुनिक AI शोध में बना हुआ है, विशेष रूप से मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग और मेटा-लर्निंग जैसे क्षेत्रों में।
प्रमुख योगदानकर्ता
DQN पेपर वोलोडिमिर मनिह, कोरय कावुककुओग्लू, डेविड सिल्वर, आंद्रेई ए. रुसु, जोएल वेनेस, मार्क जी. बेलेमारे, एलेक्स ग्रेव्स, मार्टिन रिडमिलर, आंद्रेस के. फिडजेलैंड, जॉर्ज ओस्ट्रोव्स्की, स्टिग पीटरसन, चार्ल्स बीटी, अमीर सादिक, इयोनिस एंटोनोग्लू, हेलेन किंग, धर्शन कुमारन, डान विएरस्ट्रा, शेन लेग और डेमिस हसाबिस द्वारा लिखा गया था। उनमें से उल्लेखनीय व्यक्तियों में कोरय-कावुककुओग्लू शामिल हैं, जो बाद में DeepMind में शोध निदेशक बने, और डेमिस-हसाबिस (हालांकि प्रदान की गई सूची में नहीं, वे DeepMind के सह-संस्थापक हैं)। यह कार्य रिचर्ड-सटन (सूचीबद्ध नहीं) और एंड्रयू-बार्टो (सूचीबद्ध नहीं) जैसे शोधकर्ताओं के पहले के योगदानों पर आधारित था, जिन्होंने रीइन्फोर्समेंट लर्निंग की सैद्धांतिक नींव विकसित की।