बहु-सशस्त्र डाकू समस्या, जिसे कभी-कभी K- या N-सशस्त्र डाकू समस्या कहा जाता है, संभाव्यता सिद्धांत और मशीन लर्निंग में एक मूलभूत अवधारणा है। इसका नाम एक जुआरी के नाम पर रखा गया है जो स्लॉट मशीनों की एक पंक्ति का सामना करता है, जिन्हें अक्सर "एक-सशस्त्र डाकू" कहा जाता है, और उसे यह तय करना होता है कि कौन सी मशीनें खेलनी हैं, प्रत्येक को कितनी बार खेलना है, और किस क्रम में, साथ ही यह भी तय करना है कि वर्तमान मशीन के साथ बने रहना है या कोई अलग मशीन आज़मानी है। अधिक सामान्यतः, यह एक निर्णयकर्ता का वर्णन करता है जो बार-बार कई निश्चित विकल्पों में से एक का चयन करता है, जिन्हें हथियार या क्रियाएँ कहा जाता है, जब प्रत्येक विकल्प के गुण आवंटन के समय केवल आंशिक रूप से ज्ञात होते हैं और समय के साथ बेहतर समझे जा सकते हैं। एक प्रमुख पहलू यह है कि एक हथियार चुनने से उस हथियार या किसी अन्य हथियार के गुण प्रभावित नहीं होते हैं, जो इसे व्यापक सुदृढीकरण लर्निंग समस्याओं से अलग करता है जहाँ क्रियाएँ भविष्य की स्थितियों और पुरस्कार वितरण को बदल सकती हैं।
यह समस्या अन्वेषण-दोहन व्यापार-संतुलन का उदाहरण है, जो मशीन लर्निंग में एक केंद्रीय दुविधा है। जुआरी को उच्चतम ज्ञात अपेक्षित भुगतान वाली मशीन के "दोहन" को अन्य मशीनों के बारे में अधिक जानकारी इकट्ठा करने के लिए "अन्वेषण" के साथ संतुलित करना होता है। उद्देश्य लीवर खींचने के अनुक्रम के माध्यम से अर्जित कुल पुरस्कार को अधिकतम करना है। यह व्यापार-संतुलन कई व्यावहारिक अनुप्रयोगों में दिखाई देता है, जिसमें नैदानिक परीक्षण, अनुकूली नेटवर्क रूटिंग, वित्तीय पोर्टफोलियो डिज़ाइन और अनुसंधान संगठनों में संसाधन आवंटन शामिल हैं।
बहु-सशस्त्र डाकू समस्या पर मूल रूप से द्वितीय विश्व युद्ध के दौरान मित्र देशों के वैज्ञानिकों ने विचार किया था, लेकिन यह इतनी दुर्जेय साबित हुई कि, पीटर व्हिटल के अनुसार, इसे जर्मनी पर गिराने का प्रस्ताव दिया गया था ताकि जर्मन वैज्ञानिक भी इस पर अपना समय बर्बाद कर सकें। अब आमतौर पर विश्लेषण किया जाने वाला संस्करण 1952 में हर्बर्ट रॉबिंस द्वारा तैयार किया गया था, जिन्होंने अपने पेपर "सोम एस्पेक्ट्स ऑफ़ द सीक्वेंशियल डिज़ाइन ऑफ़ एक्सपेरिमेंट्स" में अभिसरण जनसंख्या चयन रणनीतियों का निर्माण किया। एक उल्लेखनीय सैद्धांतिक परिणाम गिटिन्स इंडेक्स है, जिसे पहली बार जॉन सी. गिटिन्स द्वारा प्रकाशित किया गया था, जो अपेक्षित छूट वाले पुरस्कार को अधिकतम करने के लिए एक इष्टतम नीति प्रदान करता है।
औपचारिक मॉडल
बहु-सशस्त्र डाकू को वास्तविक वितरणों के एक समुच्चय \(B = \{R_1, \dots, R_K\}\) के रूप में मॉडल किया जा सकता है, जहाँ प्रत्येक वितरण \(K\) लीवरों में से एक द्वारा दिए गए पुरस्कारों से जुड़ा होता है, जिसमें \(K \in \mathbb{N}^+\) होता है। मान लीजिए \(\mu_1, \dots, \mu_K\) इन पुरस्कार वितरणों के माध्य मान हैं। जुआरी प्रति दौर एक लीवर खेलता है और संबंधित पुरस्कार का अवलोकन करता है, जिसका लक्ष्य क्षितिज \(H\) पर एकत्रित पुरस्कारों के योग को अधिकतम करना है, जो शेष दौरों की संख्या है। डाकू समस्या औपचारिक रूप से एक-अवस्था मार्कोव निर्णय प्रक्रिया के बराबर है।
पछतावा, जिसे \(\rho\) से दर्शाया जाता है, \(T\) दौरों के बाद एक इष्टतम रणनीति के पुरस्कार योग और एकत्रित पुरस्कारों के बीच अपेक्षित अंतर को मापता है। इसे \(\rho = T\mu^ - \sum_{t=1}^T \hat{r}_t\) के रूप में परिभाषित किया गया है, जहाँ \(\mu^\) अधिकतम पुरस्कार माध्य है और \(\hat{r}_t\) दौर \(t\) पर प्राप्त पुरस्कार है। पछतावा को कम करना डाकू एल्गोरिदम में एक प्राथमिक उद्देश्य है।
अन्वेषण बनाम दोहन
अन्वेषण-दोहन व्यापार-संतुलन बहु-सशस्त्र डाकू समस्याओं में मुख्य चुनौती है। दोहन में वर्तमान ज्ञान के आधार पर उच्चतम अनुमानित पुरस्कार वाले हथियार को चुनना शामिल है, जबकि अन्वेषण में उनके संभावित पुरस्कारों के बारे में अनिश्चितता को कम करने के लिए अन्य हथियारों को आज़माना शामिल है। प्रभावी रणनीतियों को दीर्घकालिक संचयी पुरस्कार को अधिकतम करने के लिए इन प्रतिस्पर्धी उद्देश्यों को संतुलित करना चाहिए। यह व्यापार-संतुलन डाकुओं के लिए अद्वितीय नहीं है; यह Machine learning में हर जगह दिखाई देता है, जिसमें Reinforcement learning और Artificial intelligence प्रणालियाँ शामिल हैं जिन्हें ज्ञात रणनीतियों का उपयोग करने और नई खोजने के बीच निर्णय लेना होता है।
व्यवहार में, बहु-सशस्त्र डाकुओं का उपयोग बड़े संगठनों, जैसे विज्ञान फाउंडेशन या फार्मास्युटिकल कंपनी में अनुसंधान परियोजनाओं के प्रबंधन जैसी समस्याओं को मॉडल करने के लिए किया गया है। उदाहरण के लिए, एक अनुसंधान प्रबंधक को यह तय करना होता है कि किन परियोजनाओं को वित्तपोषित किया जाए, ज्ञात क्षमता वाली परियोजनाओं के दोहन को नए, अनिश्चित विचारों के अन्वेषण के साथ संतुलित करना। यह मॉडल नेटवर्क देरी को कम करने के लिए अनुकूली रूटिंग और वित्तीय पोर्टफोलियो डिज़ाइन पर भी लागू किया गया है, जहाँ परिसंपत्तियों का चयन समान व्यापार-संतुलन शामिल करता है।
एल्गोरिदम और रणनीतियाँ
बहु-सशस्त्र डाकू समस्या को संबोधित करने के लिए कई एल्गोरिदम विकसित किए गए हैं। सबसे शुरुआती में से एक एप्सिलॉन-लालची रणनीति है, जहाँ एजेंट संभावना \(\epsilon\) के साथ एक यादृच्छिक हथियार चुनता है (अन्वेषण) और अन्यथा उच्चतम अनुमानित पुरस्कार वाले हथियार का चयन करता है (दोहन)। एक और लोकप्रिय दृष्टिकोण ऊपरी विश्वास सीमा (UCB) एल्गोरिदम है, जो उनके औसत पुरस्कार और उस अनुमान की अनिश्चितता दोनों के आधार पर हथियारों का चयन करता है, प्रभावी रूप से सैद्धांतिक तरीके से अन्वेषण और दोहन को संतुलित करता है। थॉम्पसन सैंपलिंग, एक बायेसियन विधि, प्रत्येक हथियार के पुरस्कार के लिए एक पश्च वितरण बनाए रखती है और यह तय करने के लिए इन वितरणों से नमूने लेती है कि कौन सा हथियार खेलना है।
गिटिन्स इंडेक्स, जिसे जॉन सी. गिटिन्स द्वारा पेश किया गया, कुछ डाकू सेटिंग्स में अपेक्षित छूट वाले पुरस्कार को अधिकतम करने के लिए एक इष्टतम नीति प्रदान करता है। यह अपनी स्थिति के आधार पर प्रत्येक हथियार को एक इंडेक्स निर्दिष्ट करता है, और इष्टतम रणनीति उच्चतम इंडेक्स वाले हथियार को खेलना है। यह परिणाम संचालन अनुसंधान और अर्थशास्त्र में प्रभावशाली रहा है।
अनुप्रयोग और अनुभवजन्य साक्ष्य
बहु-सशस्त्र डाकू ढांचे के कई व्यावहारिक अनुप्रयोग हैं। नैदानिक परीक्षणों में, इसका उपयोग रोगियों को विभिन्न उपचारों में आवंटित करने के लिए किया जा सकता है, जिससे उपचार प्रभावकारिता के बारे में जानकारी एकत्र करते हुए रोगी हानि को कम किया जा सके। अनुकूली रूटिंग में, यह गतिशील रूप से नेटवर्क पथों का चयन करके देरी को कम करने में मदद करता है। वित्तीय पोर्टफोलियो डिज़ाइन में, यह प्रतिस्पर्धी निवेश विकल्पों के बीच संसाधनों के आवंटन का मार्गदर्शन करता है।
2024 के एक अध्ययन में कैसीनो जुआ रिकॉर्ड का उपयोग करके खिलाड़ियों की अज्ञात बाधाओं वाली स्लॉट मशीनों के बीच बार-बार की गई पसंद को एक बड़े पैमाने पर बहु-सशस्त्र डाकू समस्या के रूप में माना गया। अध्ययन में पाया गया कि अधिक अनुभवी खिलाड़ी बेहतर बाधाओं वाली मशीनों का चयन करते थे और समय के साथ अपनी मशीन पसंद में अधिक स्थिरता दिखाते थे, ये पैटर्न सीखने और बेहतर ज्ञात विकल्पों के अधिक दोहन के अनुरूप थे। यह अनुभवजन्य साक्ष्य वास्तविक दुनिया के निर्णय लेने के लिए डाकू मॉडल की प्रासंगिकता का समर्थन करता है।
मॉडल का उपयोग विभिन्न परियोजनाओं में संसाधनों के गतिशील आवंटन को नियंत्रित करने के लिए भी किया गया है, जो इस सवाल का उत्तर देता है कि कठिनाई और भुगतान के बारे में अनिश्चितता को देखते हुए किस परियोजना पर काम करना चाहिए। यह अनुप्रयोग अनुसंधान और विकास में विशेष रूप से प्रासंगिक है, जहाँ संगठनों को प्रतिस्पर्धी पहलों के बीच सीमित संसाधनों को आवंटित करने का निर्णय लेना होता है।
सुदृढीकरण लर्निंग से संबंध
बहु-सशस्त्र डाकू समस्या एक क्लासिक Reinforcement learning समस्या है जो अन्वेषण-दोहन व्यापार-संतुलन का उदाहरण है। हालाँकि, यह सामान्य सुदृढीकरण लर्निंग की तुलना में सरल है क्योंकि चयनित क्रियाएँ हथियारों के पुरस्कार वितरण को प्रभावित नहीं करती हैं। इसके विपरीत, सामान्य सुदृढीकरण लर्निंग में, क्रियाएँ पर्यावरण की स्थिति को बदल सकती हैं, जिससे भविष्य के पुरस्कार प्रभावित होते हैं। यह अंतर डाकुओं को अन्वेषण-दोहन दुविधाओं का अध्ययन करने के लिए एक सुलभ प्रारंभिक बिंदु बनाता है, और डाकुओं के लिए विकसित कई एल्गोरिदम को अधिक जटिल सुदृढीकरण लर्निंग सेटिंग्स तक बढ़ाया गया है।
यह समस्या स्टोकेस्टिक शेड्यूलिंग की व्यापक श्रेणी में भी आती है, जहाँ विभिन्न क्रियाओं के परिणामों के बारे में अनिश्चितता के तहत निर्णय लेने होते हैं। यह संबंध संचालन अनुसंधान से लेकर Artificial intelligence तक विभिन्न डोमेन में डाकू मॉडल की व्यापक प्रयोज्यता को उजागर करता है।
संक्षेप में, बहु-सशस्त्र डाकू समस्या अनिश्चितता के तहत निर्णय लेने के लिए एक मौलिक मॉडल है, जिसकी गहरी सैद्धांतिक जड़ें और व्यापक व्यावहारिक प्रासंगिकता है। इसके अध्ययन ने सुरुचिपूर्ण एल्गोरिदम और अंतर्दृष्टि उत्पन्न की है जो Machine learning और उससे परे अनुसंधान को सूचित करते रहते हैं।