एंकर Machine learning में मॉडल भविष्यवाणियों के स्थानीय स्पष्टीकरण उत्पन्न करने की एक तकनीक है। इन्हें 2018 में वाशिंगटन विश्वविद्यालय के शोधकर्ताओं द्वारा पेश किया गया था, जिसका नेतृत्व मार्को टुलियो रिबेरो ने किया, जो पहले की LIME (लोकल इंटरप्रिटेबल मॉडल-एग्नोस्टिक एक्सप्लेनेशन) विधि के उत्तराधिकारी के रूप में था। एंकर सरल, नियम-आधारित शर्तों के रूप में स्पष्टीकरण प्रदान करते हैं जो किसी विशेष भविष्यवाणी के लिए पर्याप्त होते हैं, भले ही अन्य विशेषताओं में बदलाव हो। LIME के विपरीत, जो एक रैखिक मॉडल के साथ स्थानीय रूप से मॉडल का अनुमान लगाता है, एंकर का उद्देश्य सटीक, उच्च-परिशुद्धता वाले नियम बनाना है जो स्पष्ट रूप से बताते हैं कि भविष्यवाणी कब गारंटीकृत या अत्यधिक संभावित है।
एंकर के पीछे मुख्य विचार इस प्रश्न का उत्तर देना है: "विशेषता मानों का न्यूनतम सेट, यदि मौजूद है, तो मॉडल को समान आउटपुट उत्पन्न करने के लिए पर्याप्त है?" उदाहरण के लिए, एक स्पैम क्लासिफायर में, एक एंकर हो सकता है "यदि ईमेल में 'लॉटरी' शब्द है और प्रेषक संपर्क सूची में नहीं है, तो भविष्यवाणी स्पैम है," जिसकी बताई गई परिशुद्धता 0.95 है। यह नियम एक एंकर माना जाता है क्योंकि यह भविष्यवाणी को "एंकर" करता है: जब तक शर्तें पूरी होती हैं, भविष्यवाणी स्थिर रहती है भले ही अन्य विशेषताएं बदलती रहें। यह तकनीक मॉडल-एग्नोस्टिक है, जिसका अर्थ है कि इसे किसी भी ब्लैक-बॉक्स मॉडल पर लागू किया जा सकता है, जिसमें Neural network, Deep learning सिस्टम, और Large language model शामिल हैं, बिना आंतरिक मापदंडों तक पहुंच की आवश्यकता के।
औपचारिक परिभाषा और परिशुद्धता
औपचारिक रूप से, एक एंकर एक नियम है जिसमें विशेषता-मान जोड़े का एक सेट होता है। समझाए जाने वाले उदाहरण x को देखते हुए, एक एंकर A, x पर लागू होने वाले विधेय का एक सेट है। नियम को एंकर कहा जाता है यदि यह दो गुणों को संतुष्ट करता है: कवरेज और परिशुद्धता। कवरेज स्थानीय पड़ोस में उन उदाहरणों के अनुपात को संदर्भित करता है जो नियम को संतुष्ट करते हैं, जबकि परिशुद्धता वह संभावना है कि नियम को संतुष्ट करने वाले उदाहरणों के लिए मॉडल की भविष्यवाणी x के लिए भविष्यवाणी से मेल खाती है। लक्ष्य उच्च परिशुद्धता (आमतौर पर उपयोगकर्ता-निर्धारित सीमा से ऊपर, जैसे 0.95) और जितना संभव हो उतना उच्च कवरेज वाला नियम खोजना है, ताकि स्पष्टीकरण सटीक और व्यापक रूप से लागू होने योग्य दोनों हो।
सभी संभावित विक्षोभों की गणना किए बिना परिशुद्धता का अनुमान लगाने के लिए, एंकर एक मल्टी-आर्मेड बैंडिट एल्गोरिदम का उपयोग करते हैं। एल्गोरिदम मूल उदाहरण के विक्षोभों का नमूना लेता है, जहां विक्षुब्ध उदाहरण विशेषता मानों को एक वितरण (अक्सर प्रशिक्षण डेटा या पृष्ठभूमि डेटासेट के आधार पर) से मानों के साथ बदलकर उत्पन्न किए जाते हैं। बैंडिट दृष्टिकोण संभावित नियमों के स्थान की कुशलता से खोज करता है, उन पर ध्यान केंद्रित करता है जिनके उच्च परिशुद्धता होने की संभावना है। अंतिम एंकर वह नियम है जो परिशुद्धता बाधा के अधीन कवरेज को अधिकतम करता है, नमूनों की संख्या के आधार पर सांख्यिकीय गारंटी के साथ।
LIME के साथ तुलना
एंकर LIME की सीमाओं की प्रतिक्रिया के रूप में विकसित किए गए थे, जिसे रिबेरो और सहकर्मियों ने 2016 में भी पेश किया था। LIME उदाहरण के पड़ोस में एक विरल रैखिक मॉडल फिट करके भविष्यवाणियों की व्याख्या करता है, लेकिन रैखिक मॉडल अत्यधिक गैर-रेखीय निर्णय सीमाओं के लिए भ्रामक हो सकता है। उदाहरण के लिए, एक रैखिक अनुमान सुझाव दे सकता है कि एक विशेषता का सकारात्मक या नकारात्मक प्रभाव है, लेकिन वास्तव में, प्रभाव अन्य विशेषताओं पर सशर्त हो सकता है। एंकर स्पष्ट if-then नियम प्रदान करके इससे बचते हैं जो पर्याप्त हैं, जिससे वे मानव उपयोगकर्ताओं के लिए अधिक सहज होते हैं। इसके अतिरिक्त, LIME के स्पष्टीकरण मॉडल के व्यवहार के प्रति वफादार होने की गारंटी नहीं हैं, जबकि एंकर एक परिशुद्धता माप प्रदान करते हैं जो निष्ठा को मात्रात्मक करता है।
एक और महत्वपूर्ण अंतर यह है कि LIME स्थानीय स्पष्टीकरण उत्पन्न करता है जो विक्षोभ कर्नेल के साथ भिन्न हो सकते हैं, जबकि एंकर अधिक स्थिर और व्याख्या योग्य होने का लक्ष्य रखते हैं। एंकर अधिक कार्रवाई योग्य होने के लिए भी डिज़ाइन किए गए हैं: एक नियम जैसे "यदि विशेषता A और विशेषता B, तो भविष्यवाणी C" सीधे समझने और संभावित रूप से सिस्टम में हस्तक्षेप करने के लिए उपयोग किया जा सकता है।
एल्गोरिदम और कार्यान्वयन
एंकर एल्गोरिदम दो मुख्य चरणों में काम करता है: उम्मीदवार पीढ़ी और सत्यापन। पहले चरण में, यह उदाहरण से विशेषता मानों के संयोजन पर विचार करके उम्मीदवार नियम उत्पन्न करता है। निरंतर विशेषताओं के लिए, यह विधेय बनाने के लिए उन्हें अंतराल (जैसे, क्वांटाइल का उपयोग करके) में विभाजित करता है। एल्गोरिदम सबसे लगातार विशेषता मानों से शुरू करके और विस्तार करके नियमों के स्थान का पता लगाने के लिए बीम खोज का उपयोग करता है। सत्यापन चरण में, प्रत्येक उम्मीदवार नियम का परीक्षण विक्षोभों का नमूना लेकर और अनुभवजन्य परिशुद्धता की गणना करके किया जाता है। बैंडिट एल्गोरिदम (विशेष रूप से, KL-LUCB एल्गोरिदम) का उपयोग नमूनों को कुशलता से आवंटित करने के लिए किया जाता है, जब परिशुद्धता अनुमान पर्याप्त आत्मविश्वास होता है तो रोक दिया जाता है।
कार्यान्वयन, ओपन-सोर्स लाइब्रेरी anchor (माइक्रोसॉफ्ट की interpret लाइब्रेरी का हिस्सा) में उपलब्ध है, तालिका डेटा, पाठ और छवियों का समर्थन करता है। पाठ के लिए, एंकर शब्दों की उपस्थिति या अनुपस्थिति पर आधारित हो सकते हैं (जैसे, "यदि वाक्यांश 'बुरा नहीं' दिखाई देता है, तो भावना सकारात्मक है")। छवियों के लिए, एंकर सुपर-पिक्सेल (छवि के खंड) को विशेषताओं के रूप में उपयोग करते हैं, और नियम हो सकता है "यदि ये पिक्सेल मौजूद हैं, तो छवि को कुत्ते के रूप में वर्गीकृत किया जाता है।" लाइब्रेरी एंकर को मानव-पठनीय प्रारूप में प्रदर्शित करने के लिए विज़ुअलाइज़ेशन टूल भी प्रदान करती है।
व्यवहार में अनुप्रयोग
एंकर विभिन्न डोमेन में लागू किए गए हैं जहां मॉडल व्याख्या महत्वपूर्ण है। स्वास्थ्य देखभाल में, एंकर बता सकते हैं कि मॉडल किसी मरीज को एक निश्चित बीमारी होने की भविष्यवाणी क्यों करता है, उम्र, रक्तचाप और प्रयोगशाला परिणामों जैसी विशेषताओं के आधार पर। उदाहरण के लिए, एक एंकर हो सकता है "यदि आयु > 60 और सिस्टोलिक रक्तचाप > 140, तो हृदय रोग का उच्च जोखिम।" यह चिकित्सकों को मॉडल के निर्णयों पर भरोसा करने और मान्य करने में मदद करता है। वित्त में, एंकर क्रेडिट अनुमोदन निर्णयों की व्याख्या कर सकते हैं, प्रतिकूल कार्यों के लिए स्पष्टीकरण की आवश्यकता वाले नियमों का अनुपालन सुनिश्चित करते हुए। धोखाधड़ी का पता लगाने में, एंकर लेनदेन सुविधाओं के संयोजन को उजागर कर सकते हैं जो धोखाधड़ी अलर्ट को ट्रिगर करते हैं।
Generative AI और Large language model के संदर्भ में, एंकर का उपयोग यह समझाने के लिए किया गया है कि मॉडल एक विशेष प्रतिक्रिया क्यों उत्पन्न करता है। उदाहरण के लिए, एक भावना क्लासिफायर के लिए एक एंकर हो सकता है "यदि पाठ में 'प्यार' और 'अद्भुत' शामिल है, तो भावना सकारात्मक है।" हालांकि, LLM के लिए, विशेषता स्थान अधिक जटिल है, और एंकर अक्सर टोकन-स्तरीय सुविधाओं पर निर्भर करते हैं। शोधकर्ताओं ने मॉडल को डीबग करने के लिए एंकर का उपयोग करने की भी खोज की है, गलत भविष्यवाणियों के लिए अग्रणी स्पूरियस सहसंबंधों की पहचान करना।
सीमाएं और चुनौतियां
उनके फायदों के बावजूद, एंकर की कई सीमाएं हैं। पहला, वे केवल उतने ही अच्छे हैं जितना कि प्रतितथ्यात्मक उदाहरण उत्पन्न करने के लिए उपयोग किया जाने वाला विक्षोभ वितरण। यदि वितरण यथार्थवादी विविधताओं को प्रतिबिंबित नहीं करता है, तो परिशुद्धता अनुमान भ्रामक हो सकते हैं। दूसरा, एंकर कम्प्यूटेशनल रूप से महंगे हो सकते हैं, विशेष रूप से उच्च-आयामी डेटा के लिए, क्योंकि खोज स्थान तेजी से बढ़ता है। तीसरा, निरंतर विशेषताओं के लिए, विभाजन ऐसे नियमों को जन्म दे सकता है जो बहुत मोटे या बहुत महीन होते हैं, व्याख्या को प्रभावित करते हुए। चौथा, एंकर पर्याप्त लेकिन आवश्यक शर्तें प्रदान करते हैं, इसलिए वे पूरी तरह से यह नहीं समझा सकते हैं कि भविष्यवाणी क्यों की गई थी; एक ही भविष्यवाणी के लिए कई एंकर हो सकते हैं, और एल्गोरिदम केवल एक पाता है।
एक और चुनौती यह है कि एंकर विक्षोभ प्रक्रिया में विशेषता स्वतंत्रता मानते हैं, जो वास्तविक डेटा में नहीं हो सकता है। उदाहरण के लिए, पाठ में, कुछ शब्दों की उपस्थिति अक्सर सहसंबद्ध होती है, लेकिन विक्षोभ उन्हें स्वतंत्र रूप से मान सकता है, जिससे अवास्तविक नमूने हो सकते हैं। शोधकर्ताओं ने निर्भरताओं को संभालने के लिए विस्तार प्रस्तावित किए हैं, लेकिन ये अभी तक मानक नहीं हैं।
विस्तार और संबंधित कार्य
एंकर की शुरुआत के बाद से, कई विस्तार प्रस्तावित किए गए हैं। एक उल्लेखनीय विस्तार वैश्विक स्पष्टीकरण के लिए निर्णय नियमों का उपयोग है, जैसे SkopeRules लाइब्रेरी में, जो पेड़ ensembles से नियम निकालती है। एक और प्रतितथ्यात्मक स्पष्टीकरण के साथ एंकर का एकीकरण है, जहां लक्ष्य भविष्यवाणी को पलटने के लिए न्यूनतम परिवर्तन खोजना है। एंकर औपचारिक व्याख्या में "पर्याप्त कारणों" की अवधारणा से भी संबंधित हैं, जिसका उद्देश्य विशेषताओं के न्यूनतम उपसमुच्चय की गणना करना है जो भविष्यवाणी की गारंटी देते हैं। काम की उस पंक्ति में, निर्णय पेड़ों और तंत्रिका नेटवर्क जैसे मॉडलों के लिए सटीक एंकर की गणना करने के लिए एल्गोरिदम विकसित किए गए हैं, औपचारिक सत्यापन तकनीकों का उपयोग करके।
व्याख्यात्मक AI (XAI) के व्यापक क्षेत्र में, एंकर अन्य स्थानीय स्पष्टीकरण विधियों जैसे SHAP (SHapley Additive exPlanations) के साथ स्थान रखते हैं, जो गेम थ्योरी के आधार पर विशेषता विशेषताएं प्रदान करता है। जबकि SHAP विशेषता महत्व का वैश्विक दृश्य देता है, एंकर अधिक प्रत्यक्ष नियम-आधारित स्पष्टीकरण प्रदान करते हैं। कुछ अध्ययनों ने दोनों की तुलना की है, पाया है कि एंकर अक्सर गैर-विशेषज्ञों के लिए अधिक सहज होते हैं, जबकि SHAP अधिक व्यापक है।
प्रभाव और भविष्य की दिशाएं
एंकर की शुरुआत ने उद्योग में व्याख्या उपकरणों के विकास को प्रभावित किया है। प्रमुख क्लाउड प्रदाता, जिनमें Amazon Web Services, Microsoft Azure, और Google Cloud शामिल हैं, ने अपने मशीन लर्निंग प्लेटफार्मों में नियम-आधारित स्पष्टीकरण विधियों को शामिल किया है, जिससे उपयोगकर्ता अपने बुनियादी ढांचे पर तैनात मॉडलों के लिए एंकर उत्पन्न कर सकते हैं। उदाहरण के लिए, AWS SageMaker Clarify में एंकर के समान स्पष्टीकरण उत्पन्न करने के लिए एक सुविधा शामिल है, और Azure Machine Learning नियम-आधारित स्पष्टीकरण शामिल करने वाले व्याख्या घटक प्रदान करता है।
भविष्य के शोध दिशाओं में उच्च-आयामी डेटा के लिए एंकर की मापनीयता में सुधार, विशेषता निर्भरताओं को संभालने के तरीके विकसित करना, और इंटरैक्टिव टूल के साथ एंकर को एकीकृत करना शामिल है जो उपयोगकर्ताओं को वैकल्पिक नियमों का पता लगाने की अनुमति देते हैं। इसके अतिरिक्त, जैसे-जैसे Deep learning मॉडल अधिक जटिल होते जाते हैं, ऐसे स्पष्टीकरणों की बढ़ती आवश्यकता होती है जो वफादार और समझने योग्य दोनों हों, और एंकर इस आवश्यकता को पूरा करने के लिए अच्छी स्थिति में हैं, विशेष रूप से जब Model Pruning और Data Augmentation जैसी अन्य तकनीकों के साथ संयुक्त होते हैं ताकि मॉडल सरलता में सुधार हो सके।
संक्षेप में, एंकर स्थानीय व्याख्या में एक महत्वपूर्ण कदम आगे का प्रतिनिधित्व करते हैं, निष्ठा और मानव समझ के बीच संतुलन प्रदान करते हैं। भविष्यवाणियों के लिए पर्याप्त शर्तें प्रदान करके, वे हितधारकों को AI सिस्टम को समझने और भरोसा करने में सक्षम बनाते हैं, जो उच्च-जोखिम वाले डोमेन में जिम्मेदार तैनाती के लिए आवश्यक है।