SHAP (SHapley Additive exPlanations) मशीन लर्निंग मॉडल के आउटपुट की व्याख्या करने के लिए एक ढांचा है। यह सहकारी खेल सिद्धांत, विशेष रूप से Shapley मान, की अवधारणाओं के आधार पर, किसी विशेष भविष्यवाणी के लिए प्रत्येक फीचर को एक महत्वपूर्ण मान प्रदान करता है। यह विधि कई मौजूदा फीचर एट्रिब्यूशन तकनीकों को एक एकल योगात्मक व्याख्या मॉडल के अंतर्गत एकीकृत करती है, जो यह समझने का एक सैद्धांतिक रूप से आधारित तरीका प्रदान करती है कि विभिन्न इनपुट फीचर मॉडल के आउटपुट में कैसे योगदान करते हैं।
SHAP के पीछे मूल विचार एक भविष्यवाणी को प्रत्येक फीचर के योगदान के योग और एक आधार मान (औसत भविष्यवाणी) में विघटित करना है। यह योगात्मक संरचना व्याख्याओं को सहज बनाती है: किसी दिए गए उदाहरण के लिए, भविष्यवाणी आधार मान और सभी फीचर के SHAP मानों के योग के बराबर होती है। यह विधि वांछनीय गुणों को संतुष्ट करती है जैसे कि स्थानीय सटीकता (योगदान का योग भविष्यवाणी के बराबर होता है), स्थिरता (यदि कोई मॉडल बदलता है ताकि एक फीचर अधिक मायने रखता है, तो उसका एट्रिब्यूशन कम नहीं होता है), और अनुपस्थिति (बिना योगदान वाले फीचर को शून्य एट्रिब्यूशन मिलता है)।
उत्पत्ति और सैद्धांतिक आधार
SHAP को 2017 में वाशिंगटन विश्वविद्यालय में स्कॉट लुंडबर्ग और सु-इन ली द्वारा एक पेपर में पेश किया गया था। यह नाम SHapley Additive exPlanations के लिए है, जो सहकारी खेल सिद्धांत से Shapley मान को संदर्भित करता है, जिसे नोबेल पुरस्कार विजेता लॉयड शैपले ने 1950 के दशक में विकसित किया था। Shapley मान एक गठबंधन खेल में खिलाड़ियों के बीच कुल भुगतान को उनके सीमांत योगदान के आधार पर वितरित करने का एक निष्पक्ष तरीका प्रदान करता है। मशीन लर्निंग के संदर्भ में, "खिलाड़ी" इनपुट फीचर हैं, और "भुगतान" मॉडल की भविष्यवाणी है।
सैद्धांतिक आधार फीचर एट्रिब्यूशन में पहले के काम पर बनाता है, जिसमें LIME (स्थानीय व्याख्यात्मक मॉडल-अज्ञेयवादी स्पष्टीकरण), DeepLIFT, और परत-वार प्रासंगिकता प्रसार शामिल हैं। SHAP इन विधियों को एकीकृत करता है यह दिखाकर कि उनमें से कई फीचर स्वतंत्रता के बारे में विभिन्न धारणाओं के तहत Shapley मान के अनुमान हैं। यह एकीकरण व्याख्या विधियों की तुलना और सुधार के लिए एक सैद्धांतिक ढांचा प्रदान करता है।
योगात्मक व्याख्या मॉडल
SHAP एक व्याख्या को एक योगात्मक फीचर एट्रिब्यूशन विधि के रूप में परिभाषित करता है, जहां आउटपुट मॉडल बाइनरी चर का एक रैखिक कार्य है जो इंगित करता है कि कोई फीचर मौजूद है या अनुपस्थित है। औपचारिक रूप से, भविष्यवाणी f(x) के लिए, व्याख्या g(z') को इस प्रकार परिभाषित किया गया है:
g(z') = φ0 + Σ φi z'i
जहां z' एक सरलीकृत इनपुट वेक्टर है (1 इंगित करता है कि फीचर मौजूद है, 0 अनुपस्थित है), φ0 आधार मान है (आमतौर पर पृष्ठभूमि डेटासेट पर औसत भविष्यवाणी), और φi प्रत्येक फीचर के लिए SHAP मान हैं। यह सूत्रीकरण सुनिश्चित करता है कि व्याख्या स्थानीय रूप से सटीक है, जिसका अर्थ है कि g(z') f(x) का अनुमान लगाता है जब z' वास्तविक इनपुट से मेल खाता है।
SHAP मानों की गणना एक सशर्त अपेक्षा फ़ंक्शन के Shapley मानों के रूप में की जाती है। एक फीचर i के लिए, इसका SHAP मान सभी संभावित फीचर सबसेट पर इसके सीमांत योगदान का भारित औसत है, जहां योगदान मॉडल की भविष्यवाणी में अंतर है जब फीचर शामिल किया गया है बनाम बाहर रखा गया है, अन्य फीचर को उनके देखे गए मानों पर रखते हुए।
गणना विधियाँ
सटीक SHAP मानों की गणना करना कम्प्यूटेशनल रूप से महंगा है, क्योंकि इसके लिए फीचर के सभी 2^M सबसेट पर मॉडल का मूल्यांकन करने की आवश्यकता होती है, जहां M फीचर की संख्या है। इसे संबोधित करने के लिए, कई अनुमान एल्गोरिदम विकसित किए गए हैं:
- KernelSHAP: एक मॉडल-अज्ञेयवादी विधि जो Shapley मानों का अनुमान लगाने के लिए भारित रैखिक प्रतिगमन का उपयोग करती है। यह किसी भी मॉडल के साथ काम करता है, इसे एक ब्लैक बॉक्स के रूप में मानता है, लेकिन बड़े डेटासेट के लिए धीमा हो सकता है।
- TreeSHAP: विशेष रूप से पेड़-आधारित मॉडल (जैसे रैंडम फॉरेस्ट और ग्रेडिएंट बूस्टिंग) के लिए एक कुशल एल्गोरिदम। यह पेड़ की संरचना का दोहन करके बहुपद समय में सटीक SHAP मानों की गणना करता है, जिससे यह बड़े समूहों के लिए व्यावहारिक हो जाता है।
- DeepSHAP: गहरे तंत्रिका नेटवर्क के लिए एक अनुकूलन, DeepLIFT के बैकप्रोपेगेशन दृष्टिकोण पर निर्मित। यह तेज़ अनुमान प्रदान करता है लेकिन सटीक नहीं हो सकता है।
- GradientSHAP: विभेदक मॉडल के लिए SHAP मानों का अनुमान लगाने के लिए ग्रेडिएंट का उपयोग करता है, एक कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है।
TreeSHAP, जिसे 2018 में लुंडबर्ग एट अल। द्वारा एक अनुवर्ती पेपर में पेश किया गया था, XGBoost और LightGBM जैसे ग्रेडिएंट बूस्टिंग मॉडल के व्यापक उपयोग के कारण विशेष रूप से लोकप्रिय हो गया। यह O(TLD^2) समय में सटीक गणना की अनुमति देता है, जहां T पेड़ों की संख्या है, L पत्तियों की संख्या है, और D अधिकतम गहराई है।
मॉडल व्याख्या में अनुप्रयोग
SHAP का व्यापक रूप से स्थानीय और वैश्विक दोनों व्याख्या के लिए उपयोग किया जाता है। स्थानीय व्याख्याओं के लिए, यह प्रश्न का उत्तर देता है: "मॉडल ने इस उदाहरण के लिए यह विशिष्ट भविष्यवाणी क्यों की?" यह क्रेडिट स्कोरिंग, चिकित्सा निदान और धोखाधड़ी का पता लगाने जैसे डोमेन में मूल्यवान है, जहां विश्वास और नियामक अनुपालन के लिए व्यक्तिगत निर्णयों को समझना महत्वपूर्ण है।
वैश्विक व्याख्याओं के लिए, SHAP मानों को समग्र फीचर महत्व दिखाने के लिए डेटासेट में एकत्र किया जा सकता है। सामान्य विज़ुअलाइज़ेशन में शामिल हैं:
- सारांश प्लॉट: प्रत्येक फीचर के लिए SHAP मानों का वितरण दिखाते हैं, यह प्रकट करते हुए कि फीचर विभिन्न उदाहरणों में भविष्यवाणियों को कैसे प्रभावित करते हैं।
- निर्भरता प्लॉट: एक फीचर के मान और उसके SHAP मान के बीच संबंध प्रदर्शित करते हैं, अक्सर गैर-रेखीय पैटर्न या इंटरैक्शन प्रकट करते हैं।
- फोर्स प्लॉट: व्यक्तिगत भविष्यवाणियों को बलों के रूप में देखते हैं जो भविष्यवाणी को आधार मान से दूर धकेलते हैं, फीचर को उनके योगदान से रंगा जाता है।
ये उपकरण डेटा वैज्ञानिकों को यह पहचानने में मदद करते हैं कि कौन से फीचर मॉडल व्यवहार को चलाते हैं, संभावित पूर्वाग्रहों का पता लगाते हैं, और सत्यापित करते हैं कि मॉडल डोमेन ज्ञान के साथ संरेखित हैं।
अन्य व्याख्या विधियों से संबंध
SHAP का सैद्धांतिक ढांचा कई अन्य व्याख्यात्मकता तकनीकों से जुड़ता है। LIME, उदाहरण के लिए, एक विशिष्ट भारित कर्नेल के साथ KernelSHAP का एक विशेष मामला माना जा सकता है। DeepLIFT और परत-वार प्रासंगिकता प्रसार भी संबंधित हैं, हालांकि वे फीचर स्वतंत्रता के बारे में अलग-अलग धारणाएं बनाते हैं। SHAP द्वारा प्रदान किया गया एकीकरण चिकित्सकों को विभिन्न तरीकों के अंतर्निहित अनुमानों को समझने और उनके उपयोग के मामलों के लिए उपयुक्त चुनने की अनुमति देता है।
एक प्रमुख अंतर मॉडल-अज्ञेयवादी तरीकों (जैसे KernelSHAP) और मॉडल-विशिष्ट तरीकों (जैसे TreeSHAP) के बीच है। मॉडल-अज्ञेयवादी तरीके मॉडल को एक ब्लैक बॉक्स के रूप में मानते हैं और किसी भी भविष्यवाणी फ़ंक्शन पर लागू किए जा सकते हैं, जबकि मॉडल-विशिष्ट तरीके दक्षता और सटीकता के लिए आंतरिक संरचना का दोहन करते हैं। SHAP दोनों प्रतिमानों का समर्थन करता है, जिससे यह विभिन्न मॉडल प्रकारों में बहुमुखी बन जाता है।
सीमाएँ और आलोचनाएँ
अपनी लोकप्रियता के बावजूद, SHAP की कई सीमाएँ हैं। Shapley मानों की गणना सशर्त अपेक्षाओं का अनुमान लगाते समय फीचर स्वतंत्रता मानती है, जो फीचर सहसंबद्ध होने पर अवास्तविक प्रतिवास्तविकताओं को जन्म दे सकती है। उदाहरण के लिए, यदि दो फीचर अत्यधिक सहसंबद्ध हैं, तो SHAP एक को महत्व दे सकता है जबकि दूसरे को अनदेखा कर सकता है, भले ही दोनों व्यवहार में आवश्यक हों।
एक और मुद्दा बड़े मॉडल और डेटासेट के लिए कम्प्यूटेशनल लागत है। जबकि TreeSHAP कुशल है, KernelSHAP कई फीचर या बड़े पृष्ठभूमि डेटासेट वाले मॉडल के लिए निषेधात्मक रूप से धीमा हो सकता है। अनुमान विधियाँ भिन्नता पेश करती हैं, और परिणाम पृष्ठभूमि डेटा की पसंद के प्रति संवेदनशील हो सकते हैं।
आलोचक यह भी नोट करते हैं कि SHAP मान एट्रिब्यूशन प्रदान करते हैं लेकिन कारण स्पष्टीकरण नहीं। वे वर्णन करते हैं कि फीचर भविष्यवाणियों से कैसे संबंधित हैं, न कि यदि कोई फीचर बदला जाए तो क्या होगा। यह अंतर उच्च-दांव अनुप्रयोगों में महत्वपूर्ण है जहां कारण समझ की आवश्यकता होती है।
सॉफ्टवेयर कार्यान्वयन
कई सॉफ्टवेयर लाइब्रेरी SHAP को लागू करती हैं। प्राथमिक एक shap पायथन पैकेज है, जिसे लुंडबर्ग द्वारा विकसित किया गया है और ओपन-सोर्स समुदाय द्वारा बनाए रखा गया है। यह scikit-learn, XGBoost, LightGBM, CatBoost और PyTorch सहित लोकप्रिय मशीन लर्निंग ढांचे के साथ एकीकरण का समर्थन करता है। पैकेज सारांश प्लॉट, निर्भरता प्लॉट और फोर्स प्लॉट के लिए विज़ुअलाइज़ेशन फ़ंक्शन प्रदान करता है, साथ ही विभिन्न एल्गोरिदम के साथ SHAP मानों की गणना के लिए उपयोगिताएँ भी प्रदान करता है।
अन्य कार्यान्वयन R (जैसे shapviz पैकेज) और वाणिज्यिक प्लेटफार्मों में मौजूद हैं। कई क्लाउड प्रदाता, जिनमें Amazon Web Services और Google Cloud शामिल हैं, अपनी मशीन लर्निंग सेवाओं में SHAP-आधारित व्याख्या सुविधाएँ प्रदान करते हैं, जिससे यह विधि व्यापक दर्शकों के लिए सुलभ हो जाती है।
प्रभाव और भविष्य की दिशाएँ
SHAP Machine learning समुदाय में मॉडल व्याख्या के लिए सबसे व्यापक रूप से उपयोग किए जाने वाले उपकरणों में से एक बन गया है। इसकी सैद्धांतिक नींव और व्यावहारिक कार्यान्वयन ने इसे पारंपरिक मॉडल और Deep learning सिस्टम दोनों की व्याख्या के लिए एक मानक विकल्प बना दिया है। यह विधि हजारों शोध पत्रों में संदर्भित है और कई उत्पादन पाइपलाइनों में एकीकृत है।
शोध SHAP की दक्षता में सुधार, फीचर निर्भरता को अधिक सटीक रूप से संभालने और इसे Transformer (architecture)-आधारित Large language model जैसे नए मॉडल प्रकारों तक विस्तारित करने पर जारी है। हालिया कार्य जनरेटिव मॉडल की व्याख्या और अवधारणा बहाव का पता लगाने के लिए SHAP का उपयोग करने की खोज करता है। जैसे-जैसे एआई पारदर्शिता के आसपास नियम कड़े होते हैं, SHAP जैसी विधियाँ स्वचालित निर्णय लेने में जवाबदेही और विश्वास सुनिश्चित करने में तेजी से महत्वपूर्ण भूमिका निभाने की संभावना रखती हैं।