व्याख्यात्मक AI, जिसे आमतौर पर XAI के रूप में संक्षिप्त किया जाता है, कृत्रिम बुद्धिमत्ता की वह उप-शाखा है जो किसी मॉडल की आंतरिक कार्यप्रणाली या आउटपुट को मानव उपयोगकर्ताओं के लिए समझने योग्य बनाने से संबंधित है। व्याख्यात्मकता की आवश्यकता सरल, स्वाभाविक रूप से व्याख्या योग्य मॉडलों जैसे रेखीय प्रतिगमन और निर्णय वृक्षों से हटकर जटिल Neural network आर्किटेक्चर की ओर बदलाव के साथ बढ़ी, जिनकी भविष्यवाणियाँ लाखों या अरबों सीखे गए मापदंडों की परस्पर क्रिया से उत्पन्न होती हैं जो किसी मानव पाठक द्वारा सीधे तौर पर अनुरेखित नहीं की जा सकतीं, एक सीमा जिसे व्यापक रूप से ब्लैक-बॉक्स समस्या कहा जाता है। XAI विधियों का उद्देश्य उस अंतर को पाटना है, या तो मॉडल के डिज़ाइन में निर्मित स्पष्टीकरण उत्पन्न करके या बाद में उत्पन्न करके, बिना अनिवार्य रूप से मॉडल की आंतरिक गणना का पूर्ण यांत्रिक विवरण प्रदान किए।
प्रेरणाएँ
व्याख्यात्मकता की मांग कई दिशाओं से आती है। क्रेडिट, स्वास्थ्य सेवा, और आपराधिक न्याय जैसे क्षेत्रों में नियामक तेजी से मांग कर रहे हैं कि व्यक्तियों को प्रभावित करने वाले स्वचालित निर्णय व्याख्या योग्य हों, एक सिद्धांत जो यूरोपीय संघ के सामान्य डेटा संरक्षण विनियमन और EU AI Act में प्रतिध्वनित होता है। डेवलपर्स मॉडलों को डीबग करने और गलत सहसंबंधों को पकड़ने के लिए स्पष्टीकरण का उपयोग करते हैं, जैसे कि एक मॉडल किसी जानवर को स्वयं जानवर के बजाय पृष्ठभूमि के भू-भाग से पहचानना सीख लेता है। स्पष्टीकरण Algorithmic bias का पता लगाने और उसे सुधारने के प्रयासों का भी समर्थन करते हैं, और परिणामकारी निर्णयों में उपयोग होने वाली प्रणालियों में उपयोगकर्ता का विश्वास बनाने में सहायता करते हैं।
तकनीकें
XAI विधियों को आमतौर पर दो परिवारों में विभाजित किया जाता है। स्वाभाविक रूप से व्याख्या योग्य मॉडल, जैसे निर्णय वृक्ष, नियम सूचियाँ, और रेखीय मॉडल, निर्माण से ही पारदर्शी होते हैं लेकिन जटिल कार्यों पर गहन शिक्षण की तुलना में कम सटीक होते हैं। पोस्ट-हॉक विधियाँ इसके बजाय एक प्रशिक्षित मॉडल को स्थिर मानती हैं और उसके व्यक्तिगत पूर्वानुमानों या उसके आसपास के सामान्य व्यवहार को समझाने का प्रयास करती हैं। व्यापक रूप से उपयोग की जाने वाली पोस्ट-हॉक तकनीकों में सैलिएंसी मैप्स शामिल हैं, जो इनपुट क्षेत्रों, जैसे किसी छवि में पिक्सेल, को उजागर करते हैं जिन्होंने किसी Convolutional neural network के आउटपुट को सबसे अधिक प्रभावित किया; LIME (लोकल इंटरप्रेटेबल मॉडल-एग्नोस्टिक एक्सप्लेनेशन्स), जो एक जटिल मॉडल के स्थानीय व्यवहार को एक सरल सरोगेट मॉडल के साथ अनुमानित करता है; और SHAP (SHapley Additive exPlanations), जो सहकारी खेल सिद्धांत से उधार लिए गए खेल-सैद्धांतिक ढांचे का उपयोग करके एक पूर्वानुमान को उसके योगदान देने वाले इनपुट विशेषताओं में इस तरह विभाजित करता है जो कुछ निष्पक्षता गुणों को संतुष्ट करता है। ये विधियाँ मॉडल-एग्नोस्टिक हैं इस अर्थ में कि उन्हें आंतरिक भारों तक पहुंच के बिना कई प्रकार की Machine learning प्रणालियों पर लागू किया जा सकता है।
सीमाएँ और व्याख्या-क्षमता से संबंध
पोस्ट-हॉक स्पष्टीकरण विधियों ने कभी-कभी किसी मॉडल के वास्तविक तर्क के प्रशंसनीय-दिखने वाले लेकिन अविश्वसनीय विवरण उत्पन्न करने के लिए आलोचना आकर्षित की है, क्योंकि वे शामिल गणना को सीधे उजागर करने के बजाय अनुमानित करती हैं। यह सीमा एक समानांतर, अधिक महत्वाकांक्षी शोध दिशा को प्रेरित किया है जिसे यांत्रिक Mechanistic interpretability कहा जाता है, जो किसी नेटवर्क द्वारा सीखे गए वास्तविक सर्किटों और विशेषताओं को उल्टा-इंजीनियर करने का प्रयास करती है न कि बाहर से उसके व्यवहार का अनुमान लगाने का; दोनों क्षेत्र निकट से संबंधित हैं लेकिन साक्ष्य के विभिन्न मानकों का पीछा करते हैं। शास्त्रीय Computer vision और सारणीबद्ध मॉडलों के लिए डिज़ाइन की गई XAI विधियाँ Large language model प्रणालियों के अनुकूल होने में अधिक कठिन साबित हुई हैं, जिनके आउटपुट निश्चित वर्गों के समूह के बजाय मुक्त-रूप पाठ होते हैं, जिसने व्याख्यात्मकता अनुसंधान की अग्रिम पंक्ति को काफी हद तक इंटरप्रेटेबिलिटी-शैली सर्किट विश्लेषण की ओर और मॉडलों से एक Chain-of-thought को एक प्रॉक्सी स्पष्टीकरण के रूप में उत्पन्न करने के लिए कहने की ओर स्थानांतरित कर दिया है, हालांकि यह हमेशा अंतर्निहित गणना को विश्वसनीय रूप से प्रतिबिंबित नहीं करता।