यांत्रिक व्याख्यायोग्यता

यांत्रिक व्याख्यात्मकता एक शोध कार्यक्रम है जो एआई-सुरक्षा और मशीन लर्निंग के अंतर्गत आता है, जो एक तंत्रिका-नेटवर्क के प्रशिक्षित भारों को उलट-इंजीनियर करके उन एल्गोरिदमों का मानव-समझने योग्य विवरण तैयार करने का प्रयास करता है जिन्हें यह लागू करता है, न कि केवल बाहर से इसके व्यवहार का अनुमान लगाता है जैसा कि अधिकांश व्याख्यात्मक-एआई विधियाँ करती हैं। यह दृष्टिकोण एक प्रशिक्षित मॉडल को उसी तरह मानता है जैसे एक रिवर्स इंजीनियर स्रोत कोड के बिना संकलित बाइनरी कोड को मान सकता है: व्यक्तिगत न्यूरॉन्स, परतों और भारों के संयोजनों की जांच करके, शोधकर्ता उन विशिष्ट विशेषताओं और सर्किटों को पुनर्प्राप्त करने का प्रयास करते हैं जिनका उपयोग एक नेटवर्क किसी कार्य को करने के लिए करता है, जिसका अंतिम लक्ष्य किसी मॉडल के व्यवहार की भविष्यवाणी, सत्यापन या संपादन उसी आत्मविश्वास के साथ करना है जैसे उसका स्रोत कोड पढ़ना।

उत्पत्ति

कंप्यूटर विज़न में प्रारंभिक व्याख्यात्मकता कार्य, जिसमें ऑनलाइन पत्रिका डिस्टिल से जुड़ा फीचर विज़ुअलाइज़ेशन शोध शामिल है, ने दिखाया कि कन्वोल्यूशनल-न्यूरल-नेटवर्क मॉडल जैसे छवि वर्गीकरणकर्ताओं में व्यक्तिगत न्यूरॉन्स या न्यूरॉन्स के छोटे समूह वक्र, बनावट या वस्तु भागों जैसी पहचानने योग्य अवधारणाओं के अनुरूप हो सकते हैं। क्रिस-ओला, जो एंथ्रोपिक के सह-संस्थापक और इस क्षेत्र में एक प्रमुख व्यक्ति हैं, ने इस दृश्य, सर्किट-आधारित विश्लेषण शैली को लोकप्रिय बनाने में मदद की, इससे पहले कि इसे भाषा मॉडल तक विस्तारित किया जाता। ट्रांसफॉर्मर वास्तुकला और बड़े-भाषा-मॉडल प्रणालियों के उदय ने क्षेत्र का ध्यान ध्यान हेड्स, अवशिष्ट धाराओं और आंतरिक प्रतिनिधित्वों को समझने की ओर स्थानांतरित कर दिया, जो एक मॉडल को संदर्भ-में-सीखने जैसे कार्य करने की अनुमति देते हैं।

प्रमुख निष्कर्ष

व्याख्यात्मकता शोधकर्ताओं ने कई आवर्ती घटनाओं की पहचान की है। सुपरपोज़िशन उस निष्कर्ष का वर्णन करता है कि तंत्रिका नेटवर्क अक्सर अपने न्यूरॉन्स की तुलना में अधिक विशिष्ट विशेषताओं का प्रतिनिधित्व करते हैं, कई अवधारणाओं को सक्रियण स्थान में अतिव्यापी दिशाओं में पैक करते हैं, जिससे व्यक्तिगत न्यूरॉन्स को अलगाव में व्याख्या करना कठिन हो जाता है। स्पार्स ऑटोएनकोडर, जो व्यापक ऑटोएनकोडर तकनीक का एक अनुप्रयोग है, का उपयोग इन अतिव्यापी प्रतिनिधित्वों को बहुत बड़े सेट में विघटित करने के लिए किया गया है, जिसमें अधिक मोनोसेमेंटिक, व्यक्तिगत रूप से व्याख्या योग्य विशेषताएं शामिल हैं; एंथ्रोपिक का 2024 का कार्य, जिसने उत्पादन-स्तर के क्लॉड मॉडल में ऐसी लाखों विशेषताओं की पहचान की, और बाद का कार्य जिसने व्यवहारिक रूप से प्रासंगिक विशेषताओं का पता लगाना और संपादित करना शामिल किया, इस क्षेत्र में सबसे व्यापक रूप से चर्चित परिणामों में से था। कार्य की अन्य पंक्तियों ने संकीर्ण क्षमताओं के लिए जिम्मेदार विशिष्ट सर्किटों की पहचान की है, जैसे कि एक "इंडक्शन हेड" तंत्र जो ट्रांसफॉर्मर मॉडल को दोहराए गए पैटर्न को पूरा करने की अनुमति देता है, और व्याख्यात्मकता उपकरणों का उपयोग करके मॉडल के अंदर धोखे या लक्ष्य मिसजेनरलाइज़ेशन के संकेतों का पता लगाया है, न कि केवल इसके बताए गए आउटपुट पर निर्भर रहा है।

प्रेरणा और दांव

समर्थकों का तर्क है कि यांत्रिक व्याख्यात्मकता उन कुछ शोध दिशाओं में से एक है जो मनुष्यों को वास्तविक अंतर्दृष्टि दे सकती है कि क्या एक अत्यधिक सक्षम मॉडल उन लक्ष्यों का पीछा कर रहा है जिन्हें यह प्रतीत होता है, न कि केवल व्यवहारिक परीक्षण पर निर्भर रहना, एक चिंता जो संरेखण और पुरस्कार-हैकिंग के बारे में बहस से निकटता से जुड़ी है। क्योंकि व्याख्यात्मकता का उद्देश्य ब्लैक बॉक्स को सीधे खोलना है, न कि बाद में इसे समझाना, कुछ शोधकर्ता इसे बहुत अधिक सक्षम भविष्य की प्रणालियों, जिसमें कृत्रिम-सामान्य-बुद्धिमत्ता के करीब आने वाली कोई भी प्रणाली शामिल है, को आत्मविश्वास से तैनात करने के लिए एक पूर्वापेक्षा मानते हैं।

सीमाएँ

यह क्षेत्र किसी भी सीमांत मॉडल के पूर्ण विवरण से अभी भी बहुत दूर है; वर्तमान तकनीकें उत्पादन मॉडल के आकार के लिए खराब रूप से स्केल करती हैं, स्पार्स-ऑटोएनकोडर विशेषताएं नेटवर्क के सभी व्यवहार को साफ-सुथरे ढंग से कवर नहीं करती हैं, और यह सत्यापित करने के लिए कोई सहमत विधि नहीं है कि व्याख्यात्मकता-आधारित स्पष्टीकरण पूर्ण है, न कि केवल प्रशंसनीय। शोधकर्ता आम तौर पर यांत्रिक व्याख्यात्मकता को एक प्रारंभिक चरण का विज्ञान बताते हैं, जो महत्वाकांक्षा में तुलनीय है, हालांकि परिपक्वता में नहीं, न्यूरोसाइंस के जैविक मस्तिष्कों को मैप करने के प्रयास से।