एक्टिवेशन पैचिंग एक कारणात्मक हस्तक्षेप तकनीक है जिसका उपयोग मैकेनिस्टिक इंटरप्रिटेबिलिटी में किया जाता है, जो व्याख्यात्मक कृत्रिम बुद्धिमत्ता का एक उपक्षेत्र है जिसका उद्देश्य तंत्रिका नेटवर्क की आंतरिक कार्यप्रणाली को उनकी ठोस संरचनाओं, एल्गोरिदम और सर्किट का विश्लेषण करके समझना है। इस विधि में फॉरवर्ड पास के दौरान विशिष्ट न्यूरॉन्स, परतों या अटेंशन हेड्स की एक्टिवेशन को संशोधित करना और मॉडल के आउटपुट में होने वाले परिवर्तन का अवलोकन करना शामिल है। आंतरिक अवस्थाओं पर व्यवस्थित रूप से हस्तक्षेप करके, शोधकर्ता व्यक्तिगत घटकों के मॉडल के व्यवहार में कारणात्मक योगदान को माप सकते हैं, प्रभावी रूप से पारंपरिक सॉफ्टवेयर डिबगिंग के समान नेटवर्क को रिवर्स-इंजीनियर कर सकते हैं।
यह तकनीक मैकेनिस्टिक इंटरप्रिटेबिलिटी के व्यापक लक्ष्य के लिए केंद्रीय है, जो मशीन लर्निंग मॉडल के वेट में एन्कोडेड संरचनाओं, सर्किट या एल्गोरिदम की पहचान करना चाहता है। पहले की इंटरप्रिटेबिलिटी विधियों के विपरीत, जो मुख्य रूप से "ब्लैक बॉक्स" स्पष्टीकरणों पर केंद्रित थीं, जैसे कि सैलिएंसी मैप या ग्रेडिएंट-आधारित एट्रिब्यूशन, एक्टिवेशन पैचिंग आंतरिक अवस्थाओं और आउटपुट के बीच एक सीधा, कारणात्मक संबंध प्रदान करती है। यह इसे मॉडल व्यवहार को सत्यापित करने, एआई मिसअलाइनमेंट जैसे संभावित जोखिमों का पता लगाने, और यह समझने के लिए एक शक्तिशाली उपकरण बनाती है कि बड़े भाषा मॉडल (एलएलएम) और अन्य तंत्रिका नेटवर्क दिए गए इनपुट से विशिष्ट निष्कर्षों तक कैसे पहुंचते हैं।
उत्पत्ति और विकास
"मैकेनिस्टिक इंटरप्रिटेबिलिटी" शब्द क्रिस ओला द्वारा गढ़ा गया था, जो एंथ्रोपिक के सह-संस्थापक हैं, जो सर्किट विश्लेषण में उनके काम के विवरण के रूप में था, जो व्याख्यात्मक एआई में सामान्य तरीकों के विपरीत था। सर्किट विश्लेषण ने मॉडलों के भीतर व्यक्तिगत विशेषताओं और सर्किट को पूरी तरह से चिह्नित करने का प्रयास किया, जबकि व्यापक क्षेत्र सैलिएंसी मैप जैसे ग्रेडिएंट-आधारित दृष्टिकोणों की ओर झुका हुआ था। सर्किट विश्लेषण से पहले, उपक्षेत्र में काम ने इनसेप्शन वी1 जैसे विज़न मॉडल का विश्लेषण करने के लिए फीचर विज़ुअलाइज़ेशन, आयामीता में कमी, और एट्रिब्यूशन जैसी विभिन्न तकनीकों को मानव-कंप्यूटर इंटरैक्शन विधियों के साथ जोड़ा।
एक्टिवेशन पैचिंग सर्किट विश्लेषण के एक प्राकृतिक विस्तार के रूप में उभरी, जो यह परीक्षण करने का एक तरीका प्रदान करती है कि किसी दिए गए व्यवहार के लिए कौन से घटक महत्वपूर्ण हैं। प्रारंभिक अनुप्रयोग विज़न मॉडल पर केंद्रित थे, लेकिन यह तकनीक ट्रांसफॉर्मर-आधारित बड़े भाषा मॉडल के उदय के साथ प्रमुखता में आई, जहां यह अटेंशन हेड्स, रेसिड्यूअल स्ट्रीम और फीड-फॉरवर्ड नेटवर्क का अध्ययन करने के लिए एक मानक उपकरण बन गई। एंथ्रोपिक, ओपनएआई और गूगल डीपमाइंड जैसे संस्थानों के शोधकर्ताओं ने तब से विधि को परिष्कृत किया है, इसे स्पार्स ऑटोएनकोडर जैसे अन्य इंटरप्रिटेबिलिटी उपकरणों के साथ एकीकृत किया है।
मूल सिद्धांत
एक्टिवेशन पैचिंग इस सिद्धांत पर काम करती है कि तंत्रिका नेटवर्क की आंतरिक प्रस्तुतियाँ जानकारी को वितरित तरीके से एन्कोड करती हैं। फॉरवर्ड पास में किसी दिए गए बिंदु पर न्यूरॉन या परत की एक्टिवेशन एक वेक्टर है जो सुविधाओं का मिश्रण कैप्चर करती है। उस एक्टिवेशन को एक अलग इनपुट (या एक काउंटरफैक्चुअल सेटिंग) से मान के साथ बदलकर, शोधकर्ता देख सकते हैं कि आउटपुट कैसे बदलता है, जिससे उस घटक की भूमिका को अलग किया जा सकता है।
यह तकनीक रैखिक प्रतिनिधित्व परिकल्पना पर निर्भर करती है, जो सुझाव देती है कि उच्च-स्तरीय अवधारणाओं को तंत्रिका नेटवर्क की एक्टिवेशन स्पेस में रैखिक दिशाओं के रूप में दर्शाया जाता है। शब्द एम्बेडिंग और बड़े भाषा मॉडल से अनुभवजन्य साक्ष्य इस दृष्टिकोण का समर्थन करते हैं, हालांकि यह सार्वभौमिक रूप से धारण नहीं करता है। एक्टिवेशन पैचिंग इस रैखिकता का फायदा उठाकर लक्षित हस्तक्षेप करती है जो अवधारणा दिशाओं के संदर्भ में व्याख्या योग्य हैं।
पद्धति
एक विशिष्ट एक्टिवेशन पैचिंग प्रयोग में तीन फॉरवर्ड पास शामिल होते हैं। पहले, एक बेसलाइन पास एक स्वच्छ इनपुट के साथ चलाया जाता है ताकि मॉडल का आउटपुट रिकॉर्ड किया जा सके और रुचि की एक्टिवेशन संग्रहीत की जा सके। दूसरे, एक दूषित पास एक संशोधित इनपुट (उदाहरण के लिए, एक वाक्य जिसमें एक प्रमुख संज्ञा बदल दी गई है) के साथ चलाया जाता है ताकि एक अलग आउटपुट उत्पन्न हो और दूषित एक्टिवेशन संग्रहीत की जा सके। तीसरे, एक पैच किया गया पास चलाया जाता है जहां दूषित पास से एक्टिवेशन को विशिष्ट परतों या हेड्स पर स्वच्छ पास से एक्टिवेशन के साथ बदल दिया जाता है, और आउटपुट की तुलना बेसलाइन से की जाती है।
पैच किए गए और दूषित पास के बीच आउटपुट में अंतर पैच किए गए घटक के कारणात्मक प्रभाव को इंगित करता है। यदि किसी विशेष हेड को पैच करने से मूल आउटपुट बहाल हो जाता है, तो वह हेड संभवतः कार्य के लिए महत्वपूर्ण है। इसके विपरीत, यदि पैचिंग का कोई प्रभाव नहीं पड़ता है, तो घटक संभवतः अनावश्यक या अप्रासंगिक है। इस प्रक्रिया को सभी घटकों में दोहराया जा सकता है ताकि नेटवर्क का एक कारणात्मक मानचित्र तैयार किया जा सके, जिसे अक्सर हीटमैप या ग्राफ के रूप में देखा जाता है।
बड़े भाषा मॉडल में अनुप्रयोग
एक्टिवेशन पैचिंग बड़े भाषा मॉडल के लिए मैकेनिस्टिक इंटरप्रिटेबिलिटी की आधारशिला बन गई है। शोधकर्ता इसका उपयोग यह पहचानने के लिए करते हैं कि कौन से अटेंशन हेड विशिष्ट भाषाई घटनाओं के लिए जिम्मेदार हैं, जैसे कि विषय-क्रिया समझौता, कोरफेरेंस रिज़ॉल्यूशन, या तथ्यात्मक स्मरण। उदाहरण के लिए, एक ट्रांसफॉर्मर मॉडल में, "बिल्ली चटाई पर बैठी" जैसे वाक्य के दौरान एक विशेष अटेंशन हेड की एक्टिवेशन को पैच करने से पता चल सकता है कि क्या वह हेड "बिल्ली" और "बैठी" के बीच संबंध को एन्कोड करता है।
यह तकनीक रेसिड्यूअल स्ट्रीम का अध्ययन करने के लिए भी उपयोग की जाती है, जो ट्रांसफॉर्मर में मुख्य सूचना राजमार्ग है। विभिन्न परतों पर रेसिड्यूअल स्ट्रीम को पैच करके, शोधकर्ता यह पता लगा सकते हैं कि जानकारी इनपुट से आउटपुट तक कैसे प्रवाहित होती है और यह कहां रूपांतरित होती है। इससे इंडक्शन हेड्स की खोज हुई है, जो संदर्भ से पैटर्न की नकल करने के लिए जिम्मेदार हैं, और अन्य कार्यात्मक सर्किट।
स्पार्स ऑटोएनकोडर से संबंध
एक्टिवेशन पैचिंग को अक्सर स्पार्स ऑटोएनकोडर (एसएई) के साथ जोड़ा जाता है, जो तंत्रिका नेटवर्क एक्टिवेशन को स्पार्स प्रस्तुतियों में अलग करने के लिए प्रशिक्षित मॉडल हैं। एसएई के सीखे गए आयाम अक्सर सरल, मानव-समझने योग्य अवधारणाओं का प्रतिनिधित्व करते हैं। भाषा मॉडल की एक्टिवेशन पर एसएई लागू करके, शोधकर्ता पहचान सकते हैं कि किसी दिए गए संदर्भ में कौन सी विशेषताएं सक्रिय हैं और फिर उन विशेषताओं को पैच करके उनकी कारणात्मक भूमिका का परीक्षण कर सकते हैं। एंथ्रोपिक ने इस तकनीक को बड़े भाषा मॉडल इंटरप्रिटेबिलिटी पर लागू किया है, एसएई का उपयोग करके एक्टिवेशन को व्याख्या योग्य विशेषताओं में विघटित किया है और फिर उन विशेषताओं को पैच करके उनके प्रभावों को सत्यापित किया है।
यह संयोजन कच्ची एक्टिवेशन को पैच करने की तुलना में अधिक सूक्ष्म हस्तक्षेप की अनुमति देता है, क्योंकि यह पूरी परतों के बजाय विशिष्ट अवधारणा दिशाओं को लक्षित करता है। यह सुपरपोज़िशन की चुनौती को संबोधित करने में भी मदद करता है, जहां कई विशेषताएं कम संख्या में न्यूरॉन्स में पैक होती हैं।
सर्किट और कारणात्मक विश्लेषण
तंत्रिका नेटवर्क में एक सर्किट फीचर एक्टिवेशन की कारणात्मक श्रृंखलाओं से बना होता है। यह मैप करके कि कौन से सर्किट किस डाउनस्ट्रीम परिणाम की ओर ले जाते हैं, साथ ही सर्किट को सक्रिय और बाधित करके, कोई विश्लेषण कर सकता है कि एक तंत्रिका नेटवर्क (जैसे एलएलएम) किसी दिए गए इनपुट से दिए गए परिणाम तक कैसे पहुंचता है। एक्टिवेशन पैचिंग इस मैपिंग के लिए प्राथमिक उपकरण है, क्योंकि यह शोधकर्ताओं को यह परीक्षण करने की अनुमति देता है कि क्या एक परिकल्पित सर्किट वास्तव में एक व्यवहार के लिए आवश्यक है।
उदाहरण के लिए, एक विज़न मॉडल में, एक सर्किट में न्यूरॉन्स का एक सेट शामिल हो सकता है जो किनारों का पता लगाता है, एक और सेट जो कोनों का पता लगाता है, और एक अंतिम सेट जो वस्तुओं को पहचानता है। किनारे-पहचान न्यूरॉन्स की एक्टिवेशन को यादृच्छिक मानों के साथ पैच करने से पूरा सर्किट बाधित हो जाएगा, जबकि बाद की परत को पैच करने से अधिक स्थानीय प्रभाव हो सकता है। यह पदानुक्रमित विश्लेषण मॉडल के आंतरिक एल्गोरिदम की एक पूरी तस्वीर बनाने में मदद करता है।
सीमाएं और चुनौतियां
एक्टिवेशन पैचिंग की कई सीमाएं हैं। पहले, यह कम्प्यूटेशनल रूप से महंगी है, जिसमें परीक्षण किए जा रहे प्रत्येक घटक के लिए कई फॉरवर्ड पास की आवश्यकता होती है। अरबों मापदंडों वाले बड़े मॉडलों के लिए, यह निषेधात्मक हो सकता है। दूसरे, दूषित इनपुट का चुनाव महत्वपूर्ण है; एक खराब चुना गया दूषण भ्रामक परिणाम दे सकता है। तीसरे, यह तकनीक मानती है कि घटक स्वतंत्र रूप से कार्य करते हैं, लेकिन वास्तविकता में, घटकों के बीच बातचीत विश्लेषण को भ्रमित कर सकती है।
इसके अतिरिक्त, एक्टिवेशन पैचिंग केवल मॉडल का एक स्थानीय, इनपुट-विशिष्ट दृश्य प्रदान करती है। एक घटक जो एक इनपुट के लिए महत्वपूर्ण है, दूसरे के लिए अप्रासंगिक हो सकता है, इसलिए एक एकल प्रयोग से निकाले गए निष्कर्ष सामान्यीकृत नहीं हो सकते हैं। शोधकर्ताओं को अक्सर एक मजबूत समझ बनाने के लिए विविध इनपुट में कई प्रयोग चलाने की आवश्यकता होती है।
भविष्य की दिशाएं
2020 के दशक के मध्य तक, एक्टिवेशन पैचिंग अनुसंधान का एक सक्रिय क्षेत्र है, जिसमें तकनीक को बड़े मॉडलों तक स्केल करने और सर्किट की खोज को स्वचालित करने के प्रयास केंद्रित हैं। ट्रांसफॉर्मरलेंस लाइब्रेरी जैसे उपकरणों ने शोधकर्ताओं के लिए ओपन-सोर्स मॉडल पर पैचिंग लागू करना आसान बना दिया है, और शैक्षणिक प्रयोगशालाओं और एंथ्रोपिक और गूगल डीपमाइंड जैसे उद्योग समूहों के बीच सहयोग प्रगति को तेज कर रहा है। अंतिम लक्ष्य तंत्रिका नेटवर्क आंतरिक की एक व्यापक समझ विकसित करना है, जो एआई सुरक्षा प्रथाओं को सूचित कर सकता है और अधिक विश्वसनीय और नियंत्रणीय एआई सिस्टम की ओर ले जा सकता है।