कॉन्सेप्ट एक्टिवेशन वेक्टर (CAVs) मशीन लर्निंग में तंत्रिका नेटवर्क की आंतरिक प्रस्तुतियों की व्याख्या करने की एक तकनीक है। 2017 में गूगल ब्रेन और स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं द्वारा प्रस्तुत, CAVs यह परीक्षण करने का एक तरीका प्रदान करते हैं कि कोई दिया गया अवधारणा - जैसे 'धारीदार' या 'डॉक्टर' - मॉडल की सक्रियताओं में एन्कोडेड है या नहीं। इस विधि में एक रैखिक वर्गीकरणकर्ता को प्रशिक्षित करना शामिल है ताकि उन उदाहरणों की सक्रियताओं के बीच अंतर किया जा सके जिनमें अवधारणा शामिल है और जिनमें नहीं, फिर वर्गीकरणकर्ता के भार वेक्टर को CAV के रूप में उपयोग किया जाता है। यह वेक्टर सक्रियता स्थान के भीतर उस दिशा की ओर इशारा करता है जो अवधारणा से मेल खाती है, जिससे शोधकर्ता मानव-व्याख्या योग्य तरीके से मॉडल की समझ की जांच कर सकते हैं।
CAVs का व्यापक रूप से AI व्याख्यात्मकता के क्षेत्र में उपयोग किया जाता है, विशेष रूप से गहन शिक्षण मॉडल के लिए, पूर्वाग्रह का आकलन करने, सीखी गई विशेषताओं को सत्यापित करने और पारदर्शिता में सुधार करने के लिए। वे विशेष रूप से बड़े भाषा मॉडल और ट्रांसफॉर्मर के लिए प्रासंगिक हैं, जहां यह समझना कि मॉडल 'क्या जानता है', विश्वास और सुरक्षा के लिए महत्वपूर्ण है।
पृष्ठभूमि और प्रेरणा
जैसे-जैसे तंत्रिका नेटवर्क जटिलता में बढ़े, उनकी आंतरिक कार्यप्रणाली तेजी से अपारदर्शी होती गई। प्रारंभिक व्याख्यात्मकता विधियां व्यक्तिगत न्यूरॉन्स या ध्यान भारों को देखने पर केंद्रित थीं, लेकिन ये दृष्टिकोण अक्सर प्रस्तुतियों की वितरित प्रकृति को पकड़ने में विफल रहे। 2017 में, गूगल ब्रेन में बीन किम के नेतृत्व में एक टीम ने मॉडलों से पूछताछ करने का अधिक व्यवस्थित तरीका प्रस्तावित करके इसे संबोधित करने का प्रयास किया। उनका काम, पेपर 'Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)' में प्रकाशित, CAVs को TCAV (Testing with Concept Activation Vectors) नामक व्यापक ढांचे के हिस्से के रूप में पेश किया। प्रेरणा सरल विशेषता आरोपण से आगे बढ़कर यह मात्रात्मक परीक्षण सक्षम करना था कि कोई अवधारणा मॉडल द्वारा अपने निर्णय लेने में उपयोग की जाती है या नहीं।
मुख्य अंतर्दृष्टि यह थी कि अवधारणाएं अक्सर उच्च-आयामी सक्रियता स्थान में दिशाओं के रूप में प्रस्तुत की जाती हैं, न कि व्यक्तिगत न्यूरॉन्स के रूप में। इन सक्रियताओं के ऊपर एक रैखिक जांच प्रशिक्षित करके, कोई एक वेक्टर निकाल सकता है जो अवधारणा की दिशा को पकड़ता है। यह दृष्टिकोण इस अवलोकन पर आधारित है कि तंत्रिका नेटवर्क अक्सर उच्च-स्तरीय अवधारणाओं के लिए रैखिक रूप से अलग करने योग्य प्रस्तुतियां सीखते हैं।
CAVs कैसे काम करते हैं
CAV की गणना करने की प्रक्रिया में कई चरण शामिल हैं। पहले, कोई रुचि की अवधारणा का प्रतिनिधित्व करने वाले उदाहरणों का एक सेट चुनता है (जैसे, धारीदार वस्तुओं की छवियां) और 'प्रतिउदाहरणों' का एक सेट जो नहीं करते (जैसे, गैर-धारीदार वस्तुओं की छवियां)। फिर मॉडल को इन उदाहरणों पर चलाया जाता है, और चुनी गई परत पर सक्रियताएं दर्ज की जाती हैं। इसके बाद, एक रैखिक वर्गीकरणकर्ता - आमतौर पर एक सपोर्ट वेक्टर मशीन (SVM) या लॉजिस्टिक रिग्रेशन - को सक्रियताओं के दो सेटों के बीच अंतर करने के लिए प्रशिक्षित किया जाता है। इस वर्गीकरणकर्ता का भार वेक्टर, इकाई लंबाई में सामान्यीकृत, CAV बन जाता है।
एक बार CAV प्राप्त होने के बाद, इसका उपयोग अवधारणा के प्रति मॉडल की संवेदनशीलता का परीक्षण करने के लिए किया जा सकता है। उदाहरण के लिए, TCAV में, कोई CAV दिशा के साथ सक्रियताओं के संबंध में मॉडल के आउटपुट के दिशात्मक व्युत्पन्नों की गणना करता है। एक सकारात्मक व्युत्पन्न इंगित करता है कि मॉडल की भविष्यवाणी बढ़ जाती है जब अवधारणा मौजूद होती है, यह सुझाव देते हुए कि मॉडल उस अवधारणा पर निर्भर करता है। यह नेटवर्क की किसी भी परत के लिए किया जा सकता है, जो अवधारणा उपयोग का परत-वार विश्लेषण प्रदान करता है।
व्याख्यात्मकता में अनुप्रयोग
CAVs को विभिन्न डोमेन में लागू किया गया है, जिसमें कंप्यूटर विज़न और प्राकृतिक भाषा प्रसंस्करण शामिल हैं। मूल पेपर में, लेखकों ने छवि वर्गीकरण मॉडल पर तकनीक का प्रदर्शन किया, यह दिखाते हुए कि 'धारीदार' या 'चित्तीदार' जैसी अवधारणाएं ज़ेब्रा और तेंदुओं को वर्गीकृत करने के लिए एक मॉडल द्वारा उपयोग की गई थीं। उन्होंने संभावित पूर्वाग्रहों का पता लगाने के लिए भी CAVs का उपयोग किया, जैसे कि एक मॉडल डॉक्टरों की छवियों को वर्गीकृत करने में 'लिंग' को एक कारक के रूप में उपयोग करता है।
एनएलपी में, CAVs का उपयोग बड़े भाषा मॉडल में 'विषाक्तता', 'भावना' या 'विषय' जैसी अवधारणाओं की जांच के लिए किया गया है। उदाहरण के लिए, शोधकर्ताओं ने CAVs का उपयोग यह पहचानने के लिए किया है कि क्या एक मॉडल कुछ जनसांख्यिकीय शब्दों को नकारात्मक भावना से जोड़ता है, जिससे छिपे हुए पूर्वाग्रहों का पता चलता है। यह वास्तविक दुनिया के अनुप्रयोगों में तैनात जनरेटिव एआई प्रणालियों के लिए विशेष रूप से महत्वपूर्ण है।
अन्य व्याख्यात्मकता विधियों से संबंध
CAVs व्याख्यात्मकता तकनीकों के व्यापक परिवार का हिस्सा हैं जिनमें विशेषता आरोपण, सैलिएंसी मैप्स और सक्रियता अधिकतमीकरण शामिल हैं। सैलिएंसी मैप्स के विपरीत, जो इनपुट विशेषताओं को उजागर करते हैं, CAVs आंतरिक प्रस्तुतियों पर काम करते हैं। वे रैखिक जांच से भी संबंधित हैं, जहां एक वर्गीकरणकर्ता को एक संपत्ति की भविष्यवाणी करने के लिए सक्रियताओं पर प्रशिक्षित किया जाता है; CAVs इसे वर्गीकरणकर्ता के भार वेक्टर को अवधारणा दिशा के रूप में उपयोग करके विस्तारित करते हैं।
न्यूरॉन-स्तरीय विश्लेषण की तुलना में, CAVs वितरित प्रस्तुतियों को पकड़ते हैं, जिससे वे पॉलीसेमैंटिसिटी - वह घटना जहां एक एकल न्यूरॉन कई असंबंधित अवधारणाओं पर प्रतिक्रिया करता है - के प्रति अधिक मजबूत होते हैं। यह आधुनिक ट्रांसफॉर्मर में एक महत्वपूर्ण लाभ है, जहां पॉलीसेमैंटिसिटी आम है।
सीमाएं और चुनौतियां
अपनी उपयोगिता के बावजूद, CAVs की सीमाएं हैं। एक प्रमुख चुनौती प्रतिउदाहरणों का चयन है। CAV की गुणवत्ता नकारात्मक उदाहरणों के चयन पर काफी हद तक निर्भर करती है; यदि वे प्रतिनिधि नहीं हैं, तो CAV स्पूरियस सहसंबंधों को पकड़ सकता है। इसके अतिरिक्त, CAVs रैखिक हैं, जो गैर-रैखिक अवधारणा संबंधों को पकड़ नहीं सकते हैं। एक और मुद्दा यह है कि CAVs पोस्ट हॉक गणना किए जाते हैं, जिसका अर्थ है कि वे दर्शाते हैं कि मॉडल ने पहले ही क्या सीखा है, न कि वह क्या सीख सकता है।
इसके अलावा, CAVs को मॉडल की आंतरिक सक्रियताओं तक पहुंच की आवश्यकता होती है, जो मालिकाना मॉडल के लिए उपलब्ध नहीं हो सकती है। इससे ब्लैक-बॉक्स मॉडल के साथ काम करने वाली वैकल्पिक विधियों का विकास हुआ है, लेकिन CAVs सफेद-बॉक्स व्याख्यात्मकता के लिए एक मूल्यवान उपकरण बने हुए हैं।
विस्तार और विविधताएं
CAVs के कई विस्तार प्रस्तावित किए गए हैं। उदाहरण के लिए, 'कॉन्सेप्ट बॉटलनेक मॉडल' अवधारणा दिशाओं को सीधे मॉडल आर्किटेक्चर में शामिल करते हैं, जिससे स्पष्ट अवधारणा-आधारित तर्क की अनुमति मिलती है। एक अन्य प्रकार, 'स्वचालित अवधारणा खोज', मानव-लेबल वाले उदाहरणों के बिना अवधारणाओं को स्वचालित रूप से खोजने के लिए क्लस्टरिंग का उपयोग करता है। बड़े भाषा मॉडल के संदर्भ में, शोधकर्ताओं ने टोकन-स्तरीय सक्रियताओं के साथ काम करने के लिए CAVs को अनुकूलित किया है, जिससे विभिन्न संदर्भों में अवधारणाओं का प्रतिनिधित्व कैसे किया जाता है, इसका सूक्ष्म विश्लेषण संभव होता है।
हाल के काम ने मॉडल संपादन और डीबायसिंग के लिए CAVs का उपयोग करने की भी खोज की है। अवधारणा दिशाओं की पहचान करके, कोई अवांछित अवधारणाओं, जैसे लिंग या जाति, पर निर्भरता कम करने के लिए मॉडल की प्रस्तुतियों को समायोजित कर सकता है। यह AI सुरक्षा और निष्पक्षता में अनुसंधान का एक सक्रिय क्षेत्र है।
प्रभाव और भविष्य की दिशाएं
CAVs का AI व्याख्यात्मकता के क्षेत्र पर महत्वपूर्ण प्रभाव पड़ा है, जिसने यांत्रिक व्याख्यात्मकता और प्रतिनिधित्व इंजीनियरिंग पर बाद के काम को प्रभावित किया है। वे अब व्याख्यात्मकता टूलकिट में एक मानक उपकरण हैं, जिनका उपयोग ओपनएआई, एंथ्रोपिक और गूगल डीपमाइंड जैसे संस्थानों के शोधकर्ताओं द्वारा किया जाता है। जैसे-जैसे मॉडल पैमाने में बढ़ते जा रहे हैं, CAVs जैसी व्याख्यात्मकता विधियों की आवश्यकता अधिक दबाव वाली हो जाती है। भविष्य की दिशाओं में मल्टीमॉडल मॉडल के लिए CAVs विकसित करना, अवधारणा निष्कर्षण की मजबूती में सुधार करना और CAVs को स्वचालित ऑडिटिंग प्रणालियों में एकीकृत करना शामिल है।
संक्षेप में, कॉन्सेप्ट एक्टिवेशन वेक्टर यह परीक्षण करने का एक सैद्धांतिक तरीका प्रदान करते हैं कि कोई अवधारणा मॉडल की प्रस्तुतियों में एन्कोडेड है या नहीं, जो इस बात की अंतर्दृष्टि प्रदान करता है कि मॉडल क्या सीखते हैं और वे निर्णय कैसे लेते हैं। उनकी सरलता और प्रभावशीलता ने उन्हें आधुनिक व्याख्यात्मकता अनुसंधान की आधारशिला बना दिया है।
यह भी देखें
- मशीन लर्निंग
- तंत्रिका नेटवर्क
- गहन शिक्षण
- बड़ा भाषा मॉडल
- ट्रांसफॉर्मर
- व्याख्यात्मकता (नोट: प्रदान की गई सूची में नहीं, लेकिन एक सामान्य शब्द के रूप में)
संदर्भ
- किम, बी., एट अल. (2018). Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV). ICML.
- कोह, पी. डब्ल्यू., एट अल. (2020). Concept Bottleneck Models. ICML.
- गोह, जी., एट अल. (2021). Multimodal Neurons in Artificial Neural Networks. Distill.