फीचर एब्लेशन कृत्रिम बुद्धिमत्ता और मशीन लर्निंग में एक तकनीक है, जिसका उपयोग किसी विशिष्ट घटक के समग्र AI प्रणाली के प्रदर्शन में योगदान को निर्धारित करने के लिए किया जाता है। इस विधि में किसी घटक को हटाना या अक्षम करना शामिल है, फिर यह देखना कि प्रणाली का प्रदर्शन कैसे बदलता है। यह दृष्टिकोण कृत्रिम तंत्रिका नेटवर्क के विश्लेषण में विशेष रूप से आम है, जहाँ यह शोधकर्ताओं को यह समझने में मदद करता है कि भाषण पहचान, वस्तु पहचान और रोबोट नियंत्रण जैसे कार्यों के लिए कौन सी विशेषताएँ या आंतरिक संरचनाएँ आवश्यक हैं।
यह शब्द जीव विज्ञान के साथ एक सादृश्य है, विशेष रूप से किसी जीव के घटकों को हटाने के संदर्भ में, और यह एब्लेटिव मस्तिष्क शल्य चिकित्सा से संबंधित है। जैविक अनुसंधान में, एब्लेशन में उनके कार्य का अध्ययन करने के लिए किसी जीव के भागों को नष्ट करना या हटाना शामिल है। यही सिद्धांत AI प्रणालियों पर भी लागू होता है: नियंत्रित सेटिंग में किसी घटक को हटाकर, शोधकर्ता प्रणाली विफलता के सभी संभावित परिणामों की जांच कर सकते हैं और यह चरित्रित कर सकते हैं कि प्रत्येक क्रिया समग्र प्रदर्शन और क्षमता को कैसे प्रभावित करती है। एब्लेशन अध्ययनों के लिए आवश्यक है कि प्रणाली सुंदर अवक्रमण प्रदर्शित करे, जिसका अर्थ है कि कुछ घटकों के अनुपस्थित या अवक्रमित होने पर भी इसे कार्य करना जारी रखना चाहिए। कुछ शोधकर्ताओं के अनुसार, एब्लेशन अध्ययनों को कृत्रिम बुद्धिमत्ता और संरचनात्मक क्षति के प्रति इसकी स्थायित्व की जांच करने में एक सुविधाजनक तकनीक माना गया है।
इतिहास
AI के संदर्भ में "एब्लेशन" शब्द का श्रेय एलन नेवेल को दिया जाता है, जो कृत्रिम बुद्धिमत्ता के संस्थापकों में से एक हैं। नेवेल ने इस शब्द का उपयोग 1974 में भाषण पहचान पर अपने ट्यूटोरियल में किया था, जो 1975 में प्रकाशित हुआ था। इस शब्द के पीछे प्रेरणा यह थी कि, जबकि AI प्रणाली के व्यक्तिगत घटक इंजीनियर किए जाते हैं, समग्र प्रणाली प्रदर्शन में प्रत्येक घटक का योगदान हमेशा स्पष्ट नहीं होता है। घटकों को हटाने से यह विश्लेषण संभव होता है। नेवेल ने मानव मस्तिष्क की तुलना कृत्रिम कंप्यूटरों से की, दोनों को ज्ञान प्रणाली के रूप में देखते हुए। उनका मानना था कि एब्लेशन जैसी प्रक्रियाएँ कुछ परिकल्पनाओं का परीक्षण करने के लिए दोनों पर की जा सकती हैं। यह सादृश्य अन्य तंत्रिका संबंधी प्रणालियों, जैसे ड्रोसोफिला और कशेरुकी मस्तिष्क तक विस्तारित हुआ, जिनका संज्ञानात्मक कार्यों को समझने के लिए एब्लेशन के माध्यम से अध्ययन किया गया है।
पद्धति
एब्लेशन अध्ययनों में आम तौर पर एक व्यवस्थित प्रक्रिया शामिल होती है। पहले, किसी दिए गए कार्य पर पूर्ण AI प्रणाली का आधारभूत प्रदर्शन स्थापित किया जाता है। फिर, एक या अधिक घटकों को हटाया या अक्षम किया जाता है, और प्रणाली का पुनर्मूल्यांकन किया जाता है। प्रदर्शन में अंतर हटाए गए घटक के योगदान को इंगित करता है। यह प्रक्रिया अमूर्तता के विभिन्न स्तरों पर लागू की जा सकती है, Neural network में व्यक्तिगत न्यूरॉन्स से लेकर Transformer (architecture) वास्तुकला में पूरी परतों या मॉड्यूल तक। व्यवहार में, एब्लेशन वज़न को शून्य पर सेट करके, सक्रियणों को मास्क करके, या मॉडल से परतों को पूरी तरह से हटाकर किया जा सकता है। परिणाम अक्सर एक तालिका के रूप में प्रस्तुत किए जाते हैं जो पूर्ण मॉडल के प्रदर्शन की तुलना विभिन्न घटकों के एब्लेटेड संस्करणों से करते हैं।
डीप लर्निंग में अनुप्रयोग
Deep learning में, एब्लेशन अध्ययनों का व्यापक रूप से नई वास्तुकलाओं के डिज़ाइन विकल्पों को मान्य करने के लिए उपयोग किया जाता है। उदाहरण के लिए, जब एक नया मॉडल प्रस्तावित किया जाता है, शोधकर्ता अक्सर Batch Normalization, Layer Normalization, या Dropout जैसे घटकों को एब्लेट करके उनकी आवश्यकता प्रदर्शित करते हैं। एक सामान्य प्रथा पूर्ण मॉडल से शुरू करना और फिर प्रत्येक घटक को एक-एक करके हटाना है, सटीकता या अन्य मेट्रिक्स पर प्रभाव को मापना। यह दृष्टिकोण प्रत्येक घटक के योगदान को समझने और संभावित अतिरेक की पहचान करने में मदद करता है। एब्लेशन अध्ययनों का उपयोग Data Augmentation या Gradient Clipping जैसी प्रशिक्षण तकनीकों की प्रभावशीलता का मूल्यांकन करने के लिए भी किया जाता है। Large language model के संदर्भ में, एब्लेशन का उपयोग तर्क या तथ्यात्मक स्मरण जैसे कार्यों में विशिष्ट ध्यान हेड या परतों की भूमिका का अध्ययन करने के लिए किया जा सकता है।
LLM को अनसेंसर करने के लिए उपयोग
"एब्लिटरेशन" शब्द बड़े भाषा मॉडलों को अनसेंसर करने के लिए एब्लेशन का उपयोग करने की प्रक्रिया के लिए गढ़ा गया है। इस तकनीक में शेष कार्यों को संरक्षित करते हुए इनकार व्यवहार को पूरी तरह से समाप्त करने के लिए मॉडल के आंतरिक कार्यों को संशोधित करना शामिल है। यह शब्द एक पोर्टमैंटू है जो "एब्लेशन" और "ओब्लिटरेशन" को जोड़ता है। यह दृष्टिकोण OpenAI, Anthropic, और Google DeepMind जैसे संगठनों द्वारा विकसित मॉडलों पर लागू किया गया है, अन्यों के बीच। इनकार को ट्रिगर करने वाले मॉडल में विशिष्ट घटकों या मार्गों की पहचान करके, शोधकर्ता उन घटकों को एब्लेट कर सकते हैं, जिससे मॉडल उन संकेतों का जवाब दे सकता है जिन्हें वह सामान्य रूप से अस्वीकार कर देगा। यह विधि फाइन-ट्यूनिंग या प्रॉम्प्टिंग से अलग है, क्योंकि यह सीधे मॉडल के आंतरिक प्रतिनिधित्व को बदलती है। एब्लिटरेशन ने नैतिक और सुरक्षा संबंधी चिंताएँ उठाई हैं, क्योंकि यह हानिकारक सामग्री उत्पन्न करने से रोकने वाले सुरक्षा उपायों को हटा सकता है।
अन्य तकनीकों से संबंध
फीचर एब्लेशन अन्य व्याख्यात्मकता और अनुकूलन तकनीकों से संबंधित है लेकिन अलग है। Model Pruning में मॉडल आकार को कम करने के लिए कम महत्वपूर्ण वज़न या न्यूरॉन्स को हटाना शामिल है, अक्सर न्यूनतम प्रदर्शन हानि के साथ, जबकि एब्लेशन आम तौर पर अनुकूलन के बजाय विश्लेषण के लिए उपयोग किया जाता है। एब्लेशन की तुलना संवेदनशीलता विश्लेषण से भी की जा सकती है, जहाँ इनपुट गड़बड़ी के प्रभाव का अध्ययन किया जाता है, लेकिन एब्लेशन आंतरिक घटकों पर केंद्रित है। Artificial intelligence प्रणालियों के अध्ययन में, एब्लेशन कारणात्मक हस्तक्षेप का एक रूप है, जो शोधकर्ताओं को घटकों और आउटपुट के बीच कारणात्मक संबंधों का अनुमान लगाने की अनुमति देता है। यह यांत्रिक व्याख्यात्मकता के क्षेत्र में विशेष रूप से उपयोगी है, जिसका उद्देश्य Transformer (architecture)-आधारित मॉडलों की आंतरिक गणनाओं को रिवर्स-इंजीनियर करना है।
चुनौतियाँ और सीमाएँ
एब्लेशन अध्ययनों में मुख्य चुनौतियों में से एक सुंदर अवक्रमण की धारणा है। यदि कोई घटक हटाए जाने पर प्रणाली पूरी तरह से विफल हो जाती है, तो उस घटक के योगदान को अलग करना मुश्किल हो सकता है। इसके अतिरिक्त, एब्लेशन कम्प्यूटेशनल रूप से महंगा हो सकता है, विशेष रूप से बड़े मॉडलों के लिए, क्योंकि प्रत्येक एब्लेशन के लिए एक अलग मूल्यांकन की आवश्यकता होती है। एक और सीमा यह है कि एब्लेशन घटकों के बीच अंतःक्रियाओं को पकड़ नहीं सकता है। एक घटक को हटाने का प्रभाव किसी अन्य घटक की उपस्थिति या अनुपस्थिति के आधार पर भिन्न हो सकता है, जिससे प्रदर्शन परिवर्तनों को एकल घटक के लिए जिम्मेदार ठहराना कठिन हो जाता है। शोधकर्ताओं को प्रशिक्षण प्रक्रिया में घटक की भूमिका और अनुमान के दौरान इसकी भूमिका के बीच अंतर करने में भी सावधान रहना चाहिए। इन चुनौतियों के बावजूद, एब्लेशन AI अनुसंधान समुदाय में एक मूल्यवान उपकरण बना हुआ है।
यह भी देखें
संदर्भ
- नेवेल, ए. (1975)। भाषण पहचान पर ट्यूटोरियल। IEEE की कार्यवाही में।
- मशीन लर्निंग में एब्लेशन अध्ययनों पर विभिन्न स्रोत।