कृत्रिम तंत्रिका नेटवर्क में, किसी नोड का सक्रियण फलन एक ऐसा फलन है जो नोड के व्यक्तिगत इनपुट और उनके भार के आधार पर नोड का आउटपुट परिकलित करता है। यह तंत्रिका नेटवर्क का एक मुख्य घटक है, जो यह निर्धारित करता है कि न्यूरॉन सक्रिय होना चाहिए या नहीं और नेटवर्क को जटिल पैटर्न सीखने के लिए आवश्यक अरैखिकता प्रस्तुत करता है। अरैखिक सक्रियण फलन के बिना, एक बहु-परत नेटवर्क एक एकल रैखिक परिवर्तन में सिमट जाएगा, जिससे इसकी अभिव्यंजक शक्ति गंभीर रूप से सीमित हो जाएगी। सक्रियण फलन विभिन्न आर्किटेक्चर में उपयोग किए जाते हैं, जिनमें ट्रांसफॉर्मर, अवशिष्ट नेटवर्क, और संवॉल्यूशनल तंत्रिका नेटवर्क शामिल हैं, और ये मशीन लर्निंग और डीप लर्निंग जैसे क्षेत्रों के केंद्र में हैं।
सक्रियण फलन का चुनाव प्रशिक्षण गतिशीलता और प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है। आधुनिक उदाहरणों में लॉजिस्टिक (सिग्मॉइड) फलन शामिल है, जिसका उपयोग 2012 में हिंटन एट अल. द्वारा विकसित भाषण पहचान मॉडल में किया गया था; रेक्टिफाइड लीनियर यूनिट (ReLU), जिसका उपयोग 2012 के AlexNet कंप्यूटर विज़न मॉडल और 2015 के ResNet मॉडल में किया गया था; और गॉसियन एरर लीनियर यूनिट (GELU), जो ReLU का एक स्मूथ संस्करण है और 2018 के BERT मॉडल में उपयोग किया गया था। ये फलन अरैखिकता, परिसर और अवकलनीयता जैसे गणितीय गुणों में भिन्न होते हैं, जो ग्रेडिएंट-आधारित अनुकूलन में उनके व्यवहार को प्रभावित करते हैं।
गणितीय गुण
सक्रियण फलनों को कई प्रमुख गणितीय गुणों द्वारा चित्रित किया जा सकता है जो तंत्रिका नेटवर्क के प्रशिक्षण में उनकी प्रभावशीलता को प्रभावित करते हैं।
अरैखिकता
जब सक्रियण फलन अरैखिक होता है, तो एक दो-परत तंत्रिका नेटवर्क को सार्वभौमिक फलन सन्निकटक सिद्ध किया जा सकता है, जिसका अर्थ है कि यह एक संहत डोमेन पर किसी भी सतत फलन को मनमानी सटीकता तक अनुमानित कर सकता है। इसे सार्वभौमिक सन्निकटन प्रमेय के रूप में जाना जाता है। पहचान सक्रियण फलन इस गुण को संतुष्ट नहीं करता है; यदि सभी परतें पहचान सक्रियण का उपयोग करती हैं, तो पूरा नेटवर्क एक एकल-परत मॉडल के बराबर होता है, जो जटिल मैपिंग सीखने में असमर्थ होता है।
परिसर
जब सक्रियण फलन का परिसर परिमित होता है, तो ग्रेडिएंट-आधारित प्रशिक्षण विधियाँ अधिक स्थिर होती हैं क्योंकि पैटर्न प्रस्तुतियाँ केवल सीमित भारों को महत्वपूर्ण रूप से प्रभावित करती हैं। इसके विपरीत, जब परिसर अनंत होता है, तो प्रशिक्षण आम तौर पर अधिक कुशल होता है क्योंकि पैटर्न प्रस्तुतियाँ अधिकांश भारों को प्रभावित करती हैं, लेकिन विचलन को रोकने के लिए आमतौर पर छोटी सीखने की दर आवश्यक होती है। उदाहरण के लिए, सिग्मॉइड फलन का परिसर परिमित (0, 1) होता है, जबकि ReLU का परिसर अनंत [0, ∞) होता है।
सतत अवकलनीयता
सतत अवकलनीय सक्रियण फलन ग्रेडिएंट-आधारित अनुकूलन विधियों को सक्षम करने के लिए वांछनीय हैं। ReLU शून्य पर सतत अवकलनीय नहीं है, फिर भी ग्रेडिएंट-आधारित विधियाँ व्यवहार में काम करती हैं, हालांकि यह मृत न्यूरॉन्स जैसी समस्याएँ पैदा कर सकता है। बाइनरी स्टेप सक्रियण फलन 0 पर अवकलनीय नहीं है और अन्यत्र शून्य ग्रेडिएंट रखता है, इसलिए ग्रेडिएंट-आधारित विधियाँ इसके साथ कोई प्रगति नहीं करती हैं। ये गुण प्रदर्शन को निर्णायक रूप से निर्धारित नहीं करते हैं लेकिन महत्वपूर्ण विचार हैं।
सक्रियण फलनों की श्रेणियाँ
अधिकांश सामान्य सक्रियण फलनों को तीन श्रेणियों में विभाजित किया जा सकता है: रिज फलन, रेडियल फलन, और फोल्ड फलन।
रिज सक्रियण फलन
रिज फलन बहुचर फलन होते हैं जो इनपुट चरों के रैखिक संयोजन पर कार्य करते हैं। उदाहरणों में शामिल हैं:
- रैखिक सक्रियण: \(\phi(\mathbf{v}) = a + \mathbf{v}'\mathbf{b}\)
- ReLU सक्रियण: \(\phi(\mathbf{v}) = \max(0, a + \mathbf{v}'\mathbf{b})\)
- हेविसाइड सक्रियण: \(\phi(\mathbf{v}) = 1_{a+\mathbf{v}'\mathbf{b}>0}\)
- लॉजिस्टिक सक्रियण: \(\phi(\mathbf{v}) = (1 + \exp(-a - \mathbf{v}'\mathbf{b}))^{-1}\)
जैविक रूप से प्रेरित तंत्रिका नेटवर्क में, सक्रियण फलन अक्सर न्यूरॉन की फायरिंग दर का प्रतिनिधित्व करता है। सबसे सरल रूप बाइनरी है: एक न्यूरॉन या तो फायर करता है या नहीं करता है, जिसे हेविसाइड स्टेप फलन द्वारा मॉडल किया जाता है। वास्तविक न्यूरॉन एक निश्चित दर से तेज़ फायर नहीं कर सकते, जो परिमित आउटपुट परिसर वाले सिग्मॉइड फलनों को प्रेरित करता है। सकारात्मक ढलान वाला एक रैखिक फलन इनपुट धारा के साथ फायरिंग दर में वृद्धि का प्रतिनिधित्व कर सकता है।
रेडियल सक्रियण फलन
सक्रियण फलनों का एक विशेष वर्ग, जिसे रेडियल आधार फलन (RBF) के रूप में जाना जाता है, रेडियल आधार फलन नेटवर्क में उपयोग किया जाता है। ये फलन केंद्र सदिश \(\mathbf{c}\) से दूरी पर निर्भर करते हैं। सामान्य रूपों में शामिल हैं:
- गॉसियन: \(\phi(\mathbf{v}) = \exp(-\|\mathbf{v} - \mathbf{c}\|^2 / (2\sigma^2))\)
- मल्टीक्वाड्रैटिक्स: \(\phi(\mathbf{v}) = \sqrt{\|\mathbf{v} - \mathbf{c}\|^2 + a^2}\)
- व्युत्क्रम मल्टीक्वाड्रैटिक्स: \(\phi(\mathbf{v}) = (\|\mathbf{v} - \mathbf{c}\|^2 + a^2)^{-1/2}\)
- पॉलीहार्मोनिक स्प्लाइन्स
यहाँ, \(\sigma\) और \(a\) फलन के प्रसार को नियंत्रित करते हैं।
फोल्डिंग सक्रियण फलन
फोल्डिंग सक्रियण फलन इनपुट को एकत्रित करते हैं, जैसे माध्य, न्यूनतम, या अधिकतम लेना, और पूलिंग परतों और बहुवर्गीय वर्गीकरण के लिए आउटपुट परतों में व्यापक रूप से उपयोग किए जाते हैं। बाद में, सॉफ्टमैक्स सक्रियण आमतौर पर वर्गों पर एक संभाव्यता वितरण उत्पन्न करने के लिए उपयोग किया जाता है।
अन्य उदाहरण
आवधिक फलन सक्रियण फलन के रूप में कार्य कर सकते हैं, आमतौर पर साइनसॉइड, क्योंकि किसी भी आवधिक फलन को फूरियर रूपांतरण के माध्यम से साइनसॉइड में विघटित किया जा सकता है। द्विघात सक्रियण फलन \(x \mapsto x^2\) मैप करते हैं।
संतृप्त और असंतृप्त फलन
एक सक्रियण फलन \(f\) संतृप्त होता है यदि इनपुट परिमाण अनंत की ओर जाने पर ग्रेडिएंट मानदंड की सीमा शून्य हो जाती है, अर्थात, \(\lim_{|v| \to \infty} |\nabla f(v)| = 0\)। यदि यह सीमा शून्य नहीं है तो यह असंतृप्त है। ReLU जैसे असंतृप्त फलन अक्सर पसंद किए जाते हैं क्योंकि उनमें लुप्त ग्रेडिएंट समस्या से ग्रस्त होने की संभावना कम होती है, जो गहरे नेटवर्क में प्रशिक्षण में बाधा डालती है।
क्वांटम सक्रियण फलन
गेट-मॉडल क्वांटम कंप्यूटरों पर प्रोग्राम किए गए क्वांटम तंत्रिका नेटवर्क में, जो वैरिएशनल क्वांटम सर्किट के बजाय क्वांटम पर्सेप्ट्रॉन पर आधारित होते हैं, सक्रियण फलनों की अरैखिकता को प्रत्येक परत में प्रत्येक पर्सेप्ट्रॉन के आउटपुट को मापे बिना लागू किया जा सकता है। पर्सेप्ट्रॉन द्वारा परिकलित तर्क के टेलर श्रृंखला विस्तार बनाकर, और वांछित डिग्री तक घातों की गणना करने के लिए उपयुक्त क्वांटम सर्किट का उपयोग करके, सुपरपोज़िशन गुण को संरक्षित किया जा सकता है। इन क्वांटम सर्किटों को किसी भी मनमाने शास्त्रीय सक्रियण फलन का अनुमान लगाने के लिए डिज़ाइन किया जा सकता है।
यह भी देखें
- लॉजिस्टिक फलन
- रेक्टिफायर (तंत्रिका नेटवर्क)
- स्थिरता (सीखने का सिद्धांत)
- सॉफ्टमैक्स फलन