सिग्मॉइड फलन कोई भी गणितीय फलन है जिसका ग्राफ एक विशिष्ट S-आकार या सिग्मॉइड वक्र दर्शाता है। गणित में, एक सिग्मॉइड फलन परिबद्ध, अवकलनीय, और सभी वास्तविक इनपुट मानों के लिए परिभाषित होता है, जिसमें प्रत्येक बिंदु पर धनात्मक अवकलज होता है। यह शब्द अक्सर लॉजिस्टिक फलन से जुड़ा होता है, जो किसी भी वास्तविक संख्या को 0 और 1 के बीच के मान में मैप करता है, लेकिन यह सांख्यिकी, इंजीनियरिंग, और Machine learning में उपयोग होने वाले वक्रों के एक व्यापक परिवार को भी शामिल करता है।
Artificial intelligence और Neural network मॉडल के संदर्भ में, "सिग्मॉइड फलन" शब्द अक्सर लॉजिस्टिक फलन के पर्याय के रूप में प्रयोग किया जाता है। यह फलन प्रारंभिक Deep learning आर्किटेक्चर में एक सक्रियण फलन के रूप में एक आधारभूत भूमिका निभाता था, हालांकि इसे कई आधुनिक प्रणालियों में रेक्टिफाइड लीनियर यूनिट जैसे विकल्पों द्वारा काफी हद तक प्रतिस्थापित कर दिया गया है। सिग्मॉइड वक्र सांख्यिकी में संचयी वितरण फलनों के रूप में भी स्वाभाविक रूप से प्रकट होते हैं, जिनमें सामान्य और स्टूडेंट के t वितरण से व्युत्पन्न शामिल हैं।
परिभाषा और गुण
एक सिग्मॉइड फलन एक परिबद्ध, अवकलनीय, वास्तविक फलन है जो सभी वास्तविक इनपुट के लिए परिभाषित होता है, जिसमें प्रत्येक बिंदु पर धनात्मक अवकलज होता है। इसका ग्राफ इनपुट के धनात्मक या ऋणात्मक अनंत की ओर बढ़ने पर क्षैतिज अनंतस्पर्शियों की एक जोड़ी द्वारा सीमित होता है। फलन एकदिष्ट होता है, आमतौर पर बढ़ता हुआ, और इसका पहला अवकलज घंटी-आकार का होता है। इसके विपरीत, एकल स्थानीय अधिकतम वाले किसी भी सतत, गैर-ऋणात्मक, घंटी-आकार के फलन का समाकल एक सिग्मॉइडल वक्र उत्पन्न करता है।
सिग्मॉइड फलन एक विशेष विभक्ति बिंदु से नीचे के मानों के लिए उत्तल होते हैं और उससे ऊपर के मानों के लिए अवतल होते हैं; कई सामान्य उदाहरणों में, यह बिंदु शून्य पर होता है। उदाहरण के लिए, लॉजिस्टिक फलन का विभक्ति बिंदु x = 0 पर होता है, जहां इसका मान 0.5 होता है। हाइपरबोलिक टैन्जेंट फलन, जो एक और व्यापक रूप से उपयोग किया जाने वाला सिग्मॉइड है, -1 से 1 तक फैला होता है और मूल बिंदु के चारों ओर सममित होता है।
उदाहरण और प्रकार
सामान्य सिग्मॉइड फलनों में लॉजिस्टिक फलन, हाइपरबोलिक टैन्जेंट (tanh), आर्कटैन्जेंट, और त्रुटि फलन शामिल हैं। लॉजिस्टिक फलन को f(x) = 1 / (1 + e^(-x)) के रूप में परिभाषित किया गया है, जो खुले अंतराल (0, 1) में आउटपुट उत्पन्न करता है। हाइपरबोलिक टैन्जेंट, tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x)), इनपुट को (-1, 1) में मैप करता है और अक्सर Deep learning में पसंद किया जाता है क्योंकि इसके आउटपुट शून्य-केंद्रित होते हैं, जो प्रशिक्षण के दौरान अभिसरण में सुधार कर सकते हैं।
विशेष मामलों में गोम्पर्ट्ज़ वक्र शामिल है, जो बड़े x मानों पर संतृप्त होने वाली प्रणालियों के मॉडलिंग में उपयोग किया जाता है, और ओजी वक्र, जो कुछ बांधों के स्पिलवे डिजाइन में लागू होता है। हेविसाइड स्टेप फलन, जो 0 और 1 के बीच तात्कालिक रूप से संक्रमण करता है, सिग्मॉइड व्यवहार का एक सीमित मामला है। सांख्यिकी में, सिग्मॉइड वक्र संचयी वितरण फलनों के रूप में कार्य करते हैं, जैसे कि लॉजिस्टिक घनत्व, सामान्य घनत्व, और स्टूडेंट के t प्रायिकता घनत्व फलनों के समाकल।
तंत्रिका नेटवर्क में भूमिका
सिग्मॉइड फलन, विशेष रूप से लॉजिस्टिक और हाइपरबोलिक टैन्जेंट प्रकार, Machine learning के शुरुआती दिनों से कृत्रिम न्यूरॉन्स के लिए सक्रियण फलन के रूप में उपयोग किए गए हैं। एक सक्रियण फलन Neural network में अरैखिकता का परिचय देता है, जिससे यह जटिल पैटर्न सीखने में सक्षम होता है। लॉजिस्टिक सिग्मॉइड की आउटपुट सीमा (0, 1) ने इसे संभाव्य व्याख्याओं के लिए स्वाभाविक बना दिया, जैसे कि द्विआधारी परिणाम की संभावना की भविष्यवाणी करना।
हालांकि, लॉजिस्टिक सिग्मॉइड लुप्त ग्रेडिएंट समस्या से ग्रस्त है: बड़े धनात्मक या ऋणात्मक इनपुट के लिए, इसका अवकलज शून्य के करीब पहुंच जाता है, जो गहरे नेटवर्क में प्रशिक्षण को धीमा या रोक सकता है। इस सीमा ने रेक्टिफाइड लीनियर यूनिट (ReLU) और इसके प्रकारों जैसे विकल्पों के विकास को प्रेरित किया, जो अब अधिकांश Transformer (architecture)-आधारित आर्किटेक्चर में मानक हैं, जिनमें Large language model प्रणालियों में उपयोग किए जाने वाले शामिल हैं। इस बदलाव के बावजूद, सिग्मॉइड फलन विशिष्ट संदर्भों में महत्वपूर्ण बने हुए हैं, जैसे कि द्विआधारी वर्गीकरणकर्ताओं की आउटपुट परत और आवर्ती नेटवर्क में गेटिंग तंत्र।
लॉजिस्टिक सिग्मॉइड व्युत्क्रमणीय है, और इसका व्युत्क्रम लॉजिट फलन है, जो संभावनाओं को वापस वास्तविक संख्या रेखा पर मैप करता है। यह गुण लॉजिस्टिक प्रतिगमन को रेखांकित करता है, जो एक मौलिक सांख्यिकीय तकनीक है जो Machine learning और शास्त्रीय सांख्यिकी को जोड़ती है।
सैद्धांतिक वर्गीकरण
शोधकर्ता ग्रेबेंक द्वारा प्रस्तावित एक गणितीय सिद्धांत, एकात्मक सिग्मॉइड फलनों को उनके अनंतस्पर्शी व्यवहार और अनंतस्पर्शियों के पास दोलन के आधार पर तीन प्रकारों में वर्गीकृत करता है। एक एकात्मक सिग्मॉइड फलन इकाई सीमा के लिए सामान्यीकृत होता है, आमतौर पर निचले और ऊपरी अनंतस्पर्शी 0 और 1 पर होते हैं, और इसे सामान्य रूप y = A * S(f(x)) + B के रूप में व्यक्त किया जा सकता है, जहां S एक बढ़ता हुआ सिग्मॉइड फलन है, f(x) स्वतंत्र चर का एक परिवर्तन है, और A और B स्केलिंग और स्थानांतरण को नियंत्रित करते हैं।
पहले प्रकार के फलन बिना दोलन के अपने अनंतस्पर्शियों की ओर एकदिष्ट रूप से पहुंचते हैं, जिसमें लॉजिस्टिक फलन और संबंधित सामान्यीकरण शामिल हैं। दूसरा प्रकार ऊपरी अनंतस्पर्शी के पास दोलन करता है जबकि समग्र सिग्मॉइड संक्रमण को बनाए रखता है। तीसरा प्रकार निचले और ऊपरी दोनों अनंतस्पर्शियों के पास दोलन करता है। सिद्धांत सिग्मॉइड फलन उत्पन्न करने के लिए 30 निर्माण विधियों की भी सूची देता है, जो बीजगणितीय परिवर्तनों और घंटी-आकार के फलनों के समाकलन से लेकर अवकल समीकरणों के समाधान, पुनरावर्ती योजनाओं, और अराजक प्रणालियों तक होते हैं। ये विधियां Artificial intelligence और अन्य क्षेत्रों में विशिष्ट अनुप्रयोगों के लिए अनुकूलित गुणों वाले सिग्मॉइड वक्रों को डिजाइन करने के लिए एक व्यवस्थित ढांचा प्रदान करती हैं।
AI से परे अनुप्रयोग
सिग्मॉइड फलन Neural network सक्रियण से परे विस्तारित होते हैं। नियंत्रण सिद्धांत और इंजीनियरिंग में, वे भौतिक प्रणालियों में संतृप्ति प्रभावों का मॉडल करते हैं। जीव विज्ञान में, गोम्पर्ट्ज़ वक्र ट्यूमर वृद्धि या जनसंख्या गतिशीलता जैसी वृद्धि प्रक्रियाओं का वर्णन करता है। अर्थशास्त्र में, सिग्मॉइड वक्र समय के साथ नई तकनीकों के अपनाने का प्रतिनिधित्व करते हैं। S-आकार के वक्र की बहुमुखी प्रतिभा, दो अवस्थाओं के बीच सुचारू संक्रमण के साथ, इसे Xerox PARC-युग के कंप्यूटिंग अनुसंधान से लेकर आधुनिक Amazon Web Services क्लाउड अवसंरचना तक, जो Deep learning कार्यभार होस्ट करती है, विभिन्न विषयों में एक मौलिक उपकरण बनाती है।