बहुपरत परसेप्ट्रॉन

एक मल्टीलेयर परसेप्ट्रॉन (MLP) फीडफॉरवर्ड न्यूरल नेटवर्क का एक प्रकार है, जो पूरी तरह से जुड़े न्यूरॉन्स से बना होता है, जो परतों में व्यवस्थित होते हैं, और इसमें अरेखीय सक्रियण फलन होते हैं। सिंगल-लेयर परसेप्ट्रॉन के विपरीत, जो केवल रैखिक रूप से वियोज्य डेटा को वर्गीकृत कर सकते हैं, MLP उस डेटा को अलग कर सकते हैं जो रैखिक रूप से वियोज्य नहीं है, जिससे वे डीप लर्निंग में एक मूलभूत आर्किटेक्चर बन जाते हैं। आधुनिक MLP को बैकप्रोपेगेशन का उपयोग करके प्रशिक्षित किया जाता है और इन्हें अक्सर बोलचाल की भाषा में "वेनिला" न्यूरल नेटवर्क कहा जाता है।

MLP सिंगल-लेयर परसेप्ट्रॉन की सीमाओं को दूर करने के प्रयासों से विकसित हुआ, जो अपने सक्रियण के रूप में हेविसाइड स्टेप फलन का उपयोग करता था। हालाँकि, बैकप्रोपेगेशन के लिए सिग्मॉइड या रेक्टिफाइड लीनियर यूनिट (ReLU) जैसे निरंतर सक्रियण फलनों की आवश्यकता होती है। MLP डीप लर्निंग की नींव बनाते हैं और छवि पहचान, प्राकृतिक भाषा प्रसंस्करण, और समय-श्रृंखला पूर्वानुमान सहित कई क्षेत्रों में लागू होते हैं।

ऐतिहासिक विकास

कृत्रिम न्यूरॉन्स की अवधारणा 1943 से शुरू होती है, जब वॉरेन मैककुलोच और वाल्टर पिट्स ने जैविक तंत्रिका नेटवर्क के तार्किक मॉडल के रूप में एक बाइनरी न्यूरॉन प्रस्तावित किया। 1958 में, फ्रैंक रोसेनब्लाट ने मल्टीलेयर्ड परसेप्ट्रॉन मॉडल पेश किया, जिसमें एक इनपुट परत, एक छिपी हुई परत जिसमें यादृच्छिक भार थे जो सीखते नहीं थे, और एक आउटपुट परत थी जिसमें सीखने योग्य कनेक्शन थे। रोसेनब्लाट की 1962 की पुस्तक प्रिंसिपल्स ऑफ न्यूरोडायनामिक्स ने "त्रुटियों को पीछे प्रसारित करके" दो प्रशिक्षण योग्य परतों तक के वेरिएंट का वर्णन किया, लेकिन यह आधुनिक बैकप्रोपेगेशन एल्गोरिदम नहीं था, और उस समय कई परतों को प्रशिक्षित करने की कोई सामान्य विधि मौजूद नहीं थी।

1965 में, एलेक्सी ग्रिगोरेविच इवाखनेंको और वैलेंटिन लापा ने ग्रुप मेथड ऑफ डेटा हैंडलिंग प्रकाशित की, जो पहले डीप लर्निंग तरीकों में से एक था, जिसका उपयोग 1971 में आठ-परत वाले न्यूरल नेट को प्रशिक्षित करने के लिए किया गया। 1967 में, शुन'इची अमारी ने स्टोकेस्टिक ग्रेडिएंट डिसेंट द्वारा प्रशिक्षित पहला मल्टीलेयर्ड न्यूरल नेटवर्क की सूचना दी, जो गैर-रैखिक रूप से वियोज्य पैटर्न वर्गों को वर्गीकृत करने में सक्षम था; उनके छात्र साइटो ने दो सीखने वाली परतों के साथ पांच-परत वाले फीडफॉरवर्ड नेटवर्क का उपयोग करके कंप्यूटर प्रयोग किए।

बैकप्रोपेगेशन को 1970 के दशक की शुरुआत में कई बार स्वतंत्र रूप से विकसित किया गया था। सबसे पहला प्रकाशित उदाहरण सेपो लिन्नैमा की 1970 की मास्टर थीसिस थी। पॉल वेरबोस ने इसे 1971 में स्वतंत्र रूप से विकसित किया, हालाँकि उन्हें 1982 तक प्रकाशित करने में कठिनाई हुई। 1986 में, डेविड ई. रुमेलहार्ट और सहयोगियों ने बैकप्रोपेगेशन को लोकप्रिय बनाया, जिससे व्यापक रूप से अपनाया गया। 2003 में योशुआ बेंगियो और सह-लेखकों द्वारा भाषा मॉडलिंग में डीप लर्निंग की सफलताओं के कारण बैकप्रोपेगेशन नेटवर्क में रुचि फिर से बढ़ी।

आर्किटेक्चर और सक्रियण फलन

एक MLP में तीन या अधिक परतें होती हैं: एक इनपुट परत, एक आउटपुट परत, और एक या अधिक छिपी हुई परतें। एक परत में प्रत्येक नोड अगली परत के हर नोड से एक निश्चित भार के साथ जुड़ता है, जिससे नेटवर्क पूरी तरह से जुड़ा होता है। यदि सभी न्यूरॉन्स रैखिक सक्रियण फलनों का उपयोग करते, तो रैखिक बीजगणित दिखाता है कि किसी भी संख्या में परतों को दो-परत वाले इनपुट-आउटपुट मॉडल में घटाया जा सकता है। इसलिए, MLP अरेखीय सक्रियण फलनों का उपयोग करते हैं, जिन्हें जैविक न्यूरॉन्स की फायरिंग आवृत्ति को मॉडल करने के लिए विकसित किया गया था।

ऐतिहासिक रूप से, दो सामान्य सक्रियण फलन सिग्मॉइड थे: हाइपरबोलिक टैन्जेंट, जो -1 से 1 तक होता है, और लॉजिस्टिक फलन, जो 0 से 1 तक होता है। हाल ही में, रेक्टिफाइड लीनियर यूनिट (ReLU) डीप लर्निंग में प्रचलित हो गया है, क्योंकि यह सिग्मॉइड से जुड़ी संख्यात्मक समस्याओं को दूर करने में मदद करता है। अन्य विकल्पों में सॉफ्टप्लस और रेडियल बेसिस फलन शामिल हैं, बाद वाला रेडियल बेसिस नेटवर्क में उपयोग किया जाता है।

बैकप्रोपेगेशन के माध्यम से सीखना

MLP में सीखना प्रत्येक डेटा बिंदु को संसाधित करने के बाद कनेक्शन भार को समायोजित करके होता है, जो आउटपुट और अपेक्षित परिणाम के बीच त्रुटि पर आधारित होता है। यह पर्यवेक्षित सीखना है, जो बैकप्रोपेगेशन के माध्यम से किया जाता है, जो रैखिक परसेप्ट्रॉन में उपयोग किए जाने वाले न्यूनतम माध्य वर्ग एल्गोरिदम का सामान्यीकरण है। nवें प्रशिक्षण उदाहरण पर आउटपुट नोड j के लिए त्रुटि को e_j(n) = d_j(n) - y_j(n) के रूप में परिभाषित किया गया है, जहाँ d_j(n) वांछित लक्ष्य है और y_j(n) वास्तविक आउटपुट है। एल्गोरिदम इस त्रुटि को नेटवर्क के माध्यम से पीछे की ओर प्रसारित करता है ताकि भार को अद्यतन किया जा सके, आमतौर पर स्टोकेस्टिक ग्रेडिएंट डिसेंट जैसे अनुकूलन विधियों का उपयोग करके।

आधुनिक वेरिएंट और प्रभाव

2021 में, शोधकर्ताओं ने MLP-मिक्सर डिज़ाइन किया, एक सरल आर्किटेक्चर जो स्किप कनेक्शन और लेयर नॉर्मलाइज़ेशन के साथ दो गहरे MLP को जोड़ता है। इसके कार्यान्वयन, 19 से 431 मिलियन पैरामीटर के साथ, ImageNet और समान छवि वर्गीकरण कार्यों पर समान आकार के विज़न ट्रांसफॉर्मर के बराबर प्रदर्शन किया। इसने दिखाया कि Transformer (architecture) मॉडल के उदय के बावजूद, MLP आधुनिक डीप लर्निंग में प्रतिस्पर्धी बने हुए हैं। MLP कई Neural network प्रणालियों का अभिन्न अंग भी हैं, जिनमें Large language model आर्किटेक्चर और Deep learning फ्रेमवर्क के घटक शामिल हैं। उनकी सरलता और प्रभावशीलता उन्हें Machine learning अनुसंधान और अनुप्रयोगों में एक मानक आधार रेखा बनाती है।

सीमाएँ और विस्तार

जबकि MLP शक्तिशाली हैं, उनकी सीमाएँ हैं। वे पूरी तरह से जुड़े होते हैं, जिससे उच्च-आयामी इनपुट जैसे छवियों के लिए कई पैरामीटर और कम्प्यूटेशनल लागत होती है। वे स्थानिक या अनुक्रमिक संरचना को स्वाभाविक रूप से कैप्चर नहीं करते हैं, जिसने Residual Network (ResNet) और Sequence-to-Sequence (Seq2Seq) मॉडल जैसे आर्किटेक्चर को प्रेरित किया। Dropout, Batch Normalization, और Layer Normalization जैसी तकनीकें अक्सर प्रशिक्षण स्थिरता और सामान्यीकरण में सुधार के लिए लागू की जाती हैं। इन चुनौतियों के बावजूद, MLP Artificial intelligence में एक मूलभूत निर्माण खंड बने हुए हैं और अधिक जटिल आर्किटेक्चर के डिज़ाइन को सूचित करना जारी रखते हैं।