ADALINE (अनुकूली रेखीय न्यूरॉन, बाद में अनुकूली रेखीय तत्व) एक प्रारंभिक एकल-परत कृत्रिम तंत्रिका नेटवर्क है और उस भौतिक उपकरण का नाम है जिसने इसे लागू किया। इसे 1960 में प्रोफेसर बर्नार्ड विड्रो और उनके डॉक्टरेट छात्र मार्शियन हॉफ द्वारा स्टैनफोर्ड विश्वविद्यालय में विकसित किया गया था। यह पर्सेप्ट्रॉन पर आधारित है और इसमें भार, एक पूर्वाग्रह और एक योग फलन शामिल है। भार और पूर्वाग्रह को रिओस्टेट (जैसा कि "नॉबी ADALINE" में देखा गया है) और बाद में, मेमिस्टर द्वारा लागू किया गया था। इसका व्यापक उपयोग अनुकूली सिग्नल प्रोसेसिंग में हुआ, विशेष रूप से अनुकूली शोर फ़िल्टरिंग में।
ADALINE और मानक (रोसेनब्लैट) पर्सेप्ट्रॉन के बीच अंतर यह है कि वे कैसे सीखते हैं। ADALINE इकाई भार को हेविसाइड फलन लागू करने से पहले एक शिक्षक सिग्नल से मेल खाने के लिए समायोजित किया जाता है, जबकि मानक पर्सेप्ट्रॉन इकाई भार को हेविसाइड फलन लागू करने के बाद सही आउटपुट से मेल खाने के लिए समायोजित किया जाता है। ADALINE इकाइयों का एक बहुपरत नेटवर्क MADALINE के रूप में जाना जाता है।
आर्किटेक्चर और संचालन
ADALINE एक एकल-परत तंत्रिका नेटवर्क है जिसमें कई नोड होते हैं, जहां प्रत्येक नोड कई इनपुट स्वीकार करता है और एक आउटपुट उत्पन्न करता है। इनपुट वेक्टर x, भार वेक्टर w, इनपुट की संख्या N और पूर्वाग्रह b को देखते हुए, आउटपुट o की गणना भारित योग के रूप में की जाती है: o = sum_{n=1}^{N} x_n w_n + b। यदि हम आगे मान लें कि x_0 = 1 और w_0 = b, तो आउटपुट o = sum_{n=0}^{N} x_n w_n तक कम हो जाता है।
नेटवर्क का रेखीय योग फलन इसे बाद के मॉडलों से अलग करता है जिन्होंने व्यक्तिगत इकाइयों के भीतर गैर-रेखीय सक्रियण फलन पेश किए। भौतिक कार्यान्वयन ने भार के लिए समायोज्य प्रतिरोधक (रिओस्टेट) का उपयोग किया, जिससे प्रशिक्षण के दौरान वास्तविक समय में अनुकूलन की अनुमति मिली। बाद के संस्करणों ने मेमिस्टर का उपयोग किया, एक प्रकार का प्रतिरोधक जिसमें मेमोरी होती है, जिससे अधिक कॉम्पैक्ट और स्थिर भार भंडारण सक्षम हुआ।
सीखने का नियम
ADALINE द्वारा उपयोग किया जाने वाला सीखने का नियम LMS ("न्यूनतम माध्य वर्ग") एल्गोरिथ्म है, जो ग्रेडिएंट डिसेंट का एक विशेष मामला है। सीखने की दर eta, मॉडल आउटपुट o और वांछित लक्ष्य y को देखते हुए, त्रुटि का वर्ग E = (y - o)^2 के रूप में परिभाषित किया गया है। LMS एल्गोरिथ्म भार को इस प्रकार अपडेट करता है: w <- w + eta (y - o) x। यह अपडेट नियम E, त्रुटि के वर्ग को कम करता है, और वास्तव में रेखीय प्रतिगमन के लिए स्टोकेस्टिक ग्रेडिएंट डिसेंट अपडेट है।
यह दृष्टिकोण पर्सेप्ट्रॉन के त्रुटि-सुधार नियम से एक महत्वपूर्ण प्रस्थान था, जो थ्रेशोल्डिंग के बाद बाइनरी आउटपुट के आधार पर भार को समायोजित करता था। हेविसाइड फलन लागू करने से पहले निरंतर त्रुटि को कम करके, ADALINE शोर वातावरण में चिकनी अभिसरण और बेहतर प्रदर्शन प्राप्त कर सकता था, जिससे यह अनुकूली फ़िल्टरिंग अनुप्रयोगों के लिए विशेष रूप से उपयुक्त हो गया।
MADALINE
MADALINE (कई ADALINE) वर्गीकरण के लिए एक तीन-परत (इनपुट, छिपी, आउटपुट), पूरी तरह से जुड़ा, फीडफॉरवर्ड तंत्रिका नेटवर्क आर्किटेक्चर है जो अपनी छिपी और आउटपुट परतों में ADALINE इकाइयों का उपयोग करता है। इसका सक्रियण फलन साइन फलन है। तीन-परत नेटवर्क मेमिस्टर का उपयोग करता है। चूंकि साइन फलन अवकलनीय नहीं है, बैकप्रोपेगेशन का उपयोग MADALINE नेटवर्क को प्रशिक्षित करने के लिए नहीं किया जा सकता है। इसलिए, तीन अलग-अलग प्रशिक्षण एल्गोरिथ्म सुझाए गए हैं, जिन्हें नियम I, नियम II और नियम III कहा जाता है।
कई प्रयासों के बावजूद, शोधकर्ता MADALINE मॉडल में भार की एक से अधिक परत को प्रशिक्षित करने में कभी सफल नहीं हुए। यह तब तक था जब तक विड्रो ने 1985 में स्नोबर्ड, यूटा में एक सम्मेलन में बैकप्रोपेगेशन एल्गोरिथ्म नहीं देखा।
MADALINE नियम 1 (MRI), 1962 से डेटिंग, दो परतों से मिलकर बनता है: पहली ADALINE इकाइयों से बनी है; दूसरी परत में दो इकाइयाँ हैं। एक बहुमत-मतदान इकाई है जो सभी आउटपुट लेती है और +1 आउटपुट करती है यदि सकारात्मक से अधिक नकारात्मक हैं, और इसके विपरीत। दूसरा एक "कार्य असाइनर" है: यदि वांछित आउटपुट बहुमत-मतदान आउटपुट से भिन्न होता है, तो यह ADALINE इकाइयों की न्यूनतम संख्या की गणना करता है जिन्हें अपने आउटपुट बदलने होंगे, उन लोगों को चुनता है जो नकारात्मक होने के सबसे करीब हैं, और ADALINE सीखने के नियम के अनुसार उनके भार को अपडेट करता है। इसे "न्यूनतम गड़बड़ी सिद्धांत" का एक रूप माना जाता था।
निर्मित सबसे बड़ी MADALINE मशीन में 1000 भार थे, प्रत्येक को एक मेमिस्टर द्वारा लागू किया गया था। इसे 1963 में बनाया गया था और सीखने के लिए MRI का उपयोग किया गया था। कुछ MADALINE मशीनों को उल्टे पेंडुलम संतुलन, मौसम पूर्वानुमान और भाषण पहचान सहित कार्य करने के लिए प्रदर्शित किया गया था।
MADALINE नियम 2 (MRII), 1988 में वर्णित, नियम I में सुधार हुआ। नियम II प्रशिक्षण एल्गोरिथ्म "न्यूनतम गड़बड़ी" नामक सिद्धांत पर आधारित है। यह प्रशिक्षण उदाहरणों पर लूप करके आगे बढ़ता है, और प्रत्येक उदाहरण के लिए, यह अपनी भविष्यवाणी में सबसे कम आत्मविश्वास वाली छिपी परत इकाई ढूंढता है, अस्थायी रूप से इकाई के साइन को फ्लिप करता है, नेटवर्क की त्रुटि कम होने के आधार पर परिवर्तन को स्वीकार या अस्वीकार करता है, और त्रुटि शून्य होने पर रुक जाता है। इसके अतिरिक्त, जब एकल इकाइयों के साइन फ्लिप करने से किसी विशेष उदाहरण के लिए त्रुटि शून्य नहीं होती है, तो प्रशिक्षण एल्गोरिथ्म इकाइयों के जोड़े के साइन फ्लिप करना शुरू कर देता है, फिर इकाइयों के त्रिक, आदि।
MADALINE नियम 3 साइन के बजाय सिग्मॉइड सक्रियण के साथ एक संशोधित नेटवर्क पर लागू किया गया था; बाद में इसे बैकप्रोपेगेशन के बराबर पाया गया।
विरासत और प्रभाव
ADALINE और इसके उत्तराधिकारी MADALINE तंत्रिका नेटवर्क और मशीन लर्निंग के विकास में मौलिक थे। विड्रो द्वारा पेश किया गया LMS एल्गोरिथ्म अनुकूली सिग्नल प्रोसेसिंग का आधार बन गया और डीप लर्निंग में बाद के विकास को प्रभावित किया। थ्रेशोल्डिंग से पहले निरंतर त्रुटि को कम करने की अवधारणा ने अवकलनीय हानि फलनों के साथ तंत्रिका नेटवर्क को प्रशिक्षित करने के आधुनिक दृष्टिकोणों का पूर्वानुमान लगाया।
हालांकि ADALINE स्वयं रेखीय समस्याओं तक सीमित था, इसके भार अनुकूलन और त्रुटि न्यूनीकरण के सिद्धांतों को अधिक जटिल आर्किटेक्चर में आगे बढ़ाया गया। 1960 के दशक में स्टैनफोर्ड एआई लैब में काम ने ज़ेरॉक्स पार्क और अन्य शोध संस्थानों के योगदान के साथ, कृत्रिम तंत्रिका नेटवर्क के क्षेत्र को स्थापित करने में मदद की। न्यूनतम गड़बड़ी सिद्धांत बाद में ऑनलाइन सीखने के एल्गोरिद्म में विभिन्न रूपों में फिर से उभरा।
रिओस्टेट और मेमिस्टर का उपयोग करके ADALINE का भौतिक कार्यान्वयन भी तंत्रिका नेटवर्क के लिए एनालॉग कंप्यूटिंग की व्यवहार्यता प्रदर्शित करता है, एक अवधारणा जिसने आधुनिक न्यूरोमॉर्फिक हार्डवेयर में नए सिरे से रुचि देखी है। विड्रो के योगदान को कृत्रिम बुद्धिमत्ता के इतिहास में महत्वपूर्ण माना जाता है, जो प्रारंभिक पर्सेप्ट्रॉन अनुसंधान और बाद के ट्रांसफॉर्मर-आधारित मॉडलों के बीच सेतु का काम करते हैं।