डेल्टा नियम मशीन लर्निंग में एक मौलिक सीखने का एल्गोरिदम है, जिसका उपयोग नेटवर्क के आउटपुट और वांछित लक्ष्य के बीच त्रुटि के आधार पर एकल-परत तंत्रिका-नेटवर्क के भारों को समायोजित करने के लिए किया जाता है। यह ग्रेडिएंट डिसेंट का एक रूप है जो अनुमानित आउटपुट और वास्तविक लक्ष्य के बीच माध्य वर्ग त्रुटि को कम करता है। नियम प्रत्येक भार को त्रुटि ग्रेडिएंट के ऋणात्मक के अनुपात में, सीखने की दर से गुणा करके अद्यतन करता है। यह ऐतिहासिक रूप से सबसे प्रारंभिक पर्यवेक्षित सीखने के नियमों में से एक के रूप में महत्वपूर्ण है और डीप-लर्निंग और कृत्रिम-बुद्धिमत्ता में बाद के विकास को रेखांकित करता है।
डेल्टा नियम 1960 में बर्नार्ड विड्रो और मार्शियन हॉफ द्वारा पेश किया गया था, जिन्होंने इसे ADALINE (एडेप्टिव लीनियर न्यूरॉन) मॉडल के लिए विकसित किया था। स्टैनफोर्ड विश्वविद्यालय में उनके काम ने रैखिक क्लासिफायर को प्रशिक्षित करने के लिए एक सैद्धांतिक विधि स्थापित की, जो पहले के पर्सेप्ट्रॉन नियम से अलग थी, जो केवल गलत वर्गीकृत उदाहरणों पर भार को सही करता था। इसके विपरीत, डेल्टा नियम एक सतत त्रुटि सुधार लागू करता है, जो इसे अधिक मजबूत और गैर-वियोज्य डेटा को संभालने में सक्षम बनाता है।
गणितीय सूत्रीकरण
इनपुट वेक्टर \(x\), भार वेक्टर \(w\), और लक्ष्य आउटपुट \(t\) वाले एकल-परत नेटवर्क के लिए, डेल्टा नियम प्रत्येक भार \(w_i\) को इस प्रकार अद्यतन करता है:
\[ \Delta w_i = \eta (t - y) x_i \]
जहाँ \(y\) वास्तविक आउटपुट है (अक्सर एक रैखिक संयोजन \(w \cdot x\)), और \(\eta\) सीखने की दर है। पद \((t - y)\) त्रुटि है, और \(x_i\) के साथ गुणनफल \(w_i\) के संबंध में वर्ग त्रुटि का ग्रेडिएंट देता है। यह अद्यतन माध्य वर्ग त्रुटि हानि से प्रत्येक भार के संबंध में इसका व्युत्पन्न लेकर प्राप्त किया जा सकता है।
नियम एक रैखिक सक्रियण फ़ंक्शन, या कम से कम एक अवकलनीय, मानता है, जो ग्रेडिएंट-आधारित अनुकूलन की अनुमति देता है। गैर-रेखीय सक्रियण के लिए, सामान्यीकृत डेल्टा नियम, जिसे बैकप्रोपेगेशन के रूप में भी जाना जाता है, इस विचार को छिपी परतों के माध्यम से त्रुटियों को पीछे की ओर प्रचारित करके बहु-परत नेटवर्क तक विस्तारित करता है।
पर्सेप्ट्रॉन नियम से संबंध
फ्रैंक रोसेनब्लैट द्वारा 1958 में पेश किया गया पर्सेप्ट्रॉन सीखने का नियम, केवल तब भार अद्यतन करता है जब नेटवर्क वर्गीकरण त्रुटि करता है, एक बाइनरी थ्रेशोल्ड का उपयोग करके। डेल्टा नियम हर उदाहरण पर, त्रुटि परिमाण के अनुपात में भार अद्यतन करके इसमें सुधार करता है। यह इसे प्रतिगमन कार्यों और उन डेटा के लिए अधिक उपयुक्त बनाता है जो रैखिक रूप से वियोज्य नहीं हैं, जहाँ पर्सेप्ट्रॉन नियम अभिसरण करने में विफल हो सकता है। डेल्टा नियम एक समाधान में अभिसरण करता है जो माध्य वर्ग त्रुटि को कम करता है, भले ही पूर्ण वर्गीकरण असंभव हो।
ऐतिहासिक प्रभाव और सीमाएँ
ADALINE और डेल्टा नियम पर विड्रो और हॉफ का काम प्रारंभिक तंत्रिका-नेटवर्क अनुसंधान में एक मील का पत्थर था। इसने प्रदर्शित किया कि ग्रेडिएंट-आधारित अनुकूलन अनुकूली प्रणालियों को प्रशिक्षित कर सकता है, जिसने बाद के विकास जैसे एडम ऑप्टिमाइज़र और आधुनिक डीप-लर्निंग में उपयोग किए जाने वाले अन्य स्टोकेस्टिक ग्रेडिएंट डिसेंट वेरिएंट को प्रभावित किया। हालाँकि, डेल्टा नियम एकल-परत नेटवर्क तक सीमित है जिसमें रैखिक आउटपुट होते हैं, जो इसे रैखिक रूप से वियोज्य समस्याओं तक सीमित करता है। यह सीमा 1970 के दशक में तथाकथित "एआई शीतकाल" में योगदान करती है, क्योंकि शोधकर्ताओं ने माना कि एकल-परत मॉडल XOR फ़ंक्शन जैसी समस्याओं को हल नहीं कर सकते हैं। पुनरुत्थान 1980 के दशक में बैकप्रोपेगेशन के साथ आया, जिसने डेल्टा नियम को छिपी परतों तक सामान्यीकृत किया।
आधुनिक प्रासंगिकता
हालाँकि डेल्टा नियम आज शायद ही कभी सीधे उपयोग किया जाता है, इसके सिद्धांत लगभग सभी तंत्रिका नेटवर्क प्रशिक्षण में अंतर्निहित हैं। त्रुटि ग्रेडिएंट की गणना करने और ग्रेडिएंट-आधारित विधियों के माध्यम से भार अद्यतन करने की अवधारणा केंद्रीय बनी हुई है। डेल्टा नियम ने सीखने की दर का विचार भी पेश किया, एक हाइपरपैरामीटर जो अभी भी सीखने की दर अनुसूची में महत्वपूर्ण है। आधुनिक ढांचे में, डेल्टा नियम को अक्सर अधिक जटिल एल्गोरिदम के लिए एक शैक्षणिक सीढ़ी के रूप में प्रस्तुत किया जाता है, और यह परिचयात्मक मशीन लर्निंग पाठ्यक्रमों में एक मानक विषय बना हुआ है। इसका प्रभाव बड़े भाषा मॉडल और ट्रांसफार्मर तक फैला हुआ है, जहाँ अनुकूलन तकनीकें इस प्रारंभिक नियम से अपनी वंशावली का पता लगाती हैं।