LeNet-5 एक कन्वोल्यूशनल न्यूरल नेटवर्क आर्किटेक्चर है, जिसे एटीएंडटी बेल लेबोरेटरीज में यान लेकुन के नेतृत्व वाले एक शोध समूह द्वारा विकसित किया गया था और 1998 में प्रकाशित किया गया था। यह LeNet श्रृंखला का सबसे प्रसिद्ध संस्करण है, जिसे हस्तलिखित अंकों और अक्षरों की छोटी ग्रेस्केल छवियों को पढ़ने के लिए डिज़ाइन किया गया था। LeNet-5 ऐतिहासिक रूप से महत्वपूर्ण है क्योंकि यह सबसे शुरुआती कन्वोल्यूशनल न्यूरल नेटवर्क में से एक है और गहन शिक्षा के विकास में एक आधारभूत योगदान है, जिसने कई आधुनिक आर्किटेक्चर को प्रभावित किया है।
कन्वोल्यूशनल न्यूरल नेटवर्क एक प्रकार के फीड-फॉरवर्ड न्यूरल नेटवर्क हैं, जिनके कृत्रिम न्यूरॉन कवरेज रेंज में आसपास की कोशिकाओं के एक हिस्से पर प्रतिक्रिया कर सकते हैं, और बड़े पैमाने पर छवि प्रसंस्करण में अच्छा प्रदर्शन करते हैं। LeNet-5 इसका उदाहरण है, जो स्थानिक विशेषताओं को निकालने के लिए कन्वोल्यूशनल परतों, सबसैंपलिंग के लिए पूलिंग परतों और वर्गीकरण के लिए पूरी तरह से जुड़ी परतों का उपयोग करता है। व्यावहारिक अनुप्रयोगों में इसकी सफलता, जैसे प्रतिदिन लाखों चेक पढ़ना, ने वास्तविक दुनिया के कार्यों में न्यूरल नेटवर्क की व्यवहार्यता को प्रदर्शित किया।
विकास इतिहास
LeNet की उत्पत्ति 1988 में हुई जब यान लेकुन ने न्यू जर्सी के होल्मडेल में एटीएंडटी बेल लेबोरेटरीज के एडेप्टिव सिस्टम्स रिसर्च विभाग में शामिल हुए, जिसका नेतृत्व लॉरेंस डी. जैकल कर रहे थे। नवंबर 1988 के अंत में, जॉन एस. डेंकर और सहयोगियों ने हस्तलिखित ज़िप कोड पहचानने के लिए एक न्यूरल नेटवर्क डिज़ाइन प्रकाशित किया, हालांकि इसकी शुरुआती परतें हाथ से ट्यून की गई थीं। 1989 में, लेकुन और उनकी टीम ने पहली बार बैकप्रोपेगेशन एल्गोरिदम को व्यावहारिक अनुप्रयोगों में लागू किया, कन्वोल्यूशनल न्यूरल नेटवर्क को बैकप्रोपेगेशन के साथ जोड़कर हस्तलिखित संख्याओं को पढ़ा। यह प्रोटोटाइप, जिसे बाद में LeNet-1 कहा गया, अमेरिकी डाक सेवा से हस्तलिखित ज़िप कोड की पहचान करने में सफलतापूर्वक लागू किया गया, जिसमें लगभग 9% की अस्वीकृति दर के साथ केवल 1% की त्रुटि दर हासिल हुई।
अगले चार वर्षों में, शोध जारी रहा, जिसके कारण 1994 में MNIST डेटाबेस का विकास हुआ। LeNet-1 इस नए डेटासेट के लिए बहुत छोटा था, जिससे LeNet-4 का निर्माण हुआ। 1998 तक, यान लेकुन, लियोन बोट्टू, योशुआ बेंगियो और पैट्रिक हफनर ने एक पेपर में LeNet-5 का वर्णन किया, जिसमें व्यावहारिक अनुप्रयोगों को भी प्रदर्शित किया गया, जिसमें हस्तलिखित वर्णों को पहचानने के लिए सिस्टम और ऐसे मॉडल शामिल थे जो प्रतिदिन लाखों चेक पढ़ सकते थे। इस कार्य ने न्यूरल नेटवर्क अनुसंधान में व्यापक रुचि पैदा की, और हालांकि आधुनिक आर्किटेक्चर भिन्न हैं, LeNet ने कई बाद के डिज़ाइनों के लिए शुरुआती बिंदु के रूप में कार्य किया।
आर्किटेक्चर
LeNet-5 में आधुनिक कन्वोल्यूशनल न्यूरल नेटवर्क में आम कई विशेषताएं शामिल हैं, जिनमें कन्वोल्यूशनल परतें, पूलिंग परतें और पूरी तरह से जुड़ी परतें शामिल हैं। प्रत्येक कन्वोल्यूशनल परत में तीन भाग होते हैं: कन्वोल्यूशन, पूलिंग और एक नॉनलाइनियर सक्रियण फ़ंक्शन, आमतौर पर tanh फ़ंक्शन। नेटवर्क स्थानिक विशेषताओं को निकालने के लिए कन्वोल्यूशन का उपयोग करता है, जिसमें रिसेप्टिव फील्ड की अवधारणा होती है, और सबसैंपलिंग के लिए औसत पूलिंग का उपयोग करता है। अंतिम परतें वर्गीकरण के लिए पूरी तरह से जुड़ी होती हैं, और परतों के बीच स्पार्स कनेक्शन कम्प्यूटेशनल जटिलता को कम करते हैं।
1989 की रिपोर्ट में लेकुन एट अल. ने Net-1 से Net-5 तक लेबल किए गए नेटवर्क पेश किए, जिनमें विभिन्न सुधारों के बाद 1998 का LeNet-5 आया। नामकरण असंगत है, और यह स्पष्ट नहीं है कि LeNet-2 और LeNet-3 किसे संदर्भित कर सकते हैं। LeNet-1, LeNet-4 और LeNet-5 अच्छी तरह से प्रलेखित हैं, लेकिन मध्यवर्ती संस्करण नहीं हैं।
प्रारंभिक प्रोटोटाइप
1988 में लेकुन समूह द्वारा प्रकाशित पहला न्यूरल नेटवर्क एक हाइब्रिड दृष्टिकोण था। इसका पहला चरण इनपुट छवि को स्केल, डेस्क्यू और स्केलेटनाइज़ करता था। दूसरे चरण में 18 हाथ से डिज़ाइन किए गए कर्नेल के साथ एक कन्वोल्यूशनल परत का उपयोग किया गया था, और तीसरा चरण एक छिपी हुई परत के साथ एक पूरी तरह से जुड़ा नेटवर्क था। डेटासेट में वास्तविक अमेरिकी मेल से निकाले गए हस्तलिखित अंकों की छवियां शामिल थीं, वही डेटासेट जो प्रसिद्ध 1989 की रिपोर्ट में उपयोग किया गया था।
Net-1 से Net-5
1989 की रिपोर्ट में Net-1 से Net-5 का विवरण दिया गया, सभी में पूरी तरह से जुड़ी अंतिम परतें थीं। मूल पेपर पैडिंग रणनीति की व्याख्या नहीं करता है, और सभी कोशिकाओं में स्वतंत्र बायस होते हैं, जिसमें कन्वोल्यूशनल परतों की आउटपुट कोशिकाएं शामिल हैं।
- Net-1: कोई छिपी परत नहीं, पूरी तरह से जुड़ा, (16×16) से 10 आउटपुट तक मैपिंग।
- Net-2: 12 छिपी इकाइयों के साथ एक छिपी हुई पूरी तरह से जुड़ी परत, (16×16) से 12 से 10 तक मैपिंग।
- Net-3: दो छिपी कन्वोल्यूशनल परतें, (16×16) से (8×8) से (4×4) से 10 तक मैपिंग, जिसमें 3×3 इनपुट आकार और स्ट्राइड 2 के साथ स्थानीय रूप से जुड़ी परतें हैं।
- Net-4: दो छिपी परतें, पहली कन्वोल्यूशनल और दूसरी स्थानीय रूप से जुड़ी, (16×16) से (8×8×2) से (4×4) से 10 तक मैपिंग, जिसमें कन्वोल्यूशन परत में आकार 3×3 और स्ट्राइड 2 के 2 कर्नेल हैं।
- Net-5: अंतिम संस्करण, LeNet-5, ने इन अवधारणाओं को कई कन्वोल्यूशनल और पूलिंग परतों के साथ एक गहरे आर्किटेक्चर में परिष्कृत किया, जो वर्गीकरण के लिए पूरी तरह से जुड़ी परतों में समाप्त होता है।
प्रभाव और विरासत
LeNet-5 के डिज़ाइन सिद्धांत, जैसे कन्वोल्यूशनल फीचर निष्कर्षण और सबसैंपलिंग, गहन शिक्षा में आधारभूत बन गए। इसने प्रदर्शित किया कि न्यूरल नेटवर्क में मुक्त मापदंडों की संख्या को कम करने से सामान्यीकरण बढ़ सकता है, जो बाद के आर्किटेक्चर के लिए एक महत्वपूर्ण अंतर्दृष्टि है। एटीएम में हस्तलिखित चेक और डाक कोड पढ़ने में नेटवर्क की सफलता ने शैक्षणिक अनुसंधान और वाणिज्यिक अनुप्रयोगों दोनों को प्रभावित किया। जबकि आधुनिक न्यूरल नेटवर्क काफी विकसित हुए हैं, LeNet-5 एक ऐतिहासिक मील का पत्थर बना हुआ है, जिसे अक्सर समकालीन Deep learning मॉडल के अग्रदूत और Machine learning और Artificial intelligence में Neural network दृष्टिकोणों के व्यापक अपनाने के उत्प्रेरक के रूप में उद्धृत किया जाता है।