गहन अध्ययन

डीप लर्निंग Machine learning की एक शाखा है जो कच्चे डेटा, जैसे पिक्सल, ऑडियो तरंगों या पाठ से सीधे पदानुक्रमित प्रतिनिधित्व सीखने के लिए कई स्टैक्ड परतों वाले कृत्रिम Neural network का उपयोग करती है, बिना हाथ से इंजीनियर की गई विशेषताओं की आवश्यकता के। शब्द "डीप" इनपुट और आउटपुट के बीच की परतों की संख्या को संदर्भित करता है, जिसमें सिस्टम में आमतौर पर क्रेडिट असाइनमेंट पथ (CAP) की गहराई दो से अधिक होती है। डीप लर्निंग पर्यवेक्षित, अर्ध-पर्यवेक्षित या अनपर्यवेक्षित हो सकती है, और यह जैविक मस्तिष्क कार्य से प्रेरणा लेती है लेकिन इसका मॉडल बनाने का लक्ष्य नहीं रखती है।

इतिहास

डीप लर्निंग की गणितीय नींव 1980 के दशक की है, जब Backpropagation को बहु-परत नेटवर्क को प्रशिक्षित करने के तरीके के रूप में लोकप्रिय बनाया गया था। 1990 और 2000 के दशक में सीमित डेटा, सीमित कंप्यूट शक्ति और अन्य सांख्यिकीय विधियों से प्रतिस्पर्धा के कारण प्रगति रुक गई, एक अवधि जिसे कभी-कभी कनेक्शनिस्ट दृष्टिकोणों के लिए व्यापक AI सर्दी के हिस्से के रूप में वर्णित किया जाता है। क्षेत्र का आधुनिक युग आमतौर पर 2012 से माना जाता है, जब AlexNet, ग्राफिक्स प्रोसेसिंग इकाइयों पर प्रशिक्षित एक गहरा Convolutional neural network, ने हाथ से निर्मित विशेषताओं पर आधारित विधियों पर व्यापक अंतर से ImageNet प्रतियोगिता जीती। शोधकर्ता Geoffrey Hinton, Yann LeCun और Yoshua Bengio, जिन्हें बाद में क्षेत्र की संस्थापक तिकड़ी कहा गया, को इसकी नींव रखने के लिए 2018 का ट्यूरिंग पुरस्कार मिला; हिंटन और भौतिक विज्ञानी जॉन हॉपफील्ड ने संबंधित मौलिक कार्य के लिए 2024 का भौतिकी में नोबेल पुरस्कार साझा किया।

शब्द "डीप लर्निंग" को मशीन लर्निंग समुदाय में रीना डेचटर द्वारा 1986 में पेश किया गया था, और कृत्रिम तंत्रिका नेटवर्क में इगोर आइज़ेनबर्ग और सहयोगियों द्वारा 2000 में बूलियन थ्रेशोल्ड न्यूरॉन्स के संदर्भ में पेश किया गया था।

आर्किटेक्चर

प्रारंभिक डीप लर्निंग सफलता छवियों के लिए कन्वोल्यूशनल नेटवर्क और अनुक्रमिक डेटा जैसे पाठ और भाषण के लिए LSTM संस्करण सहित Recurrent neural network से आई। सामान्य आर्किटेक्चर में पूरी तरह से जुड़े नेटवर्क, डीप बिलीफ नेटवर्क, जनरेटिव एडवरसैरियल नेटवर्क (Generative Adversarial Networks), ट्रांसफॉर्मर और Neural Radiance Fields भी शामिल हैं। 2017 में Transformer (architecture) आर्किचेक्चर की शुरुआत, जो चरण-दर-चरण पुनरावृत्ति के बजाय Attention mechanism का उपयोग करके अनुक्रमों को समानांतर में संसाधित करता है, ने भाषा कार्यों के लिए बड़े पैमाने पर पुनरावर्ती नेटवर्क को विस्थापित कर दिया और आधुनिक Large language model का आधार बन गया। नेटवर्क को Gradient descent के प्रकारों के माध्यम से एक हानि फ़ंक्शन को कम करके प्रशिक्षित किया जाता है, जिसमें प्रत्येक पैरामीटर को कैसे बदलना चाहिए, इसकी गणना करने के लिए बैकप्रोपेगेशन का उपयोग किया जाता है। डीप लर्निंग मॉडल को लालची परत-दर-परत विधि से बनाया जा सकता है, और अनपर्यवेक्षित शिक्षण कार्यों पर लागू किया जा सकता है।

यह बड़े पैमाने पर क्यों काम करता है

डीप नेटवर्क पहले की सांख्यिकीय विधियों की तुलना में अधिक डेटा और अधिक कंप्यूट शक्ति से असमान रूप से लाभान्वित होते हैं, एक संबंध जिसे बाद में स्केलिंग कानूनों के रूप में औपचारिक रूप दिया गया। यह स्केलिंग व्यवहार, मूल रूप से ग्राफिक्स रेंडरिंग के लिए बनाए गए GPU (in AI) हार्डवेयर की समानांतर प्रसंस्करण क्षमता के साथ मिलकर, चिकित्सकों को 2010 और 2020 के दशक में लगातार बड़े मॉडल प्रशिक्षित करने की अनुमति देता है। AI-सक्षम GPU में Nvidia का प्रभुत्व और इसका CUDA सॉफ्टवेयर प्लेटफ़ॉर्म इसके परिणामस्वरूप उद्योग के बुनियादी ढांचे का एक केंद्रीय हिस्सा बन गया।

व्याख्याएँ

डीप न्यूरल नेटवर्क की आम तौर पर सार्वभौमिक सन्निकटन प्रमेय या संभाव्य अनुमान के संदर्भ में व्याख्या की जाती है। क्लासिक सार्वभौमिक सन्निकटन प्रमेय बताता है कि सीमित आकार की एक छिपी हुई परत वाले फीडफॉरवर्ड नेटवर्क निरंतर कार्यों का अनुमान लगा सकते हैं; पहला प्रमाण जॉर्ज साइबेंको द्वारा 1989 में सिग्मॉइड सक्रियण के लिए प्रकाशित किया गया था और कर्ट होर्निक द्वारा 1991 में बहु-परत आर्किटेक्चर के लिए सामान्यीकृत किया गया था। हाल के काम ने सार्वभौमिक सन्निकटन को रेक्टिफाइड लीनियर यूनिट जैसे असीमित सक्रियणों तक बढ़ाया; ReLU नेटवर्क के लिए, लू एट अल। ने साबित किया कि इनपुट आयाम से सख्ती से बड़ी चौड़ाई सार्वभौमिक सन्निकटन के लिए पर्याप्त है, जबकि छोटी या बराबर चौड़ाई नहीं है। संभाव्य व्याख्या, जो सक्रियण गैर-रैखिकताओं को संचयी वितरण कार्यों के रूप में मानती है, ने ड्रॉपआउट को एक नियमितीकरणकर्ता के रूप में पेश किया। यह व्याख्या हॉपफील्ड, विड्रो और नरेंद्र सहित शोधकर्ताओं द्वारा पेश की गई थी, और बिशप के सर्वेक्षणों जैसे में लोकप्रिय बनाई गई थी।

प्रभाव और आलोचना

डीप लर्निंग ने Computer vision, Speech recognition, Machine translation, Natural language processing और, जनता के लिए सबसे अधिक दिखाई देने वाले, पाठ और छवि निर्माण में तेजी से प्रगति की। यह क्षेत्र बायोइन्फॉर्मेटिक्स, दवा डिजाइन, चिकित्सा छवि विश्लेषण, जलवायु विज्ञान, सामग्री निरीक्षण और बोर्ड गेम कार्यक्रमों पर भी लागू किया गया है, जहां कुछ मामलों में परिणाम मानव विशेषज्ञ प्रदर्शन से मेल खाते हैं या उससे आगे निकल गए हैं। आलोचक ध्यान देते हैं कि डीप नेटवर्क बड़े पैमाने पर अपारदर्शी बने हुए हैं, सांख्यिकीय पैटर्न मिलानकर्ता के रूप में कार्य करते हैं जिनकी विफलताओं की भविष्यवाणी करना मुश्किल हो सकता है, और भारी ऊर्जा और डेटा संसाधनों की आवश्यकता होती है, जिससे पर्यावरणीय और कॉपीराइट दोनों चिंताएं उठती हैं। समर्थक जवाब देते हैं कि एक ही स्केलिंग नुस्खा ने बार-बार ऐसी क्षमताएं उत्पन्न की हैं जो स्पष्ट रूप से डिज़ाइन नहीं की गई थीं, एक पैटर्न जो अधिक सामान्य बुद्धि की ओर क्षेत्र के प्रक्षेपवक्र के बारे में चल रही बहसों के केंद्र में है।

हाल के विकास

2020 के दशक में, ट्रांसफॉर्मर आर्किटेक्चर पर आधारित Large language model, जैसे GPT और Transformers (Hugging Face) लाइब्रेरी, मुख्यधारा के उत्पाद बन गए। डीप लर्निंग ने छवि संश्लेषण के लिए GAN और डिफ्यूजन मॉडल जैसे जनरेटिव मॉडल और 3D दृश्य पुनर्निर्माण के लिए न्यूरल रेडियंस फील्ड में भी विस्तार किया। Representation learning और Unsupervised learning में प्रगति लेबल किए गए डेटा पर निर्भरता को कम करना जारी रखती है। यह क्षेत्र गहन शोध और सार्वजनिक बहस का केंद्र बना हुआ है, जिसमें व्याख्यात्मकता, दक्षता और मानव मूल्यों के साथ संरेखण में सुधार के लिए चल रहे प्रयास हैं।