कृत्रिम तंत्रिका नेटवर्क में, एक छिपी हुई परत कृत्रिम न्यूरॉन्स की एक परत होती है जो इनपुट परत और आउटपुट परत के बीच स्थित होती है। 'छिपी हुई' शब्द इस तथ्य को दर्शाता है कि ये परतें बाहरी वातावरण के साथ सीधे संपर्क नहीं करती हैं; उनकी सक्रियताएँ नेटवर्क के आंतरिक होती हैं। छिपी हुई परतों वाले सबसे सरल आर्किटेक्चर मल्टीलेयर परसेप्ट्रॉन (MLPs) हैं, जहाँ एक छिपी हुई परत में प्रत्येक न्यूरॉन पिछली परत से भारित इनपुट प्राप्त करता है, एक सक्रियण फ़ंक्शन लागू करता है, और अपने आउटपुट को अगली परत तक पहुँचाता है।
बिना किसी छिपी हुई परत वाला एक नेटवर्क, जैसे कि एकल-परत परसेप्ट्रॉन, अनिवार्य रूप से एक रैखिक मॉडल है। यह केवल उस डेटा को अलग कर सकता है जो रैखिक रूप से अलग करने योग्य हो। एक या अधिक छिपी हुई परतों को जोड़ना, गैर-रैखिक सक्रियण कार्यों के साथ मिलकर, मॉडल में गैर-रैखिकता लाता है। यह नेटवर्क को जटिल, गैर-रैखिक कार्यों का अनुमान लगाने की अनुमति देता है, जो आधुनिक Machine learning और Deep learning अनुप्रयोगों के लिए मौलिक है।
सीखने और प्रशिक्षण में भूमिका
विशिष्ट मशीन लर्निंग अभ्यास में, सभी परतों के भार और पूर्वाग्रह, जिनमें छिपी हुई परतें भी शामिल हैं, को प्रारंभ किया जाता है, अक्सर यादृच्छिक मानों के साथ या Weight Initialization जैसी योजनाओं का उपयोग करके। प्रशिक्षण के दौरान, इन मापदंडों को बैकप्रोपेगेशन के माध्यम से पुनरावृत्त रूप से अद्यतन किया जाता है, एक विधि जो प्रत्येक पैरामीटर के संबंध में एक हानि फ़ंक्शन के ग्रेडिएंट की गणना करती है। छिपी हुई परतें धीरे-धीरे इनपुट डेटा के मध्यवर्ती प्रतिनिधित्व को सीखती हैं, कच्ची विशेषताओं को अंतिम आउटपुट के लिए अधिक अमूर्त और उपयोगी रूपों में बदलती हैं।
नेटवर्क की गहराई, जो छिपी हुई परतों की संख्या से परिभाषित होती है, इसकी क्षमता में एक प्रमुख कारक है। कई छिपी हुई परतों वाले गहरे नेटवर्क पदानुक्रमित विशेषताओं को पकड़ सकते हैं, जैसा कि छवि पहचान या प्राकृतिक भाषा प्रसंस्करण के लिए Neural network आर्किटेक्चर में देखा गया है। हालाँकि, गहरे नेटवर्क लुप्त होते ग्रेडिएंट जैसी चुनौतियाँ भी पेश करते हैं, जिन्हें Batch Normalization, Layer Normalization, और Residual Network (ResNet) कनेक्शन जैसी तकनीकों द्वारा संबोधित किया गया है।
प्रकार और विविधताएँ
नेटवर्क आर्किटेक्चर के आधार पर छिपी हुई परतें संरचना में भिन्न हो सकती हैं। पूरी तरह से जुड़ी परतों में, हर न्यूरॉन पिछली परत के सभी न्यूरॉन्स से जुड़ता है, जो MLPs में आम है। कन्वोल्यूशनल परतें, जो छवि कार्यों में उपयोग की जाती हैं, स्थानीय रूप से फ़िल्टर लागू करती हैं और भार साझा करती हैं। आवर्ती परतें, जो अनुक्रम मॉडल में पाई जाती हैं, समय चरणों में आंतरिक स्थिति बनाए रखती हैं। Transformer (architecture) मॉडल में, छिपी हुई परतों में अक्सर Multi-Head Attention तंत्र और फीड-फॉरवर्ड उप-परतें शामिल होती हैं, जो अनुक्रमों के समानांतर प्रसंस्करण को सक्षम बनाती हैं।
विशेष छिपी हुई परतें भी मौजूद हैं, जैसे कि बायोमेडिकल छवि विभाजन के लिए U-Net में, जो डाउनसैंपलिंग और अपसैंपलिंग पथों को जोड़ती हैं। सक्रियण कार्यों की पसंद, जैसे ReLU या सिग्मॉइड, और प्रति छिपी हुई परत न्यूरॉन्स की संख्या हाइपरपैरामीटर हैं जो प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करते हैं। ओवरफिटिंग को रोकने के लिए Dropout जैसे नियमितीकरण तरीकों को अक्सर छिपी हुई परतों पर लागू किया जाता है।
ऐतिहासिक संदर्भ
तंत्रिका नेटवर्क पर प्रारंभिक कार्य, जिसमें परसेप्ट्रॉन शामिल हैं, में छिपी हुई परतें शामिल नहीं थीं, जिससे उनकी प्रयोज्यता सीमित हो गई थी। 1980 के दशक में छिपी हुई परतों और बैकप्रोपेगेशन एल्गोरिदम की शुरूआत, विशेष रूप से Bernard Widrow जैसे शोधकर्ताओं द्वारा, ने बहु-परत नेटवर्क के प्रशिक्षण को सक्षम किया। इसने Deep learning में बाद की प्रगति की नींव रखी। University of Toronto और Stanford AI Lab जैसे संस्थानों ने सैद्धांतिक और व्यावहारिक विकास में योगदान दिया, जबकि Nokia Bell Labs और Xerox PARC में प्रारंभिक हार्डवेयर प्रयासों ने कार्यान्वयन की खोज की।
व्यावहारिक विचार
छिपी हुई परतों को डिज़ाइन करने में समझौते शामिल हैं। बहुत कम न्यूरॉन्स या परतें अंडरफिट का कारण बन सकती हैं, जबकि बहुत अधिक ओवरफिटिंग और उच्च कम्प्यूटेशनल लागत का कारण बन सकते हैं। Model Pruning जैसी तकनीकें प्रशिक्षित नेटवर्क में अतिरेक को कम करती हैं, और Data Augmentation सामान्यीकरण को बेहतर बनाने में मदद करता है। बड़े पैमाने के सिस्टम में, छिपी हुई परतों को अक्सर AWS Trainium या Google Cloud TPUs जैसे विशेष हार्डवेयर में वितरित किया जाता है, जिसमें OpenAI, Anthropic, और Google DeepMind जैसी कंपनियाँ Large language model में छिपी हुई परतों के पैमाने को आगे बढ़ा रही हैं।
छिपी हुई परतें व्याख्यात्मकता अनुसंधान के लिए भी केंद्रीय हैं। छिपी हुई परतों में न्यूरॉन सक्रियताओं की कल्पना करने के तरीके शोधकर्ताओं को यह समझने में मदद करते हैं कि एक नेटवर्क ने क्या विशेषताएँ सीखी हैं, प्रारंभिक परतों में सरल किनारों से लेकर गहरी परतों में जटिल वस्तुओं तक। यह अध्ययन का एक सक्रिय क्षेत्र बना हुआ है, जिसमें Michael I. Jordan और Anima Anandkumar जैसे शिक्षाविदों का योगदान है।
भविष्य की दिशाएँ
जैसे-जैसे मॉडल बढ़ते हैं, छिपी हुई परतें अधिक विशेष और कुशल होती जा रही हैं। स्पार्स आर्किटेक्चर, मिश्रण-ऑफ-विशेषज्ञ, और गतिशील रूटिंग उभरते रुझान हैं। Curriculum Learning और Reinforcement Learning from AI Feedback (RLAIF) जैसे वैकल्पिक प्रशिक्षण तरीकों पर शोध पारंपरिक बैकप्रोपेगेशन पर निर्भरता को कम कर सकता है। छिपी हुई परतों का निरंतर विकास Waymo में स्वायत्त ड्राइविंग से लेकर चिकित्सा निदान तक, डोमेन में Artificial intelligence क्षमताओं को आगे बढ़ाने के लिए केंद्रीय है।