परत सामान्यीकरण

लेयर नॉर्मलाइज़ेशन एक एक्टिवेशन नॉर्मलाइज़ेशन तकनीक है जिसका उपयोग डीप लर्निंग में न्यूरल नेटवर्क के प्रशिक्षण को स्थिर और तेज़ करने के लिए किया जाता है। बैच नॉर्मलाइज़ेशन के विपरीत, जो बैच आयाम के साथ नॉर्मलाइज़ करता है, लेयर नॉर्मलाइज़ेशन प्रत्येक व्यक्तिगत इनपुट नमूने के लिए फीचर आयाम के साथ सांख्यिकी की गणना करता है। यह इसे परिवर्तनीय-लंबाई अनुक्रमों या छोटे बैच आकारों वाले मॉडलों के लिए विशेष रूप से उपयुक्त बनाता है, जैसे कि ट्रांसफॉर्मर और आवर्तक तंत्रिका नेटवर्क (RNN)। इसे 2016 में जिमी लेई बा, जेमी रयान किरोस और जेफ्री हिंटन द्वारा पेश किया गया था, और तब से यह कई आधुनिक आर्किटेक्चरों में एक मानक घटक बन गया है, जिसमें बड़े भाषा मॉडल शामिल हैं।

लेयर नॉर्मलाइज़ेशन आंतरिक सहप्रसरण बदलाव की समस्या को संबोधित करता है, जहां प्रशिक्षण के दौरान लेयर इनपुट का वितरण बदलता है, जिससे अभिसरण धीमा हो जाता है। एक्टिवेशन को शून्य माध्य और इकाई विचरण के लिए पुनर्स्केल और पुनर्केंद्रित करके, यह अनुकूलन परिदृश्य को सुचारू करता है और पैरामीटर आरंभीकरण और सीखने की दरों के प्रति संवेदनशीलता को कम करता है। अनुभवजन्य सफलता ने इसे अनुक्रम मॉडलिंग और जनरेटिव एआई प्रणालियों में एक डिफ़ॉल्ट विकल्प बना दिया है।

प्रेरणा और पृष्ठभूमि

मशीन लर्निंग में नॉर्मलाइज़ेशन मोटे तौर पर दो श्रेणियों में आता है: डेटा नॉर्मलाइज़ेशन और एक्टिवेशन नॉर्मलाइज़ेशन। डेटा नॉर्मलाइज़ेशन, या फीचर स्केलिंग, इनपुट फीचर्स को एक सामान्य सीमा, जैसे [0,1] या [-1,1], में पुनर्स्केल करता है ताकि बड़े पैमाने वाले फीचर्स (जैसे किलोमीटर बनाम नैनोमीटर) सीखने की प्रक्रिया पर हावी न हों। एक्टिवेशन नॉर्मलाइज़ेशन, जो डीप लर्निंग के लिए विशिष्ट है, नेटवर्क के अंदर छिपे न्यूरॉन्स के एक्टिवेशन को पुनर्स्केल करता है। नॉर्मलाइज़ेशन के प्राथमिक लक्ष्य प्रशिक्षण गति बढ़ाना, ओवरफिटिंग कम करना, सामान्यीकरण में सुधार करना और लुप्त या विस्फोटक ग्रेडिएंट जैसी समस्याओं को कम करना हैं।

लेयर नॉर्मलाइज़ेशन से पहले, बैच नॉर्मलाइज़ेशन (BatchNorm) प्रमुख एक्टिवेशन नॉर्मलाइज़ेशन विधि थी। BatchNorm मिनी-बैच आयाम के साथ एक्टिवेशन को नॉर्मलाइज़ करता है, बैच में सभी नमूनों पर प्रत्येक फीचर समन्वय के लिए माध्य और विचरण की गणना करता है। हालांकि, BatchNorm की सीमाएं हैं: इसे विश्वसनीय रूप से सांख्यिकी का अनुमान लगाने के लिए पर्याप्त बड़े बैच आकार की आवश्यकता होती है, और यह प्रशिक्षण (बैच सांख्यिकी का उपयोग करके) और अनुमान (चलती औसत का उपयोग करके) के दौरान अलग-अलग व्यवहार करता है। परिवर्तनीय लंबाई के अनुक्रमों को संसाधित करने वाले आवर्तक नेटवर्क और ट्रांसफॉर्मर के लिए, बैच सांख्यिकी अस्थिर या अव्यावहारिक हो सकती है।

परिभाषा और गणितीय सूत्रीकरण

एक तंत्रिका नेटवर्क लेयर पर विचार करें जो एकल इनपुट नमूने के लिए एक्टिवेशन का एक वेक्टर \( x \) उत्पन्न करता है। लेयर नॉर्मलाइज़ेशन उस वेक्टर के सभी फीचर्स (या छिपी इकाइयों) के साथ माध्य \( \mu \) और विचरण \( \sigma^2 \) की गणना करता है:

\[ \mu = \frac{1}{H} \sum_{i=1}^{H} x_i, \quad \sigma^2 = \frac{1}{H} \sum_{i=1}^{H} (x_i - \mu)^2 \]

जहां \( H \) लेयर में फीचर्स की संख्या है। नॉर्मलाइज़्ड एक्टिवेशन तब है:

\[ \hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}} \]

जहां \( \epsilon \) एक छोटा स्थिरांक (जैसे, \( 10^{-5} \)) है जो संख्यात्मक स्थिरता के लिए जोड़ा जाता है। लेयर की प्रतिनिधित्व क्षमता को संरक्षित करने के लिए, लेयर नॉर्मलाइज़ेशन सीखने योग्य प्रति-फीचर स्केल \( \gamma \) और शिफ्ट \( \beta \) पैरामीटर पेश करता है, जो इस प्रकार लागू होते हैं:

\[ y_i = \gamma_i \hat{x}_i + \beta_i \]

इन पैरामीटरों को बैकप्रोपेगेशन के माध्यम से प्रशिक्षण के दौरान अद्यतन किया जाता है, जिससे नेटवर्क को लाभकारी होने पर नॉर्मलाइज़ेशन को पूर्ववत करने की अनुमति मिलती है।

बैच नॉर्मलाइज़ेशन के विपरीत, लेयर नॉर्मलाइज़ेशन बैच आकार या बैच में अन्य नमूनों पर निर्भर नहीं करता है। यह प्रत्येक इनपुट पर स्वतंत्र रूप से समान गणना लागू करता है, जिससे इसे ऑनलाइन लर्निंग या बैच आकार 1 के साथ उपयोग करना सीधा हो जाता है।

बैच नॉर्मलाइज़ेशन के साथ तुलना

बैच नॉर्मलाइज़ेशन बैच के साथ प्रत्येक फीचर समन्वय को नॉर्मलाइज़ करता है, बैच-स्तरीय सांख्यिकी का उपयोग करके। \( B \) नमूनों के बैच के लिए, यह सभी नमूनों पर प्रत्येक फीचर आयाम के लिए माध्य और विचरण की गणना करता है। यह आंतरिक सहप्रसरण बदलाव को कम करता है लेकिन बैच में नमूनों के बीच निर्भरता पेश करता है। अनुमान के दौरान, BatchNorm इन सांख्यिकी के चलती औसत का उपयोग करता है, जो प्रशिक्षण और परीक्षण वितरण भिन्न होने पर विसंगतियां पैदा कर सकता है।

लेयर नॉर्मलाइज़ेशन, इसके विपरीत, प्रत्येक नमूने के लिए फीचर्स के साथ नॉर्मलाइज़ करता है। इसके कई फायदे हैं:

• बैच आकार से स्वतंत्रता: छोटे बैच या एकल-नमूना अनुमान के साथ अच्छी तरह से काम करता है, क्योंकि किसी बैच सांख्यिकी की आवश्यकता नहीं होती है।
• आवर्तक नेटवर्क के लिए स्थिरता: RNN अनुक्रमों को चरण दर चरण संसाधित करते हैं; लेयर नॉर्मलाइज़ेशन को समय के साथ बैच सांख्यिकी जमा किए बिना प्रत्येक समय चरण पर लागू किया जा सकता है।
• प्रशिक्षण और अनुमान के बीच स्थिरता: दोनों चरणों में समान गणना का उपयोग किया जाता है, जिससे BatchNorm का प्रशिक्षण-परीक्षण बेमेल टाला जाता है।

हालांकि, लेयर नॉर्मलाइज़ेशन कम प्रभावी हो सकता है जब फीचर आयामों में बहुत अलग पैमाने हों या जब फीचर आयाम छोटा हो, क्योंकि सांख्यिकी मूल्यों के सीमित सेट पर गणना की जाती है।

ट्रांसफॉर्मर और RNN में अनुप्रयोग

लेयर नॉर्मलाइज़ेशन ट्रांसफॉर्मर आर्किटेक्चर का एक मुख्य घटक है, जिसे 2017 के पेपर "Attention Is All You Need" में वासवानी एट अल. द्वारा पेश किया गया था। ट्रांसफॉर्मर में, लेयर नॉर्मलाइज़ेशन प्रत्येक उप-लेयर (जैसे, मल्टी-हेड अटेंशन और फीड-फॉरवर्ड नेटवर्क) के बाद लागू किया जाता है, या तो पोस्ट-नॉर्म या प्री-नॉर्म कॉन्फ़िगरेशन में। प्री-नॉर्म (उप-लेयर से पहले नॉर्मलाइज़ेशन लागू करना) आधुनिक कार्यान्वयन में आम हो गया है, क्योंकि यह प्रशिक्षण को स्थिर करता है और गहरे मॉडल की अनुमति देता है।

बड़े भाषा मॉडल जैसे GPT, BERT और उनके उत्तराधिकारियों में, लेयर नॉर्मलाइज़ेशन का व्यापक रूप से उपयोग किया जाता है। उदाहरण के लिए, OpenAI के GPT मॉडल प्रत्येक ट्रांसफॉर्मर ब्लॉक के भीतर प्री-नॉर्म लेयर नॉर्मलाइज़ेशन का उपयोग करते हैं। यह सैकड़ों अरबों पैरामीटर वाले मॉडलों के स्थिर प्रशिक्षण में योगदान देता है, जैसा कि OpenAI, Anthropic और Google DeepMind द्वारा विकसित प्रणालियों में देखा गया है।

आवर्तक तंत्रिका नेटवर्क में, लेयर नॉर्मलाइज़ेशन प्रत्येक समय चरण पर छिपी स्थिति पर लागू होता है। यह लुप्त और विस्फोटक ग्रेडिएंट समस्याओं को कम करने में मदद करता है, जिससे RNN लंबी दूरी की निर्भरताओं को अधिक प्रभावी ढंग से सीख सकते हैं। इसका उपयोग अनुक्रम-से-अनुक्रम मॉडल, भाषण पहचान और समय-श्रृंखला पूर्वानुमान में किया गया है।

विविधताएं और विस्तार

विशिष्ट चुनौतियों को संबोधित करने के लिए लेयर नॉर्मलाइज़ेशन की कई विविधताएं प्रस्तावित की गई हैं:

• रूट मीन स्क्वायर लेयर नॉर्मलाइज़ेशन (RMSNorm): माध्य घटाव को छोड़कर और केवल रूट मीन स्क्वायर का उपयोग करके स्केलिंग के लिए लेयर नॉर्मलाइज़ेशन को सरल बनाता है। यह प्रदर्शन बनाए रखते हुए कम्प्यूटेशनल ओवरहेड को कम करता है, और LLaMA जैसे कुछ बड़े भाषा मॉडल में उपयोग किया जाता है।
• वेट नॉर्मलाइज़ेशन: एक्टिवेशन को नॉर्मलाइज़ करने के बजाय, यह एक लेयर के वेट वैक्टर को नॉर्मलाइज़ करता है, जिसे एक संबंधित तकनीक के रूप में देखा जा सकता है।
• इंस्टेंस नॉर्मलाइज़ेशन: मुख्य रूप से छवि निर्माण में उपयोग किया जाता है, यह प्रत्येक चैनल और प्रत्येक नमूने के लिए स्थानिक आयामों के साथ नॉर्मलाइज़ करता है, जो लेयर नॉर्मलाइज़ेशन के समान है लेकिन कन्वोल्यूशनल नेटवर्क पर लागू होता है।
• ग्रुप नॉर्मलाइज़ेशन: चैनलों को समूहों में विभाजित करता है और प्रत्येक समूह के भीतर नॉर्मलाइज़ करता है, कंप्यूटर विज़न कार्यों के लिए लेयर और बैच नॉर्मलाइज़ेशन के बीच एक समझौता प्रदान करता है।

ये विविधताएं विभिन्न नेटवर्क आर्किटेक्चर और डेटा मोडैलिटीज़ के अनुकूल होने में नॉर्मलाइज़ेशन तकनीकों की लचीलापन को उजागर करती हैं।

प्रशिक्षण गतिशीलता पर प्रभाव

लेयर नॉर्मलाइज़ेशन कई तरीकों से प्रशिक्षण में सुधार करता है। एक्टिवेशन को नियंत्रित सीमा में रखकर, यह चरम मूल्यों को रोकता है जो ग्रेडिएंट विस्फोट या सिग्मॉइड या टैनह जैसे एक्टिवेशन फ़ंक्शन की संतृप्ति का कारण बन सकते हैं। यह उच्च सीखने की दरों की अनुमति देता है, जो अभिसरण को तेज करता है। यह एक नियमितकर्ता के रूप में भी कार्य करता है, नॉर्मलाइज़ेशन प्रक्रिया के माध्यम से हल्का शोर जोड़कर ओवरफिटिंग को कम करता है, हालांकि यह प्रभाव ड्रॉपआउट की तुलना में कम स्पष्ट है।

अनुभवजन्य अध्ययनों ने दिखाया है कि लेयर नॉर्मलाइज़ेशन हानि परिदृश्य को सुचारू करता है, जिससे अनुकूलन अधिक पूर्वानुमानित हो जाता है। यह बहुत गहरे नेटवर्क के लिए विशेष रूप से महत्वपूर्ण है, जहां छोटे गड़बड़ी लेयरों के माध्यम से बढ़ सकते हैं। ट्रांसफॉर्मर में, लेयर नॉर्मलाइज़ेशन हजारों लेयर वाले मॉडलों के प्रशिक्षण को सक्षम बनाता है, जैसा कि गहरे ट्रांसफॉर्मर पर हाल के शोध में प्रदर्शित किया गया है।

सीमाएं और विचार

इसके फायदों के बावजूद, लेयर नॉर्मलाइज़ेशन की सीमाएं हैं। यह मानता है कि एक लेयर के भीतर फीचर्स में तुलनीय वितरण हैं; यदि फीचर्स अत्यधिक सहसंबद्ध हैं या विषम विचरण हैं, तो नॉर्मलाइज़ेशन इष्टतम नहीं हो सकता है। इसके अतिरिक्त, जोड़े गए सीखने योग्य पैरामीटर (\( \gamma \) और \( \beta \)) मॉडल आकार को थोड़ा बढ़ाते हैं, हालांकि यह समग्र पैरामीटर गणना की तुलना में नगण्य है।

कुछ कार्यों में, जैसे कंप्यूटर विज़न, बैच नॉर्मलाइज़ेशन अक्सर लेयर नॉर्मलाइज़ेशन से बेहतर प्रदर्शन करता है क्योंकि बैच के साथ स्थानिक सांख्यिकी समृद्ध जानकारी प्रदान करती है। हालांकि, प्राकृतिक भाषा प्रसंस्करण और अनुक्रम मॉडलिंग के लिए, लेयर नॉर्मलाइज़ेशन आम तौर पर पसंद किया जाता है। 2020 के दशक के मध्य तक, अधिकांश अत्याधुनिक बड़े भाषा मॉडल किसी न किसी रूप में लेयर नॉर्मलाइज़ेशन पर निर्भर करते हैं, जो जनरेटिव एआई के क्षेत्र में इसके महत्व को रेखांकित करता है।

निष्कर्ष

लेयर नॉर्मलाइज़ेशन डीप लर्निंग में एक मौलिक उपकरण बन गया है, जो जटिल आर्किटेक्चर के स्थिर और कुशल प्रशिक्षण को सक्षम बनाता है। बैच आकार से इसकी स्वतंत्रता और प्रशिक्षण और अनुमान के बीच स्थिरता इसे ट्रांसफॉर्मर और आवर्तक नेटवर्क के लिए आदर्श बनाती है, जो आधुनिक एआई प्रणालियों को रेखांकित करते हैं। जैसे-जैसे मॉडल बढ़ते रहते हैं, लेयर नॉर्मलाइज़ेशन और इसकी विविधताएं विश्वसनीय अभिसरण और उच्च प्रदर्शन प्राप्त करने के लिए आवश्यक बने रहने की संभावना है।