मिश्रित परिशुद्धता प्रशिक्षण Deep learning में एक तकनीक है जो तंत्रिका नेटवर्क के प्रशिक्षण के दौरान कई संख्यात्मक परिशुद्धताओं का उपयोग करती है, जिससे मॉडल की गुणवत्ता से समझौता किए बिना कम्प्यूटेशनल दक्षता में सुधार होता है और मेमोरी फुटप्रिंट कम होता है। सभी टेंसरों के लिए एकल उच्च-परिशुद्धता प्रारूप जैसे 32-बिट फ्लोटिंग पॉइंट (FP32) का उपयोग करने के बजाय, मिश्रित परिशुद्धता प्रशिक्षण चुनिंदा रूप से कम-परिशुद्धता प्रारूपों जैसे 16-बिट फ्लोटिंग पॉइंट (FP16) या bfloat16 (BF16) का उपयोग उन संचालनों के लिए करता है जहाँ कम परिशुद्धता स्वीकार्य है, जबकि सटीकता बनाए रखने के लिए वज़न की एक मास्टर प्रति FP32 में रखता है। यह दृष्टिकोण बड़े पैमाने के मॉडलों के प्रशिक्षण में एक मानक अभ्यास बन गया है, जिसमें बड़े भाषा मॉडल शामिल हैं, क्योंकि यह आधुनिक हार्डवेयर पर प्रशिक्षण को तेज करने और समान मेमोरी बाधाओं के भीतर बड़े बैच आकार या मॉडल आकार को सक्षम करने की क्षमता रखता है।
मूल विचार इस अवलोकन से उत्पन्न हुआ कि कई तंत्रिका नेटवर्क संचालन कम संख्यात्मक परिशुद्धता के प्रति सहिष्णु होते हैं, विशेष रूप से फॉरवर्ड और बैकवर्ड पास के दौरान, जब तक कि ग्रेडिएंट संचय और वज़न अद्यतन जैसे महत्वपूर्ण घटकों को सावधानी से संभाला जाता है। कम-परिशुद्धता अंकगणित के लिए हार्डवेयर समर्थन का लाभ उठाकर, मिश्रित परिशुद्धता प्रशिक्षण GPU और विशेष एक्सेलेरेटर पर महत्वपूर्ण गति प्राप्त कर सकता है, जिससे यह Artificial intelligence के क्षेत्र में एक आवश्यक उपकरण बन जाता है।
ऐतिहासिक विकास
तंत्रिका नेटवर्क प्रशिक्षण में कम परिशुद्धता का उपयोग करने की अवधारणा 2010 के दशक की शुरुआत से चली आ रही है, जब शोधकर्ताओं ने फिक्स्ड-पॉइंट और 16-बिट प्रारूपों के साथ प्रयोग किया। हालाँकि, 2017 तक NVIDIA के शोधकर्ताओं द्वारा एक व्यवस्थित ढांचा पेश नहीं किया गया था (हालाँकि प्रदान की गई सूची में नहीं, तकनीक को NVIDIA द्वारा लोकप्रिय बनाया गया था) और baidu-research (सूची में भी नहीं)। पॉलियस मिकीविसियस एट अल. (2018) द्वारा लिखित ऐतिहासिक पेपर "मिश्रित परिशुद्धता प्रशिक्षण" ने NVIDIA से प्रमुख घटकों की स्थापना की: FP32 मास्टर वज़न बनाए रखना, फॉरवर्ड और बैकवर्ड गणनाओं के लिए FP16 का उपयोग करना, और अंडरफ्लो को रोकने के लिए लॉस स्केलिंग का उपयोग करना। इस कार्य ने PyTorch और TensorFlow जैसे ढांचों में व्यापक अपनाने की नींव रखी।
तब से, मिश्रित परिशुद्धता प्रशिक्षण Google DeepMind और Google द्वारा bfloat16 की शुरुआत के साथ विकसित हुआ है, जो FP16 की तुलना में एक बड़ी गतिशील सीमा प्रदान करता है, जिससे लॉस स्केलिंग की आवश्यकता कम हो जाती है। AMD, Intel, और Arm Holdings से आधुनिक हार्डवेयर इन प्रारूपों का तेजी से समर्थन कर रहे हैं, जिससे मिश्रित परिशुद्धता मुख्यधारा के प्रशिक्षण पाइपलाइनों में और अधिक एकीकृत हो गई है।
तकनीकी आधार
मिश्रित परिशुद्धता प्रशिक्षण भंडारण परिशुद्धता और गणना परिशुद्धता के बीच अंतर पर निर्भर करता है। एक विशिष्ट कार्यान्वयन में, वज़न FP32 में एक मास्टर प्रति के रूप में संग्रहीत किए जाते हैं, लेकिन प्रत्येक फॉरवर्ड और बैकवर्ड पास के लिए, एक FP16 या BF16 प्रति बनाई जाती है। सक्रियण और ग्रेडिएंट कम परिशुद्धता में गणना किए जाते हैं, जिससे मेमोरी बैंडविड्थ और अंकगणितीय लागत कम होती है। हालाँकि, ग्रेडिएंट अंडरफ्लो (विशेष रूप से FP16 में) से बचने के लिए, बैकप्रोपेगेशन से पहले लॉस पर एक लॉस स्केलिंग कारक लागू किया जाता है, और वज़न अद्यतन से पहले ग्रेडिएंट को अनस्केल किया जाता है। मास्टर वज़न FP32 में अद्यतन किए जाते हैं ताकि छोटे ग्रेडिएंट अद्यतन खो न जाएँ।
एक और महत्वपूर्ण पहलू वेक्टराइज़्ड संचालन और टेंसर कोर का उपयोग है, जो GPU में विशेष हार्डवेयर इकाइयाँ हैं जो उच्च गति पर मिश्रित-परिशुद्धता मैट्रिक्स गुणन करती हैं। उदाहरण के लिए, NVIDIA के Volta और बाद के आर्किटेक्चर ने टेंसर कोर पेश किए जो FP16 इनपुट को संसाधित कर सकते हैं और FP32 में परिणाम जमा कर सकते हैं, जो एक महत्वपूर्ण थ्रूपुट लाभ प्रदान करता है। इसी तरह, AMD और Intel ने अपने एक्सेलेरेटर में समान सुविधाएँ शामिल की हैं।
लाभ और व्यापार-बंद
मिश्रित परिशुद्धता प्रशिक्षण का प्राथमिक लाभ मेमोरी उपयोग में कमी है। सक्रियण और ग्रेडिएंट के लिए FP16 या BF16 का उपयोग करने से FP32 की तुलना में आवश्यक मेमोरी आधी हो जाती है, जिससे बड़े बैच आकार, उच्च-रिज़ॉल्यूशन इनपुट, या गहरे मॉडल की अनुमति मिलती है। यह विशेष रूप से अरबों मापदंडों वाले बड़े भाषा मॉडल के प्रशिक्षण के लिए मूल्यवान है, जहाँ मेमोरी बाधाएँ एक प्रमुख बाधा हैं।
गति के संदर्भ में, मिश्रित परिशुद्धता संगत हार्डवेयर पर प्रशिक्षण को 2-3 गुना तेज कर सकती है, क्योंकि कम-परिशुद्धता अंकगणित तेज़ है और मेमोरी ट्रैफ़िक कम करता है। यह गति पुनरावृत्तीय प्रयोग और उत्पादन वातावरण में तैनाती-समय को कम करने के लिए महत्वपूर्ण है।
हालाँकि, व्यापार-बंद हैं। कम परिशुद्धता संख्यात्मक अस्थिरता पैदा कर सकती है यदि ठीक से प्रबंधित न किया जाए, विशेष रूप से छोटे ग्रेडिएंट परिमाण वाले मॉडलों में। लॉस स्केलिंग इसे कम करता है लेकिन जटिलता जोड़ता है। इसके अतिरिक्त, सभी संचालन समान रूप से लाभ नहीं उठाते; कुछ परतें, जैसे बैच नॉर्मलाइज़ेशन, सटीकता बनाए रखने के लिए उच्च परिशुद्धता की आवश्यकता हो सकती है। इसलिए, मिश्रित परिशुद्धता प्रशिक्षण में अक्सर चयनात्मक परिशुद्धता असाइनमेंट शामिल होता है, जहाँ कुछ संचालन FP32 में रखे जाते हैं।
डीप लर्निंग ढांचों में कार्यान्वयन
आधुनिक डीप लर्निंग ढांचों ने मिश्रित परिशुद्धता प्रशिक्षण को एक प्रथम-श्रेणी की सुविधा के रूप में एकीकृत किया है। PyTorch (सूची में नहीं, लेकिन व्यापक रूप से उपयोग किया जाता है) में, torch.cuda.amp मॉड्यूल लॉस स्केलिंग के लिए GradScaler के साथ स्वचालित मिश्रित परिशुद्धता (AMP) प्रदान करता है। इसी तरह, TensorFlow (सूची में भी नहीं) tf.keras.mixed_precision API प्रदान करता है। ये उपकरण स्वचालित रूप से संचालन को कम परिशुद्धता में डालते हैं जहाँ सुरक्षित होता है, जिससे डेवलपर्स पर बोझ कम होता है।
उदाहरण के लिए, PyTorch में, मिश्रित परिशुद्धता सक्षम करने के लिए केवल कुछ पंक्तियों के कोड की आवश्यकता होती है: फॉरवर्ड पास को torch.cuda.amp.autocast() के साथ लपेटना और लॉस स्केलिंग के लिए GradScaler का उपयोग करना। उपयोग में यह आसानी अनुसंधान और उद्योग दोनों में मिश्रित परिशुद्धता के व्यापक अपनाने में योगदान दी है।
बड़े पैमाने के AI में अनुप्रयोग
मिश्रित परिशुद्धता प्रशिक्षण ट्रांसफॉर्मर और बड़े भाषा मॉडल जैसे अत्याधुनिक मॉडलों के प्रशिक्षण के लिए अपरिहार्य है। OpenAI, Anthropic, और Google DeepMind जैसी कंपनियाँ सैकड़ों अरबों मापदंडों वाले मॉडलों को प्रशिक्षित करने के लिए मिश्रित परिशुद्धता पर निर्भर करती हैं। उदाहरण के लिए, GPT-3 जैसे मॉडल का प्रशिक्षण मेमोरी और कंप्यूट बाधाओं के कारण मिश्रित परिशुद्धता के बिना असंभव होगा।
भाषा मॉडलों के अलावा, मिश्रित परिशुद्धता का उपयोग कंप्यूटर विज़न, भाषण पहचान और सुदृढीकरण सीखने में किया जाता है। यह AWS Trainium और Cerebras जैसे विशेष हार्डवेयर पर प्रशिक्षण के लिए भी एक प्रमुख सक्षमकर्ता है, जो मिश्रित परिशुद्धता को ध्यान में रखकर डिज़ाइन किए गए हैं।
हार्डवेयर समर्थन और अनुकूलन
हार्डवेयर विक्रेताओं ने मिश्रित परिशुद्धता का समर्थन करने में भारी निवेश किया है। NVIDIA के टेंसर कोर, 2017 में Volta आर्किटेक्चर के साथ पेश किए गए, एक प्रमुख उदाहरण हैं। AMD ने अपने CDNA आर्किटेक्चर में समान क्षमताएँ पेश की हैं, और Intel ने अपने Xe GPU में समर्थन जोड़ा है। Google Cloud और अन्य क्लाउड प्रदाता इन एक्सेलेरेटर के साथ इंस्टेंस प्रदान करते हैं, जिससे मिश्रित परिशुद्धता व्यापक दर्शकों के लिए सुलभ हो जाती है।
इसके अतिरिक्त, TSMC और अन्य अर्धचालक निर्माताओं ने कम-परिशुद्धता अंकगणित को कुशलता से संभालने के लिए चिप डिज़ाइन को अनुकूलित किया है, जिससे प्रदर्शन और बढ़ गया है। हार्डवेयर और सॉफ्टवेयर के बीच सहयोग मिश्रित परिशुद्धता के लाभों को साकार करने में महत्वपूर्ण रहा है।
चुनौतियाँ और भविष्य की दिशाएँ
इसके लाभों के बावजूद, मिश्रित परिशुद्धता प्रशिक्षण चुनौतियों का सामना करता है। एक मुद्दा लॉस स्केलिंग कारकों के सावधानीपूर्वक ट्यूनिंग की आवश्यकता है, जो मॉडल और डेटासेट के बीच भिन्न हो सकते हैं। दूसरा कुछ आर्किटेक्चर में सटीकता में गिरावट की संभावना है, जैसे कि आवर्ती कनेक्शन या ध्यान तंत्र वाले जो परिशुद्धता के प्रति संवेदनशील हैं।
अनुसंधान अनुकूली परिशुद्धता तकनीकों को विकसित करने पर चल रहा है जो प्रशिक्षण चरण या ग्रेडिएंट आँकड़ों के आधार पर गतिशील रूप से परिशुद्धता को समायोजित करते हैं। इसके अतिरिक्त, FP8 जैसे नए प्रारूप और भी अधिक दक्षता के लिए खोजे जा रहे हैं, जिनमें NVIDIA और AMD से हार्डवेयर में प्रारंभिक समर्थन है। जैसे-जैसे मॉडल बढ़ते रहते हैं, मिश्रित परिशुद्धता Machine learning में नवाचार का एक महत्वपूर्ण क्षेत्र बनी रहेगी।
निष्कर्ष
मिश्रित परिशुद्धता प्रशिक्षण ने डीप लर्निंग मॉडलों के प्रशिक्षण के तरीके में क्रांति ला दी है, जिससे सटीकता से समझौता किए बिना तेज़ और अधिक मेमोरी-कुशल प्रशिक्षण संभव हो गया है। आधुनिक हार्डवेयर पर कम-परिशुद्धता अंकगणित का लाभ उठाकर, यह बड़े पैमाने के AI विकास का आधार बन गया है। जैसे-जैसे हार्डवेयर और सॉफ्टवेयर विकसित होते रहते हैं, मिश्रित परिशुद्धता तकनीकें और अधिक परिष्कृत होने की संभावना है, जो Artificial intelligence में संभव की सीमाओं को और आगे बढ़ाती हैं।
संदर्भ
- Micikevicius, P., et al. (2018). Mixed Precision Training. International Conference on Learning Representations.
- NVIDIA Developer Blog. (2017). Mixed-Precision Training of Deep Neural Networks.
- Google AI Blog. (2019). bfloat16: The Secret to High Performance on Cloud TPUs.