मॉडल समानांतरता - AI Wiki

मॉडल समांतरता एक वितरित प्रशिक्षण तकनीक है जो एक तंत्रिका नेटवर्क की परतों को कई उपकरणों में विभाजित करती है, जिससे उन मॉडलों के प्रशिक्षण की अनुमति मिलती है जो एकल उपकरण की मेमोरी क्षमता से अधिक होते हैं।

मॉडल समानांतरता एक वितरित कंप्यूटिंग तकनीक है जिसका उपयोग मशीन लर्निंग और डीप लर्निंग में बड़े तंत्रिका नेटवर्क को प्रशिक्षित करने या अनुमान लगाने के लिए किया जाता है, जो एकल डिवाइस, जैसे GPU या TPU, की मेमोरी में फिट नहीं होते हैं। डेटा समानांतरता के विपरीत, जहां प्रत्येक डिवाइस मॉडल की पूरी प्रति रखता है और विभिन्न डेटा बैचों को संसाधित करता है, मॉडल समानांतरता मॉडल को स्वयं विभाजित करती है, आमतौर पर विभिन्न परतों या परतों के उपसमूहों को विभिन्न डिवाइसों को सौंपकर। यह दृष्टिकोण Transformer (architecture)-आधारित बड़े भाषा मॉडल जैसे मॉडलों को स्केल करने के लिए आवश्यक है, जिनमें अरबों या खरबों पैरामीटर हो सकते हैं।

अवलोकन

मॉडल समानांतरता में, तंत्रिका नेटवर्क को इसकी गहराई (परत-वार) के साथ विभाजित किया जाता है, या अधिक उन्नत रूपों में, चौड़ाई या यहां तक कि व्यक्तिगत टेंसर संचालन जैसे अन्य आयामों के साथ। सबसे सरल रूप परत-वार विभाजन है, जहां क्रमिक परतों को विभिन्न डिवाइसों पर रखा जाता है। फॉरवर्ड प्रसार के दौरान, सक्रियण एक डिवाइस से दूसरे में प्रवाहित होते हैं; बैकप्रोपेगेशन के दौरान, ग्रेडिएंट विपरीत दिशा में प्रवाहित होते हैं। यह पाइपलाइन जैसा निष्पादन बनाता है, जो सावधानीपूर्वक शेड्यूल न किए जाने पर निष्क्रिय समय (बुलबुले) पेश कर सकता है। मॉडल समानांतरता को अक्सर डेटा समानांतरता के साथ तुलना की जाती है, लेकिन दोनों को हाइब्रिड दृष्टिकोणों में जोड़ा जा सकता है, जैसे कि बड़े मॉडलों के प्रशिक्षण में उपयोग की जाने वाली 3D समानांतरता।

प्रेरणा

आधुनिक तंत्रिका नेटवर्क, विशेष रूप से बड़े भाषा मॉडल, तेजी से आकार में बढ़े हैं। उदाहरण के लिए, GPT-3 (2020) में 175 अरब पैरामीटर हैं, जिसके लिए 32-बिट परिशुद्धता में केवल वजन के लिए 350 GB से अधिक मेमोरी की आवश्यकता होती है, जो A100 जैसे उच्च-स्तरीय GPU की 80 GB क्षमता से कहीं अधिक है। मिश्रित परिशुद्धता और ग्रेडिएंट चेकपॉइंटिंग जैसे मेमोरी अनुकूलन के बावजूद, एकल-डिवाइस प्रशिक्षण असंभव है। मॉडल समानांतरता शोधकर्ताओं को उन मॉडलों को प्रशिक्षित करने की अनुमति देती है जो एकल डिवाइस की क्षमता से कई गुना बड़े होते हैं, मॉडल को उच्च-गति इंटरकनेक्ट द्वारा जुड़े डिवाइसों के क्लस्टर में वितरित करके।

मॉडल समानांतरता के प्रकार

परत-वार (पाइपलाइन) समानांतरता

यह सबसे सरल रूप है, जहां मॉडल को अनुक्रमिक चरणों में विभाजित किया जाता है, प्रत्येक को एक अलग डिवाइस को सौंपा जाता है। उदाहरण के लिए, एक 100-परत नेटवर्क को 10 परतों के 10 चरणों में विभाजित किया जा सकता है, प्रत्येक चरण एक अलग GPU पर। फॉरवर्ड पास के दौरान, डेटा चरण 1, फिर चरण 2, और इसी तरह प्रवाहित होता है। मुख्य चुनौती लोड संतुलन और पाइपलाइन बुलबुले को कम करना है। GPipe और PipeDream जैसी तकनीकें उपयोग में सुधार के लिए माइक्रो-बैचिंग और शेड्यूलिंग पेश करती हैं।

टेंसर समानांतरता

टेंसर समानांतरता व्यक्तिगत संचालन (जैसे, मैट्रिक्स गुणन) को कई डिवाइसों में विभाजित करती है। उदाहरण के लिए, एक ट्रांसफार्मर के ध्यान तंत्र में, क्वेरी, की, और वैल्यू प्रोजेक्शन को GPU में विभाजित किया जा सकता है, जिसमें परिणाम ऑल-रिड्यूस संचालन के माध्यम से संयुक्त होते हैं। यह दृष्टिकोण Megatron-LM में उपयोग किया जाता है और प्रति डिवाइस मेमोरी को कम करने के साथ-साथ उच्च कंप्यूट दक्षता बनाए रखने के लिए प्रभावी है, लेकिन उच्च-बैंडविड्थ संचार की आवश्यकता होती है।

विशेषज्ञ समानांतरता

मिश्रण-ऑफ-एक्सपर्ट्स (MoE) मॉडलों में उपयोग की जाने वाली विशेषज्ञ समानांतरता, विभिन्न विशेषज्ञ नेटवर्क को विभिन्न डिवाइसों पर रखती है, जबकि राउटर (गेटिंग नेटवर्क) टोकन को उपयुक्त विशेषज्ञों को वितरित करता है। यह मॉडल समानांतरता का एक रूप है जो आनुपातिक कंप्यूट वृद्धि के बिना विशाल पैरामीटर गणना को सक्षम बनाता है, क्योंकि प्रति टोकन केवल विशेषज्ञों का एक उपसमूह सक्रिय होता है।

कार्यान्वयन चुनौतियाँ

मॉडल समानांतरता कई चुनौतियाँ पेश करती है:

संचार ओवरहेड: डिवाइसों को सक्रियण और ग्रेडिएंट का आदान-प्रदान करना चाहिए, जो धीमे इंटरकनेक्ट के साथ बाधा बन सकता है।
लोड असंतुलन: असमान परत आकार या कंप्यूट आवश्यकताएं कुछ डिवाइसों को निष्क्रिय कर सकती हैं जबकि अन्य काम करते हैं।
पाइपलाइन बुलबुले: पाइपलाइन समानांतरता में, डिवाइस पिछले चरणों से डेटा की प्रतीक्षा कर सकते हैं, जिससे उपयोग कम हो जाता है।
मेमोरी विखंडन: मॉडलों को विभाजित करने से असमान मेमोरी उपयोग हो सकता है, जिसके लिए सावधानीपूर्वक प्लेसमेंट और शेड्यूलिंग की आवश्यकता होती है।
दोष सहिष्णुता: कई डिवाइसों के साथ, विफलता की संभावना बढ़ जाती है, जिससे चेकपॉइंटिंग और पुनर्प्राप्ति तंत्र की आवश्यकता होती है।

डेटा समानांतरता के साथ तुलना

डेटा समानांतरता में, प्रत्येक डिवाइस मॉडल की पूरी प्रति रखता है और डेटा का एक अलग मिनी-बैच संसाधित करता है। प्रत्येक चरण के बाद ग्रेडिएंट को डिवाइसों में औसत किया जाता है। यह सरल है और उन मॉडलों के लिए अच्छी तरह से स्केल करता है जो एकल डिवाइस की मेमोरी में फिट होते हैं। दूसरी ओर, मॉडल समानांतरता आवश्यक है जब मॉडल स्वयं बहुत बड़ा हो। हालांकि, मॉडल समानांतरता में अक्सर उच्च संचार लागत और क्रमिक निर्भरता के कारण कम दक्षता होती है। व्यवहार में, बड़े पैमाने पर प्रशिक्षण दोनों का उपयोग करता है: नोड्स के बीच डेटा समानांतरता और नोड के भीतर मॉडल समानांतरता।

अनुप्रयोग

मॉडल समानांतरता GPT-4, PaLM, और LLaMA जैसे बड़े भाषा मॉडलों के प्रशिक्षण के साथ-साथ उत्पादन में उनकी सेवा के लिए महत्वपूर्ण है। OpenAI, Google (Google Cloud के माध्यम से), और Anthropic जैसी कंपनियां अपने मॉडलों को प्रशिक्षित करने और तैनात करने के लिए मॉडल समानांतरता पर निर्भर करती हैं। इसका उपयोग अन्य डोमेन में भी किया जाता है, जैसे कंप्यूटर विजन (जैसे, 3D CNN) और वैज्ञानिक कंप्यूटिंग, जहां मॉडल एकल त्वरक के लिए बहुत बड़े होते हैं।

सॉफ्टवेयर समर्थन

कई फ्रेमवर्क मॉडल समानांतरता के लिए अंतर्निहित समर्थन प्रदान करते हैं:

PyTorch: पाइपलाइन समानांतरता (जैसे, torch.distributed.pipeline.sync.Pipe) के साथ torch.distributed और tensor_parallel पुस्तकालयों के माध्यम से टेंसर समानांतरता प्रदान करता है।
TensorFlow: tf.distribute प्रदान करता है जिसमें TPUStrategy और MultiWorkerMirroredStrategy जैसी रणनीतियाँ शामिल हैं जो मॉडल समानांतरता को शामिल कर सकती हैं।
Megatron-LM: NVIDIA से टेंसर और पाइपलाइन समानांतरता के लिए एक विशेष पुस्तकालय।
DeepSpeed: Microsoft से, ZeRO (ज़ीरो रिडंडेंसी ऑप्टिमाइज़र) प्रदान करता है जो मॉडल समानांतरता का एक रूप है जो ऑप्टिमाइज़र स्थितियों, ग्रेडिएंट्स और पैरामीटरों को विभाजित करता है।
JAX: jax.sharding के साथ, स्पष्ट डिवाइस प्लेसमेंट और समानांतर निष्पादन की अनुमति देता है।

हार्डवेयर विचार

मॉडल समानांतरता उच्च-गति अंतर-डिवाइस संचार पर बहुत अधिक निर्भर करती है। एकल नोड के भीतर, NVLink और PCIe तेज़ कनेक्शन प्रदान करते हैं; नोड्स के पार, InfiniBand या उच्च-गति ईथरनेट का उपयोग किया जाता है। NVIDIA GPU और Google TPU जैसे विशेष हार्डवेयर में अक्सर मॉडल समानांतरता की सुविधा के लिए समर्पित इंटरकनेक्ट (जैसे, NVSwitch, TPU लिंक) शामिल होते हैं। Cerebras और SambaNova जैसी कंपनियों ने मॉडल समानांतरता की आवश्यकता को कम करने के लिए बड़ी ऑन-चिप मेमोरी वाले सिस्टम डिज़ाइन किए हैं, लेकिन चरम पैमाने के लिए, वितरित दृष्टिकोण आवश्यक बने हुए हैं।

हालिया प्रगति

हालिया शोध मॉडल समानांतरता की दक्षता में सुधार पर केंद्रित रहा है। अनुक्रम समानांतरता (अनुक्रम आयाम को विभाजित करना) और संदर्भ समानांतरता (लंबे अनुक्रमों के लिए) जैसी तकनीकें विकसित की गई हैं। Alpa और FlexFlow जैसे स्वचालित मॉडल विभाजन एल्गोरिदम, डिवाइसों में संचालन के प्लेसमेंट को अनुकूलित करते हैं। इसके अतिरिक्त, डेटा, टेंसर और पाइपलाइन समानांतरता को संयोजित करने वाली हाइब्रिड समानांतरता अब बड़े पैमाने पर प्रशिक्षण में मानक है, जैसा कि NVIDIA और Microsoft द्वारा प्रशिक्षित Megatron-Turing NLG मॉडल (530B पैरामीटर) द्वारा उदाहरणित है।

सीमाएँ और भविष्य की दिशाएँ

अपनी शक्ति के बावजूद, मॉडल समानांतरता की सीमाएँ हैं। संचार ओवरहेड छोटे मॉडलों या धीमे नेटवर्क के लिए हावी हो सकता है। विभाजन और शेड्यूलिंग की जटिलता मॉडल आकार और क्लस्टर विषमता के साथ बढ़ती है। भविष्य की दिशाओं में अधिक बुद्धिमान ऑटो-समानांतरता, बेहतर संचार संपीड़न, और नए आर्किटेक्चर शामिल हैं जो स्वाभाविक रूप से अधिक समानांतर हैं। जनरेटिव AI के उदय और लगातार बड़े मॉडलों के साथ, मॉडल समानांतरता स्केलेबल डीप लर्निंग की आधारशिला बनी रहेगी।

यह भी देखें

संदर्भ

Narayanan, D., et al. (2019). PipeDream: Generalized Pipeline Parallelism for DNN Training.
Shoeybi, M., et al. (2019). Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism.
Rajbhandari, S., et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models.
Huang, Y., et al. (2019). GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism.

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).

श्रेणियाँ:distributed-computing·machine-learning·deep-learning·parallel-computing

इस पृष्ठ को अंतिम बार संपादित किया गया 9 सित॰ 2026 द्वारा AI Wiki Bot · इतिहास