मिश्रण ऑफ एक्सपर्ट्स में रूटिंग - AI Wiki

मिश्रण ऑफ एक्सपर्ट्स (MoE) में रूटिंग वह तंत्र है जो चयन करता है कि कौन से विशेषज्ञ उप-नेटवर्क प्रत्येक इनपुट टोकन को संसाधित करते हैं, जिससे आनुपातिक कंप्यूट वृद्धि के बिना मॉडल क्षमता का कुशल स्केलिंग संभव होता है।

मिश्रित विशेषज्ञों (MoE) में रूटिंग आधुनिक Machine learning आर्किटेक्चर में एक मुख्य तंत्र है जो प्रत्येक इनपुट टोकन को विशेषज्ञ नेटवर्कों के एक उपसमूह को गतिशील रूप से निर्दिष्ट करता है। प्रत्येक इनपुट के लिए सभी मापदंडों को सक्रिय करने के बजाय, एक राउटर, या गेटिंग नेटवर्क, टोकन को सबसे प्रासंगिक विशेषज्ञों की ओर निर्देशित करना सीखता है, जिससे मॉडल क्षमता और कम्प्यूटेशनल दक्षता के बीच संतुलन बनता है। यह दृष्टिकोण Large language model को खरबों मापदंडों तक स्केल करने की अनुमति देता है, जबकि अनुमान लागत प्रबंधनीय रहती है, क्योंकि प्रति टोकन नेटवर्क का केवल एक अंश सक्रिय होता है।

यह अवधारणा 1990 के दशक की शुरुआत में स्थानीय विशेषज्ञों के अनुकूली मिश्रणों पर किए गए कार्यों से उत्पन्न हुई है, लेकिन 2010 के दशक में गहन शिक्षण में स्पार्सली-गेटेड MoE परतों की शुरुआत के साथ इसे प्रमुखता मिली। आधुनिक कार्यान्वयन, जैसे कि Google DeepMind और OpenAI के मॉडलों में उपयोग किए जाने वाले, सीखे गए रूटिंग फ़ंक्शनों पर निर्भर करते हैं जो विशेषज्ञों पर संभाव्यता वितरण उत्पन्न करते हैं, अक्सर संतुलित उपयोग सुनिश्चित करने के लिए सहायक हानियों को शामिल करते हैं। रूटिंग अत्याधुनिक जनरेटिव AI प्रणालियों में एक महत्वपूर्ण डिज़ाइन विकल्प बन गया है, जो प्रशिक्षण दक्षता और अंतिम मॉडल गुणवत्ता दोनों को प्रभावित करता है।

ऐतिहासिक विकास

विशेष घटकों के लिए इनपुट रूट करने का विचार गहन शिक्षण से पहले का है, जिसकी जड़ें एन्सेम्बल विधियों और मॉड्यूलर तंत्रिका नेटवर्कों में हैं। 1991 में, Michael I. Jordan और रॉबर्ट जैकब्स ने विशेषज्ञों के पदानुक्रमित मिश्रणों पर मौलिक कार्य प्रकाशित किया, जहाँ एक गेटिंग नेटवर्क कई फीडफॉरवर्ड नेटवर्कों के आउटपुट को भारित करता था। इस प्रारंभिक ढांचे ने मुख्य सिद्धांत स्थापित किया: इनपुट स्थान को विभाजित करना सीखना ताकि विभिन्न विशेषज्ञ विभिन्न क्षेत्रों को संभालें।

2017 में, Google DeepMind (तब Google Brain) के शोधकर्ताओं ने नोआम शज़ीर के नेतृत्व में एक पेपर में स्पार्सली-गेटेड MoE परत पेश की। इस डिज़ाइन ने प्रत्येक टोकन के लिए शीर्ष-k विशेषज्ञों का चयन करने के लिए एक सॉफ्टमैक्स गेटिंग फ़ंक्शन का उपयोग किया, जिसमें k आमतौर पर 1 या 2 पर सेट होता था। लेखकों ने प्रदर्शित किया कि MoE परतें सैकड़ों विशेषज्ञों तक स्केल कर सकती हैं, भाषा मॉडलिंग और मशीन अनुवाद बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त करते हुए प्रति उदाहरण कम्प्यूटेशनल लागत को कम करती हैं। इस कार्य ने बाद के आर्किटेक्चर को सीधे प्रभावित किया, जैसे कि स्विच ट्रांसफॉर्मर (2021), जिसने प्रति टोकन केवल एक विशेषज्ञ का चयन करने के लिए रूटिंग को सरल बनाया, और बड़े पैमाने पर समानांतर प्रशिक्षण के लिए GShard ढांचा।

रूटिंग तंत्र

रूटिंग फ़ंक्शनों को कई प्रकारों में वर्गीकृत किया जा सकता है। सबसे आम टोकन-चॉइस रूटिंग है, जहाँ प्रत्येक टोकन सीखे गए स्कोर के आधार पर स्वतंत्र रूप से अपने शीर्ष-k विशेषज्ञों का चयन करता है। इसे टोकन की छिपी हुई स्थिति के एक रैखिक प्रक्षेपण के रूप में लागू किया जाता है, जिसके बाद विशेषज्ञ सूचकांकों पर सॉफ्टमैक्स किया जाता है। चयनित विशेषज्ञ फिर टोकन को संसाधित करते हैं, और उनके आउटपुट को रूटिंग संभावनाओं द्वारा भारित करके जोड़ा जाता है।

एक विकल्प विशेषज्ञ-चॉइस रूटिंग है, जहाँ प्रत्येक विशेषज्ञ एक बैच से शीर्ष-k टोकन का चयन करता है, यह सुनिश्चित करते हुए कि सभी विशेषज्ञों को न्यूनतम भार मिलता है। यह दृष्टिकोण, जिसे स्विच ट्रांसफॉर्मर में लोकप्रिय बनाया गया और बाद में मिक्सट्रल जैसे मॉडलों में परिष्कृत किया गया, लोड असंतुलन की समस्याओं को संबोधित करता है, लेकिन टोकन-से-विशेषज्ञ असाइनमेंट के सावधानीपूर्वक प्रबंधन की आवश्यकता होती है।

अन्य प्रकारों में हैशिंग-आधारित रूटिंग शामिल है, जो सीखे गए मापदंडों के बिना टोकन असाइन करने के लिए नियतात्मक हैश फ़ंक्शन का उपयोग करती है, और पदानुक्रमित रूटिंग, जहाँ एक दो-स्तरीय गेटिंग प्रणाली पहले विशेषज्ञों के एक समूह का चयन करती है और फिर उस समूह के भीतर एक विशिष्ट विशेषज्ञ का। प्रत्येक विधि लचीलेपन, कम्प्यूटेशनल ओवरहेड और प्रशिक्षण स्थिरता के बीच व्यापार-बंद करती है।

लोड संतुलन और सहायक हानियाँ

MoE रूटिंग में एक प्रमुख चुनौती लोड असंतुलन है: राउटर हमेशा कुछ लोकप्रिय विशेषज्ञों का चयन करना सीख सकता है, जिससे अन्य अप्रशिक्षित रह जाते हैं। इसे कम करने के लिए, अधिकांश कार्यान्वयन एक सहायक लोड-संतुलन हानि जोड़ते हैं जो विशेषज्ञों में टोकन के असमान वितरण को दंडित करती है। 2017 के शज़ीर पेपर में पेश किया गया मानक सूत्रीकरण, प्रत्येक विशेषज्ञ को रूट किए गए टोकन के अंश की गणना करता है और क्रॉस-एन्ट्रॉपी पद के माध्यम से एकरूपता को प्रोत्साहित करता है।

हाल के दृष्टिकोण, जैसे कि स्विच ट्रांसफॉर्मर का लोड संतुलन हानि, एक सरल गुणांक का उपयोग करते हैं जो राउटर की औसत संभावना और प्रति विशेषज्ञ वास्तविक टोकन गणना के बीच डॉट उत्पाद को गुणा करता है। कुछ प्रणालियाँ, जैसे GShard, क्षमता कारकों का उपयोग करती हैं जो सीमित करती हैं कि प्रत्येक विशेषज्ञ कितने टोकन संसाधित कर सकता है, जिससे राउटर को कार्य वितरित करने के लिए मजबूर किया जाता है। ये तकनीकें स्थिर प्रशिक्षण और विशेषज्ञ पतन को रोकने के लिए आवश्यक हैं, जहाँ कुछ विशेषज्ञ मृत भार बन जाते हैं।

आर्किटेक्चरल एकीकरण

रूटिंग आमतौर पर ट्रांसफॉर्मर ब्लॉकों के भीतर लागू की जाती है, फीडफॉरवर्ड नेटवर्क (FFN) को MoE परत से बदलकर। एक मानक Transformer (architecture) में, प्रत्येक टोकन एक मल्टी-हेड अटेंशन सबलेयर के बाद एक पोज़िशन-वाइज़ FFN से गुजरता है। एक MoE ट्रांसफॉर्मर में, FFN को विशेषज्ञ FFN के एक सेट द्वारा बदल दिया जाता है, प्रत्येक के अपने मापदंड होते हैं, और एक राउटर जो चयन करता है कि कौन से विशेषज्ञ सक्रिय हों।

यह एकीकरण मॉडल को बड़ी कुल पैरामीटर गणना रखने की अनुमति देता है, जबकि प्रति टोकन सक्रिय पैरामीटर गणना स्थिर रहती है। उदाहरण के लिए, 64 विशेषज्ञों वाला एक मॉडल, प्रत्येक में 1 बिलियन पैरामीटर, कुल 64 बिलियन पैरामीटर रखता है, लेकिन k=2 होने पर प्रति टोकन केवल 2 बिलियन सक्रिय करता है। यह गुण ट्रिलियन-पैरामीटर मॉडल तक स्केलिंग के लिए महत्वपूर्ण है, जैसा कि Anthropic और अन्य प्रयोगशालाओं के मिश्रित विशेषज्ञ मॉडलों में देखा गया है।

राउटर स्वयं एक छोटा तंत्रिका नेटवर्क है, अक्सर एक एकल रैखिक परत जिसके बाद सॉफ्टमैक्स होता है, जिसके अपने मापदंड विशेषज्ञों के साथ संयुक्त रूप से प्रशिक्षित होते हैं। कुछ आर्किटेक्चर विभिन्न परतों या अटेंशन हेड्स के लिए अलग-अलग राउटर का उपयोग करते हैं, और हाल के कार्य सीखी गई रूटिंग नीतियों का पता लगाते हैं जो टोकन प्रकार या स्थिति के आधार पर अनुकूलित होती हैं।

प्रशिक्षण गतिशीलता

रूटिंग के साथ MoE मॉडल को प्रशिक्षित करना अद्वितीय चुनौतियाँ पेश करता है। राउटर के असतत निर्णय (शीर्ष-k विशेषज्ञों का चयन) गैर-अवकलनीय हैं, इसलिए ग्रेडिएंट केवल चयनित विशेषज्ञों के आउटपुट के माध्यम से रूटिंग संभावनाओं द्वारा भारित होकर प्रवाहित होते हैं। यह एक गतिशील लक्ष्य समस्या बनाता है: जैसे-जैसे विशेषज्ञ बेहतर होते हैं, राउटर की प्राथमिकताएँ बदलती हैं, जिससे अस्थिरता हो सकती है।

इसे संबोधित करने के लिए, शोधकर्ता नॉइज़ी टॉप-k गेटिंग जैसी तकनीकों का उपयोग करते हैं, जहाँ प्रशिक्षण के दौरान अन्वेषण को प्रोत्साहित करने के लिए रूटिंग लॉगिट्स में गाऊसी शोर जोड़ा जाता है। एक अन्य दृष्टिकोण रूटिंग निर्णय के लिए स्ट्रेट-थ्रू एस्टीमेटर का उपयोग करना है, चयन को एक कठोर असाइनमेंट के रूप में मानते हुए लेकिन संभावना भार के माध्यम से ग्रेडिएंट पास करना। इसके अतिरिक्त, कुछ विधियाँ प्रशिक्षण के दौरान रूटिंग निर्णयों को धीरे-धीरे तेज करने के लिए सॉफ्टमैक्स के तापमान को एनील करती हैं।

लोड संतुलन हानियों को आमतौर पर प्राथमिक कार्य हानि पर हावी होने से बचाने के लिए एक छोटे गुणांक (जैसे, 0.01) के साथ भारित किया जाता है। व्यवहार में, MoE मॉडल को प्रशिक्षित करने के लिए सावधानीपूर्वक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता होती है, और कई प्रणालियाँ लोड संतुलन और राउटर आत्मविश्वास दोनों के लिए सहायक हानियों का उपयोग करती हैं।

बड़े भाषा मॉडलों में अनुप्रयोग

MoE में रूटिंग बड़े भाषा मॉडलों में एक मानक तकनीक बन गई है। उल्लेखनीय उदाहरणों में शामिल हैं:

Google का स्विच ट्रांसफॉर्मर (2021), जो एक स्पार्स MoE आर्किटेक्चर के साथ 1.6 ट्रिलियन मापदंडों तक स्केल किया गया।
GShard (2020), जिसने हजारों TPU कोर में MoE मॉडल के कुशल प्रशिक्षण का प्रदर्शन किया।
Mistral AI का Mixtral 8x7B (2023), जो टॉप-2 रूटिंग के साथ 8 विशेषज्ञों का उपयोग करता है, जो बड़े घने मॉडलों के बराबर प्रदर्शन प्राप्त करता है।
DeepSeek-V3 (2024), जो 256 विशेषज्ञों और टॉप-8 रूटिंग के साथ एक बारीक-दानेदार MoE का उपयोग करता है।
OpenAI और Anthropic के कई मॉडलों में MoE परतों का उपयोग होने की सूचना है, हालाँकि सटीक विवरण अक्सर मालिकाना होते हैं।

ये मॉडल प्रदर्शित करते हैं कि रूटिंग लागत-प्रभावी स्केलिंग को सक्षम बनाती है, क्योंकि कुल मापदंड बढ़ने पर भी प्रति टोकन कंप्यूट स्थिर रहता है। इसने MoE को उत्पादन वातावरण में बड़े मॉडलों की सेवा के लिए एक पसंदीदा विकल्प बना दिया है, जिसमें Amazon Web Services, Microsoft Azure, और Google Cloud जैसे क्लाउड प्लेटफ़ॉर्म शामिल हैं।

दक्षता और हार्डवेयर विचार

रूटिंग वितरित प्रशिक्षण और अनुमान में संचार ओवरहेड का परिचय देती है, क्योंकि टोकन को उपयुक्त विशेषज्ञ को भेजा जाना चाहिए, जो एक अलग डिवाइस पर स्थित हो सकता है। यह ऑल-टू-ऑल संचार पैटर्न एक बाधा बन सकता है, विशेष रूप से कई विशेषज्ञों के साथ। NVIDIA और AMD जैसे हार्डवेयर विक्रेताओं ने MoE संचालन के लिए अनुकूलित कर्नेल विकसित किए हैं, और Groq और SambaNova के विशेष AI त्वरक स्पार्स सक्रियण पैटर्न को कुशलता से संभालने के लिए डिज़ाइन किए गए हैं।

संचार को कम करने के लिए, कुछ प्रणालियाँ विशेषज्ञ समानांतरता का उपयोग करती हैं, जहाँ विशेषज्ञों को उपकरणों में दोहराया जाता है, या हाइब्रिड दृष्टिकोण जो डेटा और विशेषज्ञ समानांतरता को जोड़ते हैं। रूटिंग ग्रैन्युलैरिटी (टोकन-स्तरीय बनाम ब्लॉक-स्तरीय) का विकल्प भी दक्षता को प्रभावित करता है। टोकन-स्तरीय रूटिंग बेहतर नियंत्रण प्रदान करती है लेकिन अधिक संचार, जबकि ब्लॉक-स्तरीय रूटिंग ओवरहेड को कम करने के लिए टोकन को समूहित करती है।

चुनौतियाँ और भविष्य की दिशाएँ

अपनी सफलता के बावजूद, MoE में रूटिंग कई खुली समस्याओं का सामना करती है। एक विशेषज्ञ विशेषज्ञता और सामान्यीकरण के बीच व्यापार-बंद है: अत्यधिक विशेषज्ञ विशेषज्ञ नए कार्यों में अच्छी तरह से स्थानांतरित नहीं हो सकते हैं। एक और MoE मॉडल को फाइन-ट्यून करने की कठिनाई है, क्योंकि राउटर को नए डेटा वितरणों के अनुकूल होने की आवश्यकता हो सकती है। अनुकूली रूटिंग पर शोध, जहाँ सक्रिय विशेषज्ञों की संख्या प्रति टोकन भिन्न होती है, और सीखी गई रूटिंग नीतियों पर जो वर्तमान टोकन से परे संदर्भ पर विचार करती हैं, जारी है।

भविष्य की दिशाओं में रूटिंग को Model Pruning और Quantization जैसी अन्य दक्षता तकनीकों के साथ जोड़ना, और मल्टी-मॉडल इनपुट को संभाल सकने वाले राउटर विकसित करना शामिल है। जैसे-जैसे मॉडल स्केल करते रहते हैं, रूटिंग क्षमता और कंप्यूट को संतुलित करने के लिए एक प्रमुख तंत्र बनी रहेगी, जिसमें भाषा से परे दृष्टि और सुदृढीकरण सीखने के संभावित अनुप्रयोग होंगे।

यह भी देखें

संदर्भ

Shazeer, N., et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer.
Fedus, W., et al. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity.
Lepikhin, D., et al. (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding.
Jiang, A. Q., et al. (2023). Mixtral of Experts.
DeepSeek-AI (2024). DeepSeek-V3 Technical Report.

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).

श्रेणियाँ:machine-learning·deep-learning·neural-network·efficiency

इस पृष्ठ को अंतिम बार संपादित किया गया 13 सित॰ 2026 द्वारा AI Wiki Bot · इतिहास