एक राउटर नेटवर्क, जिसे गेटिंग फंक्शन या वेटिंग फंक्शन के रूप में भी जाना जाता है, मिश्रण-ऑफ-एक्सपर्ट्स (MoE) मशीन लर्निंग मॉडल में एक घटक है। यह एक इनपुट लेता है और वेट्स का एक सेट उत्पन्न करता है जो यह निर्धारित करता है कि प्रत्येक एक्सपर्ट नेटवर्क आउटपुट में कितना योगदान देता है। आधुनिक बड़े भाषा मॉडल में, राउटर नेटवर्क का उपयोग अक्सर प्रत्येक इनपुट टोकन के लिए केवल एक छोटे उपसमूह का चयन करने के लिए किया जाता है, एक तकनीक जिसे स्पार्स एक्टिवेशन कहा जाता है, जो मॉडल क्षमता को बनाए रखते हुए कम्प्यूटेशनल लागत को कम करती है।
MoE में रूटिंग की अवधारणा कमेटी मशीनों और स्थानीय एक्सपर्ट्स के अनुकूली मिश्रणों पर प्रारंभिक कार्य से जुड़ी है। एक विशिष्ट MoE आर्किटेक्चर में, कई एक्सपर्ट नेटवर्क होते हैं, प्रत्येक संभावित रूप से इनपुट स्पेस के विभिन्न क्षेत्रों में विशेषज्ञता रखता है, और एक राउटर नेटवर्क जो इनपुट को उपयुक्त एक्सपर्ट्स को असाइन करना सीखता है। राउटर का आउटपुट एक्सपर्ट्स पर एक संभाव्यता वितरण हो सकता है, या गैर-नकारात्मक वेट्स का एक सेट जो भारित योग के माध्यम से एक्सपर्ट आउटपुट के साथ संयुक्त होता है।
मूल आर्किटेक्चर
एक मानक MoE सेटअप में, राउटर नेटवर्क एक फ़ंक्शन \( w(x) \) है जो इनपुट \( x \) को वेट्स के एक वेक्टर \( (w(x)_1, ..., w(x)_n) \) में मैप करता है, जहाँ \( n \) एक्सपर्ट्स की संख्या है। अंतिम आउटपुट \( f(x) = \sum_{i=1}^n w(x)_i f_i(x) \) के रूप में गणना की जाती है, जहाँ \( f_i \) \( i \)-वां एक्सपर्ट है। राउटर और एक्सपर्ट्स दोनों को संयुक्त रूप से प्रशिक्षित किया जाता है, आमतौर पर माध्य वर्ग त्रुटि या क्रॉस-एन्ट्रॉपी जैसे हानि फ़ंक्शन पर ग्रेडिएंट डिसेंट के माध्यम से।
राउटर नेटवर्क स्वयं अक्सर एक छोटा तंत्रिका नेटवर्क होता है, जैसे कि एक रैखिक परत जिसके बाद सॉफ्टमैक्स एक्टिवेशन होता है। स्पार्स MoE मॉडल में, राउटर शीर्ष-के चयन तंत्र का उपयोग कर सकता है, जहाँ केवल उच्चतम वेट्स वाले एक्सपर्ट्स सक्रिय होते हैं, और बाकी को अनदेखा किया जाता है। यह स्पार्सिटी कम्प्यूटेशनल लागत को कम करने के लिए महत्वपूर्ण है, क्योंकि यह मॉडल को प्रत्येक इनपुट के लिए अपने कुल पैरामीटरों का केवल एक अंश उपयोग करने की अनुमति देता है।
ऐतिहासिक विकास
कई एक्सपर्ट्स को संयोजित करने के लिए गेटिंग नेटवर्क का उपयोग करने का विचार 1990 के दशक में खोजा गया था। एक प्रारंभिक उदाहरण मेटा-पाई नेटवर्क है, जिसे हैम्पशायर और वाइबेल द्वारा रिपोर्ट किया गया था, जिसने एक्सपर्ट आउटपुट के भारित योग का उपयोग किया और फोनेम वर्गीकरण कार्य पर प्रशिक्षित किया गया था। उनके प्रयोगों में, उन्होंने छह एक्सपर्ट्स को प्रशिक्षित किया, प्रत्येक एक समय-विलंबित तंत्रिका नेटवर्क, छह जापानी वक्ताओं से भाषण को वर्गीकृत करने के लिए। उन्होंने देखा कि राउटर नेटवर्क ने पांच एक्सपर्ट्स को पांच व्यक्तिगत वक्ताओं को समर्पित करना सीखा, जबकि छठे वक्ता की आवाज़ को अन्य पुरुष वक्ताओं के लिए एक्सपर्ट्स के संयोजन द्वारा संभाला गया।
एक और प्रभावशाली प्रारंभिक मॉडल स्थानीय एक्सपर्ट्स का अनुकूली मिश्रण था, जिसने गाऊसी मिश्रण मॉडल का उपयोग किया। इस दृष्टिकोण में, प्रत्येक एक्सपर्ट ने निश्चित सहप्रसरण के साथ एक गाऊसी वितरण की भविष्यवाणी की, और राउटर एक रैखिक-सॉफ्टमैक्स फ़ंक्शन था जो इनपुट के आधार पर वेट्स असाइन करता था। इस मॉडल ने प्रदर्शित किया कि रूटिंग का उपयोग इनपुट स्पेस को सजातीय क्षेत्रों में विभाजित करने के लिए किया जा सकता है, प्रत्येक एक्सपर्ट एक स्थानीय क्षेत्र में विशेषज्ञता रखता है।
आधुनिक बड़े भाषा मॉडल में भूमिका
2020 के दशक में, राउटर नेटवर्क बड़े भाषा मॉडल (LLM) में एक केंद्रीय घटक बन गए जो MoE परतों का उपयोग करते हैं। Google DeepMind और OpenAI जैसी कंपनियों द्वारा विकसित मॉडलों ने अनुपातिक रूप से अनुमान लागत बढ़ाए बिना पैरामीटर गणना को बढ़ाने के लिए स्पार्स MoE आर्किटेक्चर अपनाए हैं। इन मॉडलों में, प्रत्येक ट्रांसफॉर्मर परत में कई एक्सपर्ट्स हो सकते हैं, और एक राउटर नेटवर्क प्रति टोकन कुछ एक्सपर्ट्स का चयन करता है।
उदाहरण के लिए, एक ट्रांसफॉर्मर-आधारित LLM में, इनपुट टोकन एम्बेडिंग को एक राउटर नेटवर्क के माध्यम से पारित किया जाता है जो एक्सपर्ट्स पर एक संभाव्यता वितरण की गणना करता है। राउटर फिर शीर्ष-के एक्सपर्ट्स (जैसे, k=2 या k=4) का चयन करता है और उन एक्सपर्ट्स के आउटपुट के भारित योग के रूप में आउटपुट की गणना करता है। यह मॉडल को अरबों पैरामीटर रखने की अनुमति देता है जबकि प्रत्येक टोकन के लिए केवल एक छोटा उपसमूह सक्रिय करता है, जिससे प्रशिक्षण और अनुमान अधिक कुशल हो जाता है।
स्पार्स एक्टिवेशन और लोड संतुलन
स्पार्स एक्टिवेशन MoE मॉडल में राउटर नेटवर्क का एक प्रमुख लाभ है। प्रति इनपुट केवल कुछ एक्सपर्ट्स को सक्रिय करके, मॉडल में बड़ी कुल पैरामीटर गणना हो सकती है लेकिन बहुत छोटी प्रभावी कम्प्यूटेशनल लागत होती है। हालांकि, यह लोड संतुलन में चुनौतियां पेश करता है: यदि राउटर लगातार उन्हीं कुछ एक्सपर्ट्स का चयन करता है, तो वे एक्सपर्ट्स अतिभारित हो जाते हैं जबकि अन्य कम उपयोग किए जाते हैं। इसे संबोधित करने के लिए, आधुनिक MoE मॉडल अक्सर सहायक हानि फ़ंक्शन शामिल करते हैं जो राउटर को एक्सपर्ट्स में टोकन को अधिक समान रूप से वितरित करने के लिए प्रोत्साहित करते हैं।
राउटर प्रदर्शन में सुधार के लिए विभिन्न तकनीकों का प्रस्ताव किया गया है, जैसे अन्वेषण को बढ़ावा देने के लिए प्रशिक्षण के दौरान राउटर के लॉगिट्स में शोर जोड़ना, या विभेदनशील शीर्ष-के चयन का उपयोग करना। कुछ मॉडल पदानुक्रमित रूटिंग योजना का भी उपयोग करते हैं, जहाँ एक पहले-स्तरीय राउटर एक्सपर्ट्स के एक समूह का चयन करता है, और एक दूसरे-स्तरीय राउटर उस समूह के भीतर चयन करता है।
अन्य तकनीकों से संबंध
राउटर नेटवर्क मशीन लर्निंग में अन्य अवधारणाओं से निकटता से संबंधित हैं, जैसे मल्टी-हेड अटेंशन और क्रॉस-अटेंशन, जिसमें इनपुट के आधार पर विभिन्न घटकों को भारित करना भी शामिल है। हालांकि, जबकि अटेंशन तंत्र इनपुट अनुक्रम के विभिन्न हिस्सों को भारित करते हैं, एक राउटर नेटवर्क विभिन्न एक्सपर्ट नेटवर्क को भारित करता है, जो आमतौर पर स्वतंत्र फ़ंक्शन अनुमानक होते हैं।
राउटर नेटवर्क मॉडल प्रूनिंग के साथ भी समानताएं साझा करते हैं क्योंकि दोनों का उद्देश्य कम्प्यूटेशनल लागत को कम करना है, लेकिन प्रूनिंग पैरामीटरों को स्थायी रूप से हटा देता है, जबकि रूटिंग गतिशील रूप से चयन करती है कि प्रत्येक इनपुट के लिए कौन से पैरामीटर उपयोग किए जाएं। इसके अतिरिक्त, राउटर नेटवर्क को एन्सेम्बल लर्निंग का एक रूप माना जा सकता है, क्योंकि वे कई मॉडलों के आउटपुट को संयोजित करते हैं, लेकिन पारंपरिक एन्सेम्बल के विपरीत, एक्सपर्ट्स को राउटर के साथ संयुक्त रूप से प्रशिक्षित किया जाता है।
कार्यान्वयन और प्रशिक्षण
व्यवहार में, राउटर नेटवर्क को एक रैखिक परत के रूप में लागू किया जाता है जो इनपुट प्रतिनिधित्व लेता है और प्रत्येक एक्सपर्ट के लिए लॉगिट्स आउटपुट करता है। लॉगिट्स को फिर वेट्स उत्पन्न करने के लिए सॉफ्टमैक्स फ़ंक्शन के माध्यम से पारित किया जाता है। प्रशिक्षण के दौरान, राउटर और एक्सपर्ट्स को बैकप्रोपेगेशन का उपयोग करके संयुक्त रूप से अद्यतन किया जाता है। हानि फ़ंक्शन में आमतौर पर कार्य हानि (जैसे, भाषा मॉडलिंग के लिए क्रॉस-एन्ट्रॉपी) और एक सहायक लोड-संतुलन हानि दोनों शामिल होते हैं।
राउटर नेटवर्क को प्रशिक्षित करने में एक चुनौती यह है कि एक्सपर्ट्स का असतत चयन (जैसे, शीर्ष-के) गैर-विभेदनशील है। इसे दूर करने के लिए, कई कार्यान्वयन प्रशिक्षण के दौरान सीधे सॉफ्टमैक्स वेट्स का उपयोग करते हैं, या शीर्ष-के चयन के लिए एक सीधा-थ्रू अनुमानक का उपयोग करते हैं। कुछ मॉडल प्रत्येक परत के लिए एक अलग राउटर नेटवर्क का भी उपयोग करते हैं, जिससे विभिन्न परतों को विभिन्न प्रकार के रूटिंग निर्णयों में विशेषज्ञता प्राप्त होती है।
भाषा मॉडल से परे अनुप्रयोग
जबकि राउटर नेटवर्क LLM में सबसे प्रमुख हैं, वे अन्य डोमेन में भी उपयोग किए जाते हैं। उदाहरण के लिए, कंप्यूटर विज़न में, राउटर के साथ MoE परतें छवि वर्गीकरण और उत्पादन कार्यों पर लागू की गई हैं। भाषण पहचान में, प्रारंभिक MoE मॉडल ने ध्वनिक स्थान को विभाजित करने के लिए राउटर का उपयोग किया। राउटर नेटवर्क सुदृढीकरण सीखने में भी उपयोग किए जाते हैं, जहाँ विभिन्न एक्सपर्ट्स विभिन्न नीतियों का प्रतिनिधित्व कर सकते हैं, और राउटर राज्य के आधार पर उपयुक्त नीति का चयन करता है।
कृत्रिम बुद्धिमत्ता अनुसंधान के संदर्भ में, राउटर नेटवर्क अध्ययन का एक सक्रिय क्षेत्र हैं, जिसमें रूटिंग दक्षता, व्याख्यात्मकता और स्केलेबिलिटी में सुधार पर चल रहे काम हैं। स्टैनफोर्ड एआई लैब और बर्कले एआई रिसर्च जैसे संस्थानों के शोधकर्ताओं ने बड़े पैमाने के मॉडल में राउटर के व्यवहार को समझने में योगदान दिया है।
चुनौतियां और भविष्य की दिशाएं
उनकी सफलता के बावजूद, राउटर नेटवर्क कई चुनौतियों का सामना करते हैं। एक मुद्दा यह है कि राउटर एक बाधा बन सकता है, क्योंकि इसे हर इनपुट को संसाधित करना और जल्दी से रूटिंग निर्णय लेना होता है। एक और चुनौती यह है कि राउटर इनपुट को उन तरीकों से रूट करना सीख सकता है जो समग्र कार्य के लिए इष्टतम नहीं हैं, जिससे प्रदर्शन में गिरावट आती है। इसके अतिरिक्त, सहायक लोड-संतुलन हानि मुख्य कार्य हानि के साथ हस्तक्षेप कर सकती है, जिसके लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है।
भविष्य के शोध अधिक परिष्कृत रूटिंग तंत्रों का पता लगा सकते हैं, जैसे सीखी गई रूटिंग नीतियां जो इनपुट की सामग्री को अधिक सूक्ष्म तरीके से मानती हैं, या पदानुक्रमित रूटिंग जो प्रत्येक स्तर पर विचार किए गए एक्सपर्ट्स की संख्या को कम करती है। राउटर को अधिक व्याख्यात्मक बनाने में भी रुचि है, ताकि यह समझना संभव हो सके कि एक विशेष इनपुट को एक निश्चित एक्सपर्ट को क्यों रूट किया जाता है।
संक्षेप में, राउटर नेटवर्क MoE मॉडल में एक मौलिक घटक है, जो कुशल स्केलिंग और विशेषज्ञता को सक्षम बनाता है। प्रारंभिक गेटिंग फ़ंक्शन से आधुनिक स्पार्स राउटर तक LLM में इसका विकास कई दशकों में मशीन लर्निंग तकनीकों के विकास को दर्शाता है।