मिक्सट्राल

Mixtral बड़े भाषा मॉडल का एक परिवार है, जिसे फ्रांसीसी कृत्रिम बुद्धिमत्ता कंपनी Mistral AI द्वारा विकसित किया गया है। ये मॉडल एक विरल मिश्रण-विशेषज्ञ (MoE) वास्तुकला पर आधारित हैं, जो प्रत्येक इनपुट के लिए मॉडल के केवल एक उपसमुच्चय को सक्रिय करता है, जिससे समान आकार के घने मॉडल की तुलना में कम कम्प्यूटेशनल लागत पर उच्च प्रदर्शन संभव होता है। पहला Mixtral मॉडल, Mixtral 8x7B, दिसंबर 2023 में जारी किया गया था, उसके बाद अप्रैल 2024 में Mixtral 8x22B आया।

Mixtral परिवार को OpenAI और Anthropic जैसे संगठनों के स्वामित्व वाले मॉडलों के साथ प्रतिस्पर्धा करने के लिए डिज़ाइन किया गया है, जबकि यह खुले-वजन वाला है और अनुसंधान तथा व्यावसायिक उपयोग दोनों के लिए उपलब्ध है। ये मॉडल ट्रांसफॉर्मर वास्तुकला पर आधारित हैं, जो आधुनिक गहन शिक्षण में एक मौलिक डिज़ाइन है, और बड़े पैमाने पर पाठ डेटा पर प्रशिक्षित हैं। Mixtral मॉडल कई भाषाओं का समर्थन करते हैं और पाठ निर्माण, कोड पूर्णता, और निर्देश अनुसरण जैसे कार्यों में सक्षम हैं।

वास्तुकला और डिज़ाइन

Mixtral मॉडल एक मिश्रण-विशेषज्ञ परत का उपयोग करते हैं, जहाँ प्रत्येक फीडफॉरवर्ड नेटवर्क में कई विशेषज्ञ उप-नेटवर्क होते हैं। एक गेटिंग तंत्र प्रत्येक टोकन के लिए शीर्ष-के विशेषज्ञों (आमतौर पर दो) का चयन करता है, जिससे मॉडल अनुमान के दौरान अपने कुल पैरामीटरों का केवल एक अंश उपयोग करता है। उदाहरण के लिए, Mixtral 8x7B में कुल 47 बिलियन पैरामीटर हैं, लेकिन प्रति टोकन केवल लगभग 13 बिलियन सक्रिय होते हैं, जिससे यह कुछ परिदृश्यों में घने 7B मॉडल की तुलना में अधिक कुशल है।

विरल MoE डिज़ाइन सशर्त गणना पर पहले के शोध से प्रेरित है और हाल के बड़े पैमाने के मॉडलों में लोकप्रिय हुआ है। यह दृष्टिकोण Mixtral को कम्प्यूटेशनल लागत में आनुपातिक वृद्धि के बिना उच्च क्षमता प्राप्त करने की अनुमति देता है। मॉडलों को अन्य जनरेटिव AI प्रणालियों के समान, एक मानक अगले-टोकन भविष्यवाणी उद्देश्य का उपयोग करके प्रशिक्षित किया जाता है।

रिलीज़ और संस्करण

Mistral AI ने 11 दिसंबर 2023 को Apache 2.0 लाइसेंस के तहत Mixtral 8x7B जारी किया, जिससे यह व्यावसायिक उपयोग के लिए स्वतंत्र रूप से उपलब्ध हो गया। मॉडल के साथ एक फाइन-ट्यून किया गया संस्करण, Mixtral 8x7B Instruct भी था, जो चैट और निर्देश-अनुसरण कार्यों के लिए अनुकूलित था। अप्रैल 2024 में, कंपनी ने Mixtral 8x22B जारी किया, जो कुल 141 बिलियन पैरामीटर और 39 बिलियन सक्रिय पैरामीटर वाला एक बड़ा संस्करण है, जो Apache 2.0 के तहत भी उपलब्ध है।

दोनों मॉडल Mistral AI के API और खुले-वजन डाउनलोड के माध्यम से उपलब्ध कराए गए। उन्हें विभिन्न प्लेटफार्मों में एकीकृत किया गया, जिनमें Amazon Web Services (AWS), Microsoft Azure, और Google Cloud शामिल हैं, साथ ही उच्च-गति अनुमान के लिए Groq और SambaNova के माध्यम से भी। मॉडल उपभोक्ता हार्डवेयर पर स्थानीय तैनाती के माध्यम से भी सुलभ हैं, जिसमें क्वांटाइज़ेशन तकनीकें सीमित मेमोरी वाले सिस्टम पर संचालन सक्षम बनाती हैं।

प्रदर्शन और बेंचमार्क

Mixtral 8x7B को कई स्थापित मॉडलों के खिलाफ बेंचमार्क किया गया, जिनमें LLaMA 2 70B और GPT-3.5 शामिल हैं, और प्राकृतिक भाषा समझ, गणित, और कोड निर्माण जैसे कार्यों में प्रतिस्पर्धात्मक प्रदर्शन दिखाया। कई बेंचमार्क में, यह बड़े घने मॉडलों के प्रदर्शन से मेल खाता या उससे अधिक था, जबकि कम सक्रिय पैरामीटर की आवश्यकता थी। Mixtral 8x22B ने इन परिणामों में और सुधार किया, तर्क और बहुभाषी कार्यों जैसे क्षेत्रों में अग्रणी मॉडलों की क्षमताओं के करीब पहुंच गया।

मॉडलों का मूल्यांकन MMLU (मैसिव मल्टीटास्क लैंग्वेज अंडरस्टैंडिंग), HellaSwag, और HumanEval जैसे मानक डेटासेट पर किया गया। स्टैनफोर्ड AI लैब और अन्य अनुसंधान समूहों द्वारा स्वतंत्र परीक्षणों ने शून्य-शॉट और कुछ-शॉट सेटिंग्स में मॉडलों के मजबूत प्रदर्शन की पुष्टि की। हालांकि, सभी बड़े भाषा मॉडलों की तरह, Mixtral पूर्वाग्रह और अशुद्धियाँ प्रदर्शित कर सकता है, और इसके आउटपुट का उपयोग सावधानी से किया जाना चाहिए।

प्रभाव और स्वागत

Mixtral की रिलीज़ उल्लेखनीय थी क्योंकि इसने दिखाया कि खुले-वजन वाले मॉडल प्रदर्शन में स्वामित्व प्रणालियों के साथ प्रतिस्पर्धा कर सकते हैं, जो खुले-स्रोत कृत्रिम बुद्धिमत्ता की ओर व्यापक आंदोलन में योगदान देता है। मिश्रण-विशेषज्ञ वास्तुकला ने तब से अन्य मॉडल रिलीज़ को प्रभावित किया है, और Mixtral को अक्सर मशीन लर्निंग में कुशल स्केलिंग का एक प्रमुख उदाहरण के रूप में उद्धृत किया जाता है।

Mistral AI, जिसकी स्थापना 2023 में Google DeepMind और Meta AI के पूर्व शोधकर्ताओं द्वारा की गई थी, ने Mixtral को एक मुख्य उत्पाद के रूप में स्थापित किया है। कंपनी को महत्वपूर्ण वित्त पोषण और साझेदारियाँ मिलीं, जिनमें Azure पर अपने मॉडल वितरित करने के लिए Microsoft के साथ एक समझौता शामिल है। Mixtral के खुले लाइसेंस ने अनुसंधान, स्टार्टअप्स, और उद्यम अनुप्रयोगों में व्यापक अपनाने को सक्षम किया है, जिससे जनरेटिव AI और प्राकृतिक भाषा प्रसंस्करण जैसे क्षेत्रों में नवाचार को बढ़ावा मिला है।

सीमाएँ और भविष्य की दिशाएँ

अपने फायदों के बावजूद, Mixtral मॉडलों को पूर्ण-परिशुद्धता तैनाती के लिए उच्च मेमोरी आवश्यकताओं और विशेषज्ञ विशेषज्ञता से संबंधित संभावित मुद्दों जैसी चुनौतियों का सामना करना पड़ता है। विरल वास्तुकला असमान विशेषज्ञ उपयोग का कारण बन सकती है, और मॉडलों को इष्टतम प्रदर्शन के लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता हो सकती है। 2024 तक, Mistral AI नई वास्तुकलाओं और प्रशिक्षण विधियों को विकसित करना जारी रखता है, और भविष्य की रिलीज़ संभवतः MoE दृष्टिकोण पर आधारित होंगी।

Mixtral की सफलता ने हार्डवेयर अनुकूलन में भी रुचि जगाई है, जिसमें AMD और Intel जैसी कंपनियाँ विरल मॉडलों के लिए कुशल अनुमान पर काम कर रही हैं। मॉडल परिवार अनुसंधान का एक सक्रिय क्षेत्र बना हुआ है, और बड़े भाषा मॉडल परिदृश्य पर इसका प्रभाव जारी रहने की उम्मीद है।