Mixtral 8x7B एक बड़ा भाषा मॉडल है जिसे Mistral AI द्वारा विकसित किया गया था और दिसंबर 2023 में जारी किया गया था। यह एक स्पार्स मिश्रण-ऑफ-एक्सपर्ट्स (MoE) वास्तुकला का उपयोग करता है, एक डिज़ाइन जो मॉडल की गणना को कई विशेष उप-नेटवर्कों में विभाजित करता है जिन्हें एक्सपर्ट कहा जाता है। मॉडल में प्रति परत 8 एक्सपर्ट होते हैं, जिनमें कुल 46.7 बिलियन पैरामीटर होते हैं, फिर भी प्रत्येक टोकन के लिए केवल 12.9 बिलियन पैरामीटर सक्रिय होते हैं। यह स्पार्स सक्रियण Mixtral 8x7B को बड़े डेंस मॉडल के बराबर प्रदर्शन प्राप्त करने की अनुमति देता है, जबकि उच्च अनुमान दक्षता बनाए रखता है।
मॉडल को Apache 2.0 लाइसेंस के तहत उपलब्ध कराया गया था, जो वाणिज्यिक और शोध दोनों उपयोग की अनुमति देता है। यह 32,768 टोकन की संदर्भ लंबाई का समर्थन करता है और अंग्रेजी, फ्रेंच, इतालवी, जर्मन और स्पेनिश में दक्ष है। Mixtral 8x7B में एक फाइन-ट्यून किया गया संस्करण भी शामिल है, Mixtral 8x7B Instruct, जो निर्देश-अनुसरण कार्यों के लिए अनुकूलित है। वास्तुकला ट्रांसफॉर्मर ढांचे पर आधारित है, जिसमें मल्टी-हेड-अटेंशन और लेयर-नॉर्मलाइज़ेशन तकनीकें शामिल हैं, लेकिन मानक फीडफॉरवर्ड परतों को MoE परतों से बदल देती है।
वास्तुकला और डिज़ाइन
Mixtral 8x7B एक डिकोडर-ओनली ट्रांसफॉर्मर वास्तुकला पर बनाया गया है। इसकी 32 परतों में से प्रत्येक में 8 फीडफॉरवर्ड एक्सपर्ट नेटवर्क होते हैं, और एक राउटर नेटवर्क प्रत्येक टोकन के लिए शीर्ष-2 एक्सपर्ट का चयन करता है। यह रूटिंग तंत्र, जिसे टॉप-2 गेटिंग के रूप में जाना जाता है, गतिशील रूप से टोकन को सबसे प्रासंगिक एक्सपर्ट को सौंपता है, जिससे मॉडल विभिन्न भाषाई या तर्क पैटर्न में विशेषज्ञता प्राप्त कर सकता है। कुल पैरामीटर गणना में सभी एक्सपर्ट शामिल हैं, लेकिन स्पार्स सक्रियण सुनिश्चित करता है कि प्रति टोकन कम्प्यूटेशनल लागत 12.9-बिलियन-पैरामीटर डेंस मॉडल के बराबर बनी रहे।
मॉडल रोटरी एम्बेडिंग के साथ पोज़िशनल-एन्कोडिंग का उपयोग करता है, जो सीखने योग्य पोज़िशनल वेक्टर जोड़े बिना टोकन स्थितियों को एन्कोड करता है। यह प्रशिक्षण के दौरान बैच-नॉर्मलाइज़ेशन और ड्रॉपआउट का उपयोग करता है, हालांकि अंतिम जारी मॉडल अनुमान के लिए ड्रॉपआउट का उपयोग नहीं करता है। MoE परतें मानक सेल्फ-अटेंशन ब्लॉकों के साथ अंतःस्थापित होती हैं, और राउटर को मानक लॉस-फंक्शन जैसे क्रॉस-एन्ट्रॉपी का उपयोग करके शेष नेटवर्क के साथ संयुक्त रूप से प्रशिक्षित किया जाता है।
प्रशिक्षण और डेटा
Mixtral 8x7B को बहुभाषी पाठ के एक बड़े कॉर्पस पर प्रशिक्षित किया गया था, जो मुख्य रूप से वेब क्रॉल, पुस्तकों और शैक्षणिक पत्रों से प्राप्त किया गया था। प्रशिक्षण डेटा को निम्न-गुणवत्ता वाली सामग्री को हटाने के लिए फ़िल्टर किया गया था और अतिरेक को कम करने के लिए डीडुप्लिकेट किया गया था। मॉडल को एडम-ऑप्टिमाइज़र के साथ प्रशिक्षित किया गया था, जिसमें लर्निंग-रेट-शेड्यूल शामिल था जिसमें वार्मअप और कोसाइन डिके शामिल थे। प्रशिक्षण को स्थिर करने के लिए ग्रेडिएंट-क्लिपिंग लागू की गई थी, और वेट-इनिशियलाइज़ेशन मानक ट्रांसफॉर्मर प्रथाओं का पालन करता था।
प्रशिक्षण प्रक्रिया ने हजारों ग्राफकोर IPU में वितरित कंप्यूटिंग का लाभ उठाया, क्योंकि Mistral AI ने हार्डवेयर त्वरण के लिए Graphcore के साथ साझेदारी की थी। कुल प्रशिक्षण कंप्यूट को लगभग 10^24 FLOPs अनुमानित किया गया है, हालांकि सटीक आंकड़े सार्वजनिक रूप से प्रकट नहीं किए गए थे। मॉडल को लगभग 2 ट्रिलियन टोकन के लिए प्रशिक्षित किया गया था, जो इसकी पीढ़ी के अन्य प्रमुख ओपन-वेट मॉडल के बराबर पैमाना है।
प्रदर्शन और बेंचमार्क
Mixtral 8x7B का मूल्यांकन मानक बेंचमार्क की एक श्रृंखला पर किया गया है। MMLU (मैसिव मल्टीटास्क लैंग्वेज अंडरस्टैंडिंग) बेंचमार्क पर, यह लगभग 70.6% स्कोर करता है, जो कई बड़े डेंस मॉडल से बेहतर प्रदर्शन करता है। GSM-8K जैसे गणितीय तर्क कार्यों में, यह लगभग 74.5% सटीकता प्राप्त करता है। मॉडल HumanEval जैसे कोडिंग बेंचमार्क पर भी मजबूत परिणाम दिखाता है, जिसमें pass@1 स्कोर 40.2% है।
बर्कले-एआई-रिसर्च और स्टैनफोर्ड-एआई-लैब सहित तीसरे पक्षों द्वारा स्वतंत्र मूल्यांकन ने पुष्टि की है कि Mixtral 8x7B कई कार्यों पर ओपनएआई के GPT-3.5 के प्रदर्शन से मेल खाता है या उससे अधिक है, जबकि अधिक कम्प्यूटेशनल रूप से कुशल है। मॉडल की बहुभाषी क्षमताएं विशेष रूप से उल्लेखनीय हैं, जिसमें फ्रेंच और जर्मन बेंचमार्क पर प्रतिस्पर्धी स्कोर हैं। हालांकि, यह जटिल तर्क और लंबे-रूप पीढ़ी में GPT-4 जैसे सबसे बड़े मालिकाना मॉडल से पीछे है।
तैनाती और पारिस्थितिकी तंत्र
Mixtral 8x7B को ओपन-सोर्स समुदाय में व्यापक रूप से अपनाया गया है। यह हगिंग-फेस पर उपलब्ध है और क्वांटाइज़ेशन के साथ उपभोक्ता-ग्रेड हार्डवेयर पर स्थानीय रूप से चलाया जा सकता है। अमेज़न-वेब-सर्विसेज़, एज़्योर, और गूगल-क्लाउड सहित क्लाउड प्रदाता मॉडल के लिए प्रबंधित एंडपॉइंट प्रदान करते हैं। ग्रॉक और सांबा-नोवा जैसी विशेष AI हार्डवेयर कंपनियों ने MoE अनुमान को तेज करने के लिए अपने सिस्टम को अनुकूलित किया है, जिससे वास्तविक समय अनुप्रयोगों के लिए विलंबता कम हो जाती है।
मॉडल की रिलीज़ ने बाद के MoE डिज़ाइनों को प्रभावित किया है, कई बाद के मॉडल समान टॉप-2 रूटिंग रणनीतियों को अपनाते हैं। इसकी सफलता ने एक्सपर्ट विशेषज्ञता और रूटिंग दक्षता पर शोध को भी प्रेरित किया है, जिसमें एमआईटी-सीएसएआईएल और कार्नेगी-मेलन-यूनिवर्सिटी जैसे शैक्षणिक समूह इसके आंतरिक प्रतिनिधित्व का विश्लेषण प्रकाशित कर रहे हैं। Apache 2.0 लाइसेंस ने चैटबॉट से लेकर कोड सहायकों तक वाणिज्यिक उत्पादों में एकीकरण की सुविधा प्रदान की है।
सीमाएं और नैतिक विचार
अन्य बड़े भाषा मॉडलों की तरह, Mixtral 8x7B प्रशंसनीय लेकिन गलत जानकारी उत्पन्न कर सकता है, एक घटना जिसे भ्रम के रूप में जाना जाता है। यह अपने प्रशिक्षण डेटा में मौजूद पूर्वाग्रहों को भी प्रतिबिंबित कर सकता है, जिसमें रूढ़िवादिता और हानिकारक संबंध शामिल हैं। मॉडल का बहुभाषी प्रशिक्षण डेटा अंग्रेजी की ओर झुका हुआ है, जिससे कम-संसाधन भाषाओं में कमजोर प्रदर्शन होता है। इसके अतिरिक्त, स्पार्स MoE वास्तुकला समान सक्रिय पैरामीटर गणना वाले डेंस मॉडल की तुलना में तैनात करने के लिए अधिक मेमोरी-गहन हो सकती है, क्योंकि सभी एक्सपर्ट वेट को मेमोरी में लोड किया जाना चाहिए।
Mistral AI ने जिम्मेदार उपयोग के लिए दिशानिर्देश प्रकाशित किए हैं, लेकिन खुला लाइसेंस का मतलब है कि डाउनस्ट्रीम डेवलपर्स नुकसान को कम करने की जिम्मेदारी वहन करते हैं। शोधकर्ताओं ने सुरक्षा और दक्षता में सुधार के लिए आरएलएआईएफ (एआई फीडबैक से सुदृढीकरण सीखना) और मॉडल-प्रूनिंग जैसी तकनीकों का प्रस्ताव किया है, लेकिन ये आधार रिलीज़ में लागू नहीं हैं। 2024 तक, Mixtral 8x7B कुशल ओपन-वेट मॉडल के लिए एक संदर्भ बिंदु बना हुआ है, जो क्षमता और पहुंच के बीच संतुलन बनाता है।
यह भी देखें
संदर्भ
- Mistral AI ब्लॉग पोस्ट जिसमें Mixtral 8x7B की घोषणा की गई, दिसंबर 2023
- Mixtral 8x7B पर तकनीकी रिपोर्ट, arXiv:2401.04088
- हगिंग फेस और शैक्षणिक बेंचमार्क द्वारा मूल्यांकन