आर्कटिक एक ओपन-सोर्स बड़ा भाषा मॉडल है जिसे स्नोफ्लेक, एक क्लाउड डेटा प्लेटफ़ॉर्म कंपनी, द्वारा विकसित किया गया है। अप्रैल 2024 में जारी, आर्कटिक को विशेष रूप से उद्यम कार्यभार के लिए डिज़ाइन किया गया था, जो कच्चे पैमाने पर दक्षता और लागत-प्रभावशीलता को प्राथमिकता देता है। यह SQL जनरेशन, कोड पूर्णता, और निर्देश अनुसरण जैसे कार्यों पर मजबूत प्रदर्शन देने के लिए मिश्रण-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर का उपयोग करता है, जबकि तुलनात्मक मॉडलों की तुलना में काफी कम कम्प्यूटेशनल संसाधनों पर प्रशिक्षित और तैनात किया जा सकता है।
मॉडल का विकास जनरेटिव एआई में ओपन-वेट मॉडलों की ओर एक व्यापक प्रवृत्ति को दर्शाता है, जिसे संगठन अपने स्वयं के बुनियादी ढांचे पर अनुकूलित और चला सकते हैं। आर्कटिक की रिलीज़ के साथ एक विस्तृत तकनीकी रिपोर्ट और ओपन-सोर्स कोड भी शामिल था, जिससे शोधकर्ताओं और उद्यमों को मालिकाना एपीआई पर निर्भर हुए बिना मॉडल का निरीक्षण, फाइन-ट्यूनिंग, और तैनाती करने की अनुमति मिली। यह आर्कटिक को लामा और मिस्ट्रल जैसे अन्य ओपन मॉडलों के लिए एक सीधा प्रतियोगी बनाता है, लेकिन डेटा-केंद्रित उद्यम अनुप्रयोगों पर विशेष ध्यान देने के साथ।
आर्किटेक्चर और प्रशिक्षण
आर्कटिक एक विरल मिश्रण-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर का उपयोग करता है, जो प्रत्येक टोकन के लिए अपने मापदंडों का केवल एक उपसमुच्चय सक्रिय करता है। मॉडल में कुल 480 बिलियन पैरामीटर हैं, लेकिन अनुमान के दौरान केवल 17 बिलियन सक्रिय होते हैं। यह डिज़ाइन उच्च क्षमता बनाए रखते हुए कम्प्यूटेशनल लागत को कम करता है। आर्किटेक्चर में 10 बिलियन पैरामीटर वाला एक घना ट्रांसफॉर्मर बैकबोन शामिल है, जो प्रत्येक 3.66 बिलियन पैरामीटर के 128 विशेषज्ञ मॉड्यूल द्वारा संवर्धित है। यह कॉन्फ़िगरेशन आर्कटिक को कई बेंचमार्क पर लामा 2 70B जैसे घने मॉडलों के बराबर प्रदर्शन प्राप्त करने की अनुमति देता है, जबकि चलाने में काफी सस्ता है।
प्रशिक्षण में दो-चरणीय दृष्टिकोण का उपयोग किया गया। पहले चरण में सामान्य वेब टेक्स्ट और कोड पर ध्यान केंद्रित किया गया, जिसमें 4,096 टोकन की संदर्भ लंबाई का उपयोग किया गया। दूसरे चरण में संदर्भ को 8,192 टोकन तक बढ़ाया गया और SQL क्वेरी और उद्यम दस्तावेज़ों सहित अधिक विशेष डेटा शामिल किया गया। प्रशिक्षण कॉर्पस में RedPajama, SlimPajama, और StarCoder जैसे सार्वजनिक रूप से उपलब्ध डेटासेट शामिल थे, साथ ही स्नोफ्लेक के प्लेटफ़ॉर्म से मालिकाना डेटा भी शामिल था। कुल प्रशिक्षण कम्प्यूट लगभग 3.5 ट्रिलियन टोकन था, जो GPT-4 जैसे सीमांत मॉडलों की तुलना में मामूली है, लेकिन इसके लक्षित कार्यों के लिए पर्याप्त है।
उद्यम फोकस और बेंचमार्क
आर्कटिक को कई प्रमुख ओपन और क्लोज्ड मॉडलों के खिलाफ बेंचमार्क किया गया था, जिनमें लामा 2 70B, मिक्सट्रल 8x7B, और DBRX शामिल हैं। कोड जनरेशन के लिए HumanEval बेंचमार्क पर, आर्कटिक ने 60.6% का pass@1 स्कोर हासिल किया, जो लामा 2 70B (29.9%) और मिक्सट्रल (40.2%) से बेहतर प्रदर्शन करता है। Spider बेंचमार्क का उपयोग करके SQL जनरेशन कार्यों पर, आर्कटिक ने 82.3% स्कोर किया, जो मिक्सट्रल के 76.6% से अधिक है और बड़े मालिकाना मॉडलों के प्रदर्शन के करीब पहुंचता है। मॉडल ने MT-Bench जैसे निर्देश-अनुसरण बेंचमार्क पर भी मजबूत परिणाम दिखाए, जहां इसने 10 में से 7.9 स्कोर किया, जो GPT-3.5 के बराबर है।
ये परिणाम आर्कटिक के डिज़ाइन लक्ष्य को उजागर करते हैं: उद्यम सेटिंग्स में सामान्य संरचित डेटा कार्यों में उत्कृष्टता प्राप्त करना, जैसे डेटाबेस क्वेरी उत्पन्न करना, वित्तीय दस्तावेज़ों का सारांश बनाना, और कोड समीक्षा स्वचालित करना। स्नोफ्लेक ने आर्कटिक को अपनी मौजूदा डेटा क्लाउड सेवाओं के पूरक के रूप में स्थापित किया, जिससे उपयोगकर्ता सीधे अपने डेटा पर कस्टम एआई अनुप्रयोग बना सकें।
ओपन सोर्स और पारिस्थितिकी तंत्र
आर्कटिक को Apache 2.0 लाइसेंस के तहत जारी किया गया है, जो न्यूनतम प्रतिबंधों के साथ व्यावसायिक उपयोग, संशोधन, और पुनर्वितरण की अनुमति देता है। यह कुछ अन्य ओपन मॉडलों के विपरीत है जो उपयोग सीमाएं लगाते हैं या एट्रिब्यूशन की आवश्यकता होती है। मॉडल वेट हगिंग फेस पर उपलब्ध हैं, और प्रशिक्षण और अनुमान कोड GitHub पर होस्ट किया गया है। स्नोफ्लेक ने अनुकूलित तैनाती के लिए vLLM और NVIDIA TensorRT-LLM जैसे लोकप्रिय फ्रेमवर्क के साथ एकीकरण भी प्रदान किया।
ओपन-सोर्स प्रकृति ने सामुदायिक योगदान की सुविधा प्रदान की है, जिसमें कानूनी और चिकित्सा पाठ जैसे विशिष्ट डोमेन के लिए फाइन-ट्यून किए गए वेरिएंट शामिल हैं। स्नोफ्लेक ने दस्तावेज़ीकरण और उदाहरण उपयोग मामलों के साथ एक समर्पित डेवलपर पोर्टल भी लॉन्च किया। 2024 के अंत तक, आर्कटिक को हगिंग फेस से 500,000 से अधिक बार डाउनलोड किया गया था, जो उद्यमों और शोधकर्ताओं के बीच महत्वपूर्ण अपनाने का संकेत देता है।
स्वागत और प्रभाव
उद्योग विश्लेषकों ने आर्कटिक के व्यावहारिक दृष्टिकोण पर ध्यान दिया, जो अत्याधुनिक बेंचमार्क का पीछा करने के बजाय लागत-कुशल अनुमान पर केंद्रित है। इसकी रिलीज़ ने बड़े पैमाने पर मॉडल प्रशिक्षण की स्थिरता के बारे में बढ़ती बहस में योगदान दिया, क्योंकि आर्कटिक ने प्रदर्शित किया कि उद्यम कार्यों पर प्रतिस्पर्धी प्रदर्शन कुछ सीमांत मॉडलों द्वारा उपयोग किए गए प्रशिक्षण कम्प्यूट के 1/100वें हिस्से के साथ प्राप्त किया जा सकता है। आलोचकों ने बताया कि सामान्य ज्ञान और तर्क कार्यों पर आर्कटिक का प्रदर्शन GPT-4 और क्लॉड 3 जैसे मॉडलों से पीछे है, लेकिन डोमेन-विशिष्ट अनुप्रयोगों में इसकी ताकत को स्वीकार किया।
आर्कटिक ने स्नोफ्लेक के उत्पाद रोडमैप को भी प्रभावित किया, कंपनी ने प्राकृतिक भाषा क्वेरी और दस्तावेज़ सारांश जैसी सुविधाओं के लिए मॉडल को अपने Cortex AI प्लेटफ़ॉर्म में एकीकृत किया। इस एकीकरण ने स्नोफ्लेक ग्राहकों को अपने स्वयं के बुनियादी ढांचे का प्रबंधन किए बिना आर्कटिक का उपयोग करने की अनुमति दी, जिससे इसकी पहुंच और बढ़ गई।
भविष्य की दिशाएं
स्नोफ्लेक ने लंबे संदर्भ विंडो और बेहतर बहुभाषी समर्थन के साथ आर्कटिक के अद्यतन संस्करण जारी करने की योजना का संकेत दिया है। कंपनी मल्टीमॉडल क्षमताओं की भी खोज कर रही है, हालांकि कोई विशिष्ट समयरेखा घोषित नहीं की गई है। 2025 तक, आर्कटिक एक उल्लेखनीय उदाहरण बना हुआ है कि कैसे ओपन-सोर्स मॉडल को विशिष्ट उद्योगों के लिए अनुकूलित किया जा सकता है, और इसके विकास ने कुशल MoE डिज़ाइनों में बाद के शोध को सूचित किया है।
यह भी देखें
- मिश्रण ऑफ एक्सपर्ट्स
- SQL जनरेशन
- Apache 2.0 लाइसेंस
- हगिंग फेस
संदर्भ
- स्नोफ्लेक एआई रिसर्च। "आर्कटिक: ए डेंस-एमओई हाइब्रिड ट्रांसफॉर्मर फॉर एंटरप्राइज़ एआई।" तकनीकी रिपोर्ट, 2024।
- स्नोफ्लेक/स्नोफ्लेक-आर्कटिक-इंस्ट्रक्ट के लिए हगिंग फेस मॉडल कार्ड।
- आर्कटिक तकनीकी रिपोर्ट में रिपोर्ट किए गए HumanEval, Spider, और MT-Bench से बेंचमार्क।