Zephyr, हगिंग फेस टीम द्वारा विकसित ओपन-वेट बड़े भाषा मॉडल का एक परिवार है, जिसे सहायक और संरेखित सहायक के रूप में सेवा देने के लिए डिज़ाइन किया गया है। ये मॉडल मिस्ट्रल एआई द्वारा बनाए गए बेस मॉडल से, डिस्टिल्ड डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (dDPO) नामक तकनीक का उपयोग करके फाइन-ट्यून किए गए हैं। यह दृष्टिकोण फाइन-ट्यूनिंग प्रक्रिया को मार्गदर्शन देने के लिए एक बड़े, अधिक सक्षम शिक्षक मॉडल से फीडबैक का लाभ उठाता है, जिसका उद्देश्य मॉडल की निर्देशों का पालन करने और उपयोगी तथा हानिरहित दोनों प्रतिक्रियाएँ उत्पन्न करने की क्षमता में सुधार करना है।
श्रृंखला का पहला मॉडल, Zephyr-7B-alpha, अक्टूबर 2023 में जारी किया गया था, इसके बाद नवंबर 2023 में Zephyr-7B-beta आया। ये मॉडल Mistral-7B आर्किटेक्चर पर आधारित हैं, जो एक 7-बिलियन-पैरामीटर ट्रांसफॉर्मर मॉडल है। Zephyr श्रृंखला अपने आकार के सापेक्ष विभिन्न बेंचमार्क पर मजबूत प्रदर्शन के लिए उल्लेखनीय रही है, जो अक्सर बहुत बड़े मॉडलों के साथ प्रतिस्पर्धा करती है। परियोजना खुली पहुँच पर जोर देती है, जिसमें वेट और प्रशिक्षण कोड सार्वजनिक रूप से उपलब्ध कराए जाते हैं, जो जनरेटिव-एआई अनुसंधान और विकास के व्यापक पारिस्थितिकी तंत्र में योगदान देता है।
विकास और प्रशिक्षण
Zephyr मॉडल को बहु-चरणीय प्रक्रिया में प्रशिक्षित किया गया था। प्रारंभ में, बेस Mistral-7B मॉडल को निर्देशों और प्रतिक्रियाओं के डेटासेट पर, पर्यवेक्षित फाइन-ट्यूनिंग (SFT) का उपयोग करके फाइन-ट्यून किया गया, ताकि मॉडल को बुनियादी संवादात्मक और निर्देशात्मक व्यवहार सिखाया जा सके। इसके बाद dDPO का अनुप्रयोग किया गया, जो मानव फीडबैक से सुदृढीकरण सीखने (RLHF) का एक प्रकार है। dDPO में, मॉडल को सीधे मानव एनोटेशन के बजाय, GPT-4 जैसे शिक्षक मॉडल से प्राप्त प्राथमिकताओं के साथ संरेखित करने के लिए अनुकूलित किया जाता है। प्राथमिकता डेटा का निर्माण शिक्षक मॉडल द्वारा प्रॉम्प्ट के लिए कई प्रतिक्रियाएँ उत्पन्न करने और फिर उन्हें रैंक करने के माध्यम से किया गया था, जो व्यापक मानव लेबलिंग के बिना संरेखण में सुधार करने का एक स्केलेबल तरीका प्रदान करता है।
प्रशिक्षण का एक प्रमुख पहलू UltraFeedback नामक एक क्यूरेटेड डेटासेट का उपयोग था, जिसमें 60,000 से अधिक प्रॉम्प्ट और प्राथमिकता जोड़े शामिल हैं। प्रशिक्षण प्रक्रिया में रचनात्मकता और सुसंगतता को संतुलित करने के लिए अनुमान के दौरान RLHF और टॉप-पी-सैम्पलिंग जैसी तकनीकें भी शामिल की गईं। डेवलपर्स ने जोर दिया कि dDPO विधि पारंपरिक RLHF की तुलना में कम्प्यूटेशनल रूप से कुशल है, क्योंकि यह प्रशिक्षण के दौरान एक अलग रिवॉर्ड मॉडल और ऑनलाइन सैम्पलिंग की आवश्यकता से बचती है।
मॉडल वेरिएंट और प्रदर्शन
Zephyr-7B-alpha और Zephyr-7B-beta प्राथमिक जारी किए गए वेरिएंट हैं, दोनों में 7 बिलियन पैरामीटर हैं। बीटा संस्करण में प्रशिक्षण डेटा और हाइपरपैरामीटर में परिशोधन शामिल किए गए, जिससे MT-Bench, AlpacaEval और ओपन एलएलएम लीडरबोर्ड जैसे बेंचमार्क पर बेहतर प्रदर्शन हुआ। MT-Bench पर, Zephyr-7B-beta ने 7.34 का स्कोर हासिल किया, जो समान आकार के कई मॉडलों और यहाँ तक कि Llama-2-70B-chat जैसे कुछ बड़े मॉडलों से भी आगे निकल गया। मॉडल को उपभोक्ता-ग्रेड हार्डवेयर पर चलाने के लिए डिज़ाइन किया गया है, जिससे वे शोधकर्ताओं और शौकीनों के लिए सुलभ हो जाते हैं।
Zephyr श्रृंखला का उपयोग समुदाय द्वारा आगे फाइन-ट्यूनिंग के लिए आधार के रूप में भी किया गया है, जो विशेष अनुप्रयोगों के लिए इसकी उपयोगिता को प्रदर्शित करता है। हालाँकि, मॉडल में एलएलएम के लिए सामान्य सीमाएँ बनी रहती हैं, जिनमें संभावित पूर्वाग्रह और प्रशंसनीय लेकिन गलत जानकारी उत्पन्न करने की प्रवृत्ति शामिल है, जिसे डेवलपर्स ने मॉडल कार्ड में दस्तावेज़ित किया है।
तकनीकी दृष्टिकोण
Zephyr की तकनीकी नींव Mistral-7B आर्किटेक्चर में निहित है, जो अनुमान गति और मेमोरी दक्षता में सुधार के लिए समूहीकृत-क्वेरी अटेंशन और स्लाइडिंग विंडो अटेंशन का उपयोग करता है। फाइन-ट्यूनिंग प्रक्रिया में वार्मअप के साथ लर्निंग रेट शेड्यूल और प्रशिक्षण को स्थिर करने के लिए ग्रेडिएंट-क्लिपिंग का उपयोग किया गया। dDPO उद्देश्य एक संदर्भ मॉडल के खिलाफ नीति का सीधा अनुकूलन है, जो प्राथमिकता जोड़े पर बाइनरी क्रॉस-एन्ट्रॉपी लॉस का उपयोग करता है। यह विधि DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) ढांचे से ली गई है, जो एक अलग रिवॉर्ड मॉडल की आवश्यकता को समाप्त करके RLHF पाइपलाइन को सरल बनाती है।
Zephyr के लिए अनुमान आमतौर पर तापमान-स्केलिंग का उपयोग लगभग 0.7 के मान के साथ और टॉप-पी-सैम्पलिंग का उपयोग 0.95 के मान के साथ करता है, जैसा कि डेवलपर्स द्वारा संतुलित आउटपुट प्राप्त करने के लिए अनुशंसित किया गया है। मॉडल 8,192 टोकन की संदर्भ लंबाई का समर्थन करता है, जो मध्यम लंबी बातचीत की अनुमति देता है।
प्रभाव और स्वीकृति
Zephyr की रिलीज़ ने छोटे, कुशल मॉडलों की प्रवृत्ति में योगदान दिया जो बड़े समकक्षों को टक्कर दे सकते हैं। इसने मानव मूल्यों के साथ मॉडलों को संरेखित करने में प्राथमिकता अनुकूलन तकनीकों की प्रभावशीलता को उजागर किया, और परियोजना की ओपन-सोर्स प्रकृति ने व्यापक अपनाने और प्रयोग को सुविधाजनक बनाया। मॉडल को शैक्षणिक अनुसंधान में उद्धृत किया गया है और चैटबॉट से लेकर शैक्षिक उपकरणों तक विभिन्न अनुप्रयोगों में उपयोग किया गया है। इसकी सफलता ने मशीन-लर्निंग समुदाय के भीतर dDPO और समान संरेखण विधियों पर आगे के काम को भी प्रेरित किया।
सीमाएँ और नैतिक विचार
अन्य एलएलएम की तरह, Zephyr पक्षपाती या हानिकारक सामग्री उत्पन्न कर सकता है, और यह तथ्यों को भ्रमित कर सकता है। डेवलपर्स ध्यान देते हैं कि अतिरिक्त सुरक्षा उपायों के बिना उच्च-दांव निर्णय लेने के लिए मॉडल उपयुक्त नहीं है। सार्वजनिक स्रोतों और सिंथेटिक प्राथमिकताओं से प्राप्त प्रशिक्षण डेटा, मौजूदा सामाजिक पूर्वाग्रहों को प्रतिबिंबित कर सकता है। उपयोगकर्ताओं को मॉडल तैनात करते समय उचित सुरक्षा उपायों को लागू करने के लिए प्रोत्साहित किया जाता है। परियोजना कृत्रिम-बुद्धिमत्ता में सक्षम मॉडलों तक पहुँच को लोकतांत्रिक बनाने के व्यापक प्रयासों के साथ संरेखित है, जबकि जिम्मेदार उपयोग की आवश्यकता को स्वीकार करती है।
भविष्य की दिशाएँ
Zephyr श्रृंखला को अन्य मॉडलों द्वारा सफल बनाया गया है, लेकिन इसकी पद्धति प्रभावशाली बनी हुई है। कुशल संरेखण और ओपन वेट पर ध्यान ने समान परियोजनाओं को प्रेरित किया है, और तकनीकों को बड़े पैमाने पर प्रशिक्षण पाइपलाइनों में एकीकृत किया जा रहा है। हगिंग फेस टीम मजबूती और सुरक्षा पर जोर देने के साथ, प्राथमिकता अनुकूलन और मॉडल मूल्यांकन में सुधार की खोज जारी रखती है।
संदर्भ और आगे पढ़ना
विस्तृत तकनीकी जानकारी के लिए, हगिंग फेस हब पर Zephyr मॉडल कार्ड व्यापक दस्तावेज़ीकरण प्रदान करते हैं, जिसमें प्रशिक्षण विवरण, बेंचमार्क परिणाम और उपयोग उदाहरण शामिल हैं। "Zephyr: Direct Distillation of LM Alignment" शीर्षक वाला संबंधित शोध पत्र, dDPO विधि और इसके अनुभवजन्य परिणामों का गहन विश्लेषण प्रदान करता है।