जुरासिक बड़े भाषा मॉडल का एक परिवार है, जिसे AI21 लैब्स द्वारा विकसित किया गया है, जो 2017 में स्थापित एक इज़राइली कृत्रिम बुद्धिमत्ता कंपनी है। जुरासिक श्रृंखला शुरुआती व्यावसायिक बड़े पैमाने के ट्रांसफॉर्मर-आधारित मॉडलों में से एक है, जिसे OpenAI और Anthropic के मॉडलों के प्रतिस्पर्धी के रूप में स्थापित किया गया है। इस परिवार में कई पीढ़ियाँ शामिल हैं, 2021 में जारी मूल जुरासिक-1 से लेकर हाल के जुरासिक-2 और विशेष संस्करणों तक, जो सभी पाठ पूर्णता, सारांशीकरण और प्रश्न उत्तर जैसे प्राकृतिक भाषा समझ और निर्माण कार्यों के लिए डिज़ाइन किए गए हैं।
मॉडल Transformer (architecture) वास्तुकला पर आधारित हैं, जो 2017 में पेश किया गया एक Deep learning ढांचा है और जो अधिकांश आधुनिक जनरेटिव AI प्रणालियों का आधार है। AI21 लैब्स ने जुरासिक मॉडलों को व्यापक पाठ कोषों पर प्रशिक्षित किया, जिसमें तंत्रिका नेटवर्क तकनीकें और एडम और सीखने की दर अनुसूची जैसी अनुकूलन विधियाँ शामिल थीं। जुरासिक मॉडल AI21 लैब्स के स्वामित्व वाले API के माध्यम से उपलब्ध हैं, साथ ही अमेज़न वेब सेवाओं (AWS), माइक्रोसॉफ्ट एज़्योर, और गूगल क्लाउड सहित क्लाउड प्लेटफार्मों पर भी, जिससे वे डेवलपर्स और उद्यमों के लिए सुलभ हैं।
इतिहास और विकास
AI21 लैब्स ने अगस्त 2021 में जुरासिक-1 की घोषणा की, जिसमें दो मॉडल आकार थे: J1-Jumbo (178 बिलियन पैरामीटर) और J1-Large (7.5 बिलियन पैरामीटर)। उस समय, J1-Jumbo सार्वजनिक रूप से उपलब्ध सबसे बड़े भाषा मॉडलों में से एक था, जो ओपनएआई के GPT-3 के बराबर था, जिसमें 175 बिलियन पैरामीटर थे। विकास टीम में AI21 के सह-संस्थापक एइलॉन रेशेफ और दफना शेरोन शामिल थे, साथ ही ऐसे शोधकर्ता भी थे जिनकी पृष्ठभूमि मशीन लर्निंग और कम्प्यूटेशनल भाषाविज्ञान में थी।
2022 में, AI21 लैब्स ने जुरासिक-2 जारी किया, जिसने निर्देश पालन और तर्क में सुधार पेश किए। जुरासिक-2 परिवार में J2-Jumbo, J2-Grande, और J2-Mid जैसे मॉडल शामिल थे, जिनमें पैरामीटर संख्या 7.8 बिलियन से 178 बिलियन तक थी। इन मॉडलों को विशिष्ट उपयोग मामलों के लिए अनुकूलित किया गया था, जिसमें ग्राहक सेवा, सामग्री निर्माण, और कोड जनरेशन में जनरेटिव AI अनुप्रयोग शामिल थे।
2023 तक, AI21 लैब्स ने विशेष मॉडलों के साथ जुरासिक लाइन का विस्तार किया। अक्टूबर 2023 में, कंपनी ने जुरासिक-2 अल्ट्रा जारी किया, जो 178-बिलियन-पैरामीटर मॉडल है जिसमें उन्नत बहुभाषी क्षमताएँ हैं। अगले वर्ष, AI21 ने जुरासिक-2 मिड और जाम्बा पेश किया, बाद वाला एक हाइब्रिड वास्तुकला है जो ट्रांसफॉर्मर परतों को राज्य स्थान मॉडलों के साथ जोड़ती है, जिससे लंबे-संदर्भ कार्यों के लिए दक्षता में सुधार हुआ।
वास्तुकला और प्रशिक्षण
जुरासिक मॉडल Transformer (architecture) वास्तुकला पर आधारित हैं, विशेष रूप से डिकोडर-केवल संस्करण, जिसका उपयोग ओपनएआई की GPT श्रृंखला द्वारा भी किया जाता है। मॉडल इनपुट अनुक्रमों को संसाधित करने के लिए मल्टी-हेड अटेंशन तंत्र का उपयोग करते हैं, साथ ही शब्द क्रम को पकड़ने के लिए स्थितीय एन्कोडिंग का भी। प्रशिक्षण कुछ संस्करणों में क्रॉस-अटेंशन का उपयोग करता है, हालाँकि मुख्य वास्तुकला ऑटोरेग्रेसिव है, जो अनुक्रम में अगले टोकन की भविष्यवाणी करती है।
AI21 लैब्स ने जुरासिक मॉडलों को बड़े पैमाने पर वितरित कंप्यूटिंग संसाधनों का उपयोग करके प्रशिक्षित किया, संभवतः एनवीडिया GPU पर, हालाँकि विशिष्ट हार्डवेयर विवरण सार्वजनिक रूप से प्रलेखित नहीं हैं। प्रशिक्षण प्रक्रिया में सामान्यीकरण में सुधार के लिए डेटा संवर्धन और पाठ्यक्रम सीखने की रणनीतियाँ शामिल थीं। अनुकूलन स्टोकेस्टिक ग्रेडिएंट डिसेंट संस्करणों जैसे एडम पर निर्भर था, साथ ही प्रशिक्षण को स्थिर करने के लिए ग्रेडिएंट क्लिपिंग और लेयर सामान्यीकरण का उपयोग किया गया।
मॉडल पाठ निर्माण के लिए टॉप-के और टॉप-पी सैंपलिंग विधियों का उपयोग करते हैं, साथ ही आउटपुट यादृच्छिकता को नियंत्रित करने के लिए तापमान स्केलिंग का भी। बीम खोज उन कार्यों के लिए उपलब्ध है जिनमें अधिक निर्धारक आउटपुट की आवश्यकता होती है, जैसे अनुवाद या सारांशीकरण।
क्षमताएँ और विशेषताएँ
जुरासिक मॉडल प्राकृतिक भाषा प्रसंस्करण कार्यों की एक विस्तृत श्रृंखला का समर्थन करते हैं। वे पाठ पूर्णता, सारांशीकरण, पैराफ्रेज़िंग, और प्रश्न उत्तर कर सकते हैं। मॉडल कोड जनरेशन और पूर्णता भी संभालते हैं, जिससे वे सॉफ्टवेयर विकास कार्यप्रवाहों के लिए उपयोगी बनते हैं। जुरासिक-2 और बाद के संस्करणों में निर्देश-पालन क्षमताएँ शामिल हैं, जिससे उपयोगकर्ता बिना फाइन-ट्यूनिंग के प्राकृतिक भाषा में कार्य निर्दिष्ट कर सकते हैं।
एक उल्लेखनीय विशेषता कई भाषाओं का समर्थन है। जुरासिक-2 मॉडलों को 100 से अधिक भाषाओं के डेटा पर प्रशिक्षित किया गया था, जिसमें अंग्रेजी, स्पेनिश, फ्रेंच, जर्मन, और हिब्रू में विशेष ताकत है, जो AI21 लैब्स की इज़राइली उत्पत्ति को दर्शाती है। मॉडल संरचित इनपुट, जैसे JSON और SQL, का भी समर्थन करते हैं, जिससे डेटाबेस और API के साथ एकीकरण संभव होता है।
AI21 लैब्स एक डेवलपर प्लेटफ़ॉर्म प्रदान करता है जिसमें एक API शामिल है जिसमें कस्टम मॉडल फाइन-ट्यूनिंग, सिमेंटिक खोज, और "वर्डट्यून रीड" और "वर्डट्यून राइट" नामक एक तथ्य-जाँच उपकरण जैसी विशेषताएँ हैं, जो अलग उत्पाद हैं लेकिन अंतर्निहित तकनीक साझा करते हैं।
अन्य मॉडलों के साथ तुलना
जुरासिक मॉडल सीधे ओपनएआई के GPT-3 और GPT-4, एंथ्रोपिक के क्लॉड, और गूगल डीपमाइंड के जेमिनी के साथ प्रतिस्पर्धा करते हैं। बेंचमार्क मूल्यांकनों में, जुरासिक-1 जंबो ने सुपरग्लू और लैम्बाडा जैसे कार्यों पर GPT-3 के बराबर प्रदर्शन किया, हालाँकि यह कुछ तर्क बेंचमार्कों पर पीछे रह गया। जुरासिक-2 ने इन स्कोरों में सुधार किया, विशेष रूप से बहु-मोड़ संवाद और निर्देश पालन में।
एक प्रमुख अंतर AI21 लैब्स का उद्यम अनुप्रयोगों पर ध्यान केंद्रित करना है। कंपनी डेटा गोपनीयता पर जोर देती है और ऑन-प्रिमाइसेस तैनाती विकल्प प्रदान करती है, जो सख्त अनुपालन आवश्यकताओं वाले संगठनों को आकर्षित करते हैं। इसके अतिरिक्त, जुरासिक मॉडल AWS पर अमेज़न बेडरॉक के माध्यम से, एज़्योर पर माइक्रोसॉफ्ट की AI सेवाओं के माध्यम से, और गूगल क्लाउड वर्टेक्स AI पर उपलब्ध हैं, जो कई एकीकरण मार्ग प्रदान करते हैं।
अनुप्रयोग और उपयोग मामले
जुरासिक मॉडल विभिन्न उद्योगों में उपयोग किए जाते हैं। ग्राहक सेवा में, वे चैटबॉट और आभासी सहायकों को शक्ति देते हैं जो पूछताछ संभालते हैं और समस्याओं का समाधान करते हैं। सामग्री निर्माण में, वे लेख, विपणन प्रति, और सोशल मीडिया पोस्ट तैयार करने में सहायता करते हैं। कानूनी और वित्तीय फर्में दस्तावेज़ सारांशीकरण और अनुबंध विश्लेषण के लिए जुरासिक का उपयोग करती हैं।
AI21 लैब्स जुरासिक पर निर्मित विशेष उपकरण भी प्रदान करता है, जैसे वर्डट्यून, एक AI-संचालित लेखन सहायक जो पुनःशब्दीकरण और स्वर समायोजन सुझाता है। कंपनी ने मोबाइल उपकरणों में AI सुविधाओं को एकीकृत करने के लिए सैमसंग के साथ और हार्डवेयर अनुकूलन के लिए इंटेल के साथ साझेदारी की है।
प्रदर्शन और बेंचमार्क
जुरासिक मॉडलों का मानक NLP बेंचमार्कों पर मूल्यांकन किया गया है। सुपरग्लू बेंचमार्क पर, J1-Jumbo ने 82.4 का स्कोर प्राप्त किया, जो GPT-3 के 83.5 से थोड़ा कम है। लैम्बाडा भाषा मॉडलिंग परीक्षण पर, J1-Jumbo ने 82.5% सटीकता प्राप्त की। जुरासिक-2 मॉडलों ने कुछ-शॉट सीखने में सुधार दिखाया, J2-Jumbo ने MMLU बेंचमार्क में कई कार्यों पर GPT-3 से बेहतर प्रदर्शन किया।
2023 में, AI21 लैब्स ने बताया कि जुरासिक-2 अल्ट्रा ने कुछ कार्यों के लिए HELM बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त किए, हालाँकि स्वतंत्र सत्यापन सीमित है। कंपनी अपनी वेबसाइट पर प्रदर्शन मेट्रिक्स प्रकाशित करती है, लेकिन विस्तृत मूल्यांकन पद्धतियाँ हमेशा प्रकट नहीं की जाती हैं।
उपलब्धता और मूल्य निर्धारण
जुरासिक मॉडल AI21 लैब्स के API के माध्यम से सुलभ हैं, जो संसाधित टोकनों के आधार पर भुगतान-जैसे-आप-जाते-हैं मूल्य निर्धारण मॉडल प्रदान करता है। 2024 तक, मूल्य निर्धारण सबसे छोटे मॉडलों के लिए $0.01 प्रति 1,000 टोकन से शुरू होता है और बड़े मॉडलों के लिए बढ़ता है। API सिंक्रोनस और एसिंक्रोनस दोनों अनुरोधों का समर्थन करता है, जिसमें अधिकांश मॉडलों के लिए अधिकतम संदर्भ लंबाई 8,192 टोकन है।
AI21 लैब्स डेवलपर्स को मॉडलों के साथ प्रयोग करने के लिए एक निःशुल्क स्तर भी प्रदान करता है। उद्यम ग्राहक कस्टम अनुबंधों पर बातचीत कर सकते हैं, जिसमें समर्पित बुनियादी ढाँचा और सेवा स्तर समझौते शामिल हैं। मॉडल क्लाउड मार्केटप्लेस, जैसे AWS मार्केटप्लेस और एज़्योर मार्केटप्लेस के माध्यम से भी उपलब्ध हैं।
भविष्य की दिशाएँ
AI21 लैब्स जुरासिक परिवार का विकास जारी रखता है, जिसमें दक्षता में सुधार और कम्प्यूटेशनल लागत कम करने पर ध्यान केंद्रित है। कंपनी ने महत्वपूर्ण प्रदर्शन हानि के बिना छोटे, तेज़ मॉडल बनाने के लिए मॉडल प्रूनिंग और अवशिष्ट नेटवर्क तकनीकों का पता लगाया है। 2024 में, AI21 ने हाइब्रिड वास्तुकलाओं पर शोध की घोषणा की जो ट्रांसफॉर्मर परतों को आवर्ती घटकों के साथ जोड़ती हैं, जिसका उद्देश्य लंबे अनुक्रमों को अधिक कुशलता से संभालना है।
कंपनी संरेखण और सुरक्षा में भी निवेश कर रही है, हानिकारक आउटपुट कम करने के लिए AI फीडबैक से सुदृढीकरण सीखना जैसी विधियों का उपयोग कर रही है। जैसे-जैसे जनरेटिव AI का क्षेत्र विकसित होता है, जुरासिक मॉडलों से अधिक मल्टीमॉडल क्षमताओं को एकीकृत करने की उम्मीद है, संभावित रूप से पाठ के अलावा छवियों और ऑडियो को संसाधित करना।
स्वागत और प्रभाव
जुरासिक मॉडलों को AI समुदाय में उनके मजबूत प्रदर्शन और पहुँच के लिए अच्छी तरह से प्राप्त किया गया है। AI21 लैब्स ने महत्वपूर्ण धन जुटाया है, जिसमें 2022 में $208 मिलियन की सीरीज C राउंड शामिल है, जिसने कंपनी का मूल्य $1.4 बिलियन से अधिक आंका। मॉडलों का उपयोग शैक्षणिक शोध और उद्योग अनुप्रयोगों में किया गया है, जो प्रमुख अमेरिकी तकनीकी कंपनियों के बाहर बड़े भाषा मॉडलों के व्यापक अपनाने में योगदान देता है।
आलोचकों का कहना है कि जुरासिक मॉडलों ने GPT-4 या क्लॉड के समान सार्वजनिक मान्यता प्राप्त नहीं की है, आंशिक रूप से कम आक्रामक विपणन के कारण। हालाँकि, मॉडल अपनी बहुभाषी क्षमताओं और उद्यम फोकस के लिए सम्मानित हैं, जिससे AI21 लैब्स प्रतिस्पर्धी AI परिदृश्य में एक उल्लेखनीय खिलाड़ी बन जाता है।