अगस्त 2024 में Jamba 1.5 का लॉन्च AI21 Labs द्वारा बड़े भाषा मॉडल के विकास में एक महत्वपूर्ण कदम था, जो प्राकृतिक भाषा प्रसंस्करण में विशेषज्ञता रखने वाली एक इज़राइली कंपनी है। इस रिलीज़ ने दो मॉडल पेश किए, Jamba 1.5 Large और Jamba 1.5 Mini, जिन्हें बेहतर दक्षता और लंबे संदर्भ प्रबंधन के साथ उच्च प्रदर्शन प्रदान करने के लिए डिज़ाइन किया गया था। ये मॉडल एक हाइब्रिड आर्किटेक्चर पर आधारित हैं जो ट्रांसफॉर्मर और Mamba स्टेट स्पेस मॉडल की ताकतों को जोड़ता है, और कम्प्यूटेशनल लागत और आउटपुट गुणवत्ता को संतुलित करने के लिए मिश्रण-विशेषज्ञ दृष्टिकोण का उपयोग करता है।
Jamba 1.5 मॉडल 256,000 टोकन तक के संदर्भ विंडो का समर्थन करते हैं, जिससे वे पूरी किताबों या व्यापक कोडबेस जैसे बहुत लंबे दस्तावेज़ों को संसाधित और तर्क कर सकते हैं। यह क्षमता, दक्षता पर ध्यान केंद्रित करने के साथ, Jamba 1.5 को ओपन-वेट मॉडलों के बीच एक प्रतिस्पर्धी विकल्प के रूप में स्थापित करती है, विशेष रूप से उद्यम अनुप्रयोगों के लिए जिन्हें बड़ी मात्रा में पाठ संसाधित करने की आवश्यकता होती है।
पृष्ठभूमि और विकास
AI21 Labs की स्थापना नवंबर 2017 में योव शोहम, ओरी गोशेन और अम्नोन शशुआ द्वारा तेल अवीव, इज़राइल में की गई थी। कंपनी ने शुरू में Wordtune के साथ ध्यान आकर्षित किया, जो अक्टूबर 2020 में लॉन्च किया गया एक AI-आधारित लेखन सहायक था, जिसे Google ने बाद में 2021 के अपने पसंदीदा एक्सटेंशन में से एक नामित किया। अगस्त 2021 में, AI21 Labs ने AI21 Studio और Jurassic-1 भाषा मॉडल पेश किया, जिसमें 250,000 से अधिक टोकन का शब्दावली थी।
कंपनी के प्रक्षेपवक्र में कई फंडिंग राउंड शामिल थे: जनवरी 2019 में $9.5 मिलियन का सीड राउंड, नवंबर 2021 में Walden Catalyst से $20 मिलियन का निवेश, Pitango First के नेतृत्व में $25 मिलियन की सीरीज़ A, जुलाई 2022 में $64 मिलियन की सीरीज़ B, और अगस्त 2023 में Google और Nvidia की भागीदारी के साथ $155 मिलियन की सीरीज़ C। इन निवेशों ने मार्च 2023 में Jurassic-2 की रिलीज़ सहित तेजी से परिष्कृत मॉडलों के विकास का समर्थन किया।
Jamba 1.5 का प्रत्यक्ष पूर्ववर्ती मूल Jamba मॉडल था, जो 29 मार्च 2024 को जारी किया गया था। Jamba एक ओपन-वेट मॉडल था जो मिश्रण-विशेषज्ञ डिज़ाइन के साथ हाइब्रिड Mamba-SSM ट्रांसफॉर्मर आर्किटेक्चर पर आधारित था, जो 256,000 टोकन तक के संदर्भ लंबाई का समर्थन करता था। Jamba 1.5 परिवार ने इस दृष्टिकोण को परिष्कृत किया, दक्षता और प्रदर्शन में सुधार किया।
तकनीकी आर्किटेक्चर
Jamba 1.5 मॉडल एक हाइब्रिड आर्किटेक्चर का उपयोग करते हैं जो ट्रांसफॉर्मर से मल्टी-हेड अटेंशन को Mamba स्टेट स्पेस मॉडल के साथ एकीकृत करता है। यह संयोजन दोनों की ताकतों को पकड़ने का लक्ष्य रखता है: जटिल निर्भरताओं को मॉडल करने की ट्रांसफॉर्मर की क्षमता और लंबे अनुक्रमों को संभालने में स्टेट स्पेस मॉडल की दक्षता। मिश्रण-विशेषज्ञ (MoE) तंत्र प्रत्येक टोकन के लिए मॉडल के केवल एक उपसमुच्चय को सक्रिय करता है, जिससे कम्प्यूटेशनल लागत कम होती है जबकि उच्च क्षमता बनी रहती है।
यह डिज़ाइन Jamba 1.5 को शुद्ध ट्रांसफॉर्मर मॉडलों के विशिष्ट द्विघात स्केलिंग के बिना लंबे संदर्भों को संसाधित करने की अनुमति देता है, जिससे यह दस्तावेज़ सारांशीकरण, लंबे पाठों पर प्रश्न-उत्तर, और कोड विश्लेषण जैसे कार्यों के लिए अधिक कुशल बनता है। मॉडलों को एक विविध डेटासेट पर प्रशिक्षित किया गया था, और उनकी ओपन-वेट प्रकृति शोधकर्ताओं और डेवलपर्स को विशिष्ट अनुप्रयोगों के लिए उन्हें फाइन-ट्यून करने की अनुमति देती है।
रिलीज़ और उपलब्धता
Jamba 1.5 अगस्त 2024 में जारी किया गया था, जिसमें दो वेरिएंट थे: Jamba 1.5 Large और Jamba 1.5 Mini। मॉडलों को एक खुले लाइसेंस के तहत उपलब्ध कराया गया था, जिससे व्यापक उपयोग और संशोधन की अनुमति मिली। सितंबर 2024 में, AI21 Labs ने अमेज़न वेब सर्विसेज (AWS) के साथ साझेदारी की ताकि Jamba 1.5 परिवार को Amazon Bedrock पर पेश किया जा सके, जो एक प्रबंधित सेवा है जो उद्यम अनुप्रयोगों में AI मॉडलों के एकीकरण को सक्षम बनाती है। इस साझेदारी ने Jamba की लंबे-संदर्भ क्षमताओं का लाभ उठाने की चाह रखने वाले व्यवसायों के लिए तैनाती को सुविधाजनक बनाया।
रिलीज़ ने Jamba 1.5 को OpenAI, Anthropic, और गूगल डीपमाइंड जैसे संगठनों के अन्य ओपन-वेट मॉडलों के प्रतिस्पर्धी के रूप में स्थापित किया, हालांकि वे कंपनियां मुख्य रूप से मालिकाना मॉडल पेश करती हैं। Jamba 1.5 का दक्षता और लंबे-संदर्भ प्रबंधन पर जोर उन डेवलपर्स को आकर्षित करता था जिन्हें उच्च कम्प्यूटेशनल लागतों के बिना बड़े डेटासेट संसाधित करने की आवश्यकता थी।
प्रदर्शन और बेंचमार्क
AI21 Labs ने बताया कि Jamba 1.5 मॉडलों ने प्राकृतिक भाषा समझ, तर्क, और कोड जनरेशन कार्यों सहित विभिन्न बेंचमार्कों पर प्रतिस्पर्धी परिणाम प्राप्त किए। मॉडलों को विशेष रूप से लंबे-संदर्भ कार्यों पर उनके प्रदर्शन के लिए नोट किया गया, जहां वे 256,000 टोकन तक के अनुक्रमों पर सटीकता बनाए रख सकते थे। यह एक प्रमुख विभेदक था, क्योंकि उस समय कई मॉडल ऐसे विस्तारित संदर्भों के साथ संघर्ष करते थे।
हाइब्रिड आर्किटेक्चर से दक्षता लाभ ने Jamba 1.5 को समान क्षमता वाले मॉडलों की तुलना में कम अनुमान लागत के साथ ये परिणाम देने की अनुमति दी। इसने इसे सीमित कम्प्यूटेशनल संसाधनों वाले संगठनों के लिए आकर्षक बना दिया।
उद्यम अपनाना और साझेदारियां
सितंबर 2024 में AWS के साथ साझेदारी उद्यम अपनाने की दिशा में एक प्रमुख कदम था। Jamba 1.5 को Amazon Bedrock पर उपलब्ध कराकर, AI21 Labs ने कंपनियों को AWS बुनियादी ढांचे की सुरक्षा और स्केलेबिलिटी के साथ मॉडलों को अपने वर्कफ़्लो में एकीकृत करने में सक्षम बनाया। यह कदम व्यापक दर्शकों तक पहुंचने के लिए क्लाउड प्रदाताओं के साथ साझेदारी करने वाली AI कंपनियों की व्यापक प्रवृत्ति का हिस्सा था।
मार्च 2025 में, AI21 Labs ने निजी उद्यम तैनाती के लिए Jamba 1.6 जारी किया, जिसमें दावा किया गया कि यह कई बेंचमार्कों पर अन्य ओपन मॉडलों से बेहतर प्रदर्शन करता है। उसी महीने, कंपनी ने Maestro लॉन्च किया, जो GPT-4o और Claude 3.5 Sonnet जैसे मॉडलों की जटिल कार्यों में सटीकता में सुधार करने के उद्देश्य से एक AI योजना और ऑर्केस्ट्रेशन प्रणाली है। इन विकासों ने उद्यम समाधानों पर AI21 Labs के निरंतर ध्यान का संकेत दिया।
प्रभाव और स्वागत
Jamba 1.5 लॉन्च को AI समुदाय में अच्छी तरह से प्राप्त किया गया, विशेष रूप से इसके अभिनव हाइब्रिड आर्किटेक्चर और लंबे-संदर्भ क्षमताओं के लिए। इसने 2017 में ट्रांसफॉर्मर की शुरुआत के बाद से क्षेत्र पर हावी रहे शुद्ध ट्रांसफॉर्मर आर्किटेक्चर के विकल्प के रूप में स्टेट स्पेस मॉडलों में बढ़ती रुचि में योगदान दिया। शोधकर्ताओं और चिकित्सकों ने ओपन-वेट दृष्टिकोण की सराहना की, जिसने प्रयोग और अनुकूलन की अनुमति दी।
मॉडलों ने AI में दक्षता के बारे में चर्चाओं को भी जन्म दिया, क्योंकि मिश्रण-विशेषज्ञ डिज़ाइन ने बड़े मॉडलों को चलाने की पर्यावरणीय और वित्तीय लागतों को कम किया। यह उद्योग में AI को अधिक टिकाऊ बनाने के व्यापक प्रयासों के साथ संरेखित था।
भविष्य की दिशाएं
Jamba 1.5 के बाद, AI21 Labs ने अपने मॉडल परिवार पर पुनरावृत्ति जारी रखी, मार्च 2025 में उद्यम उपयोग के लिए बेहतर प्रदर्शन के साथ Jamba 1.6 जारी किया। कंपनी ने Maestro के साथ अपने उत्पाद पारिस्थितिकी तंत्र का भी विस्तार किया, जिसका उद्देश्य जटिल, बहु-चरणीय कार्यों में AI प्रणालियों की विश्वसनीयता बढ़ाना था। इन प्रयासों ने बेंचमार्क स्कोर को आगे बढ़ाने के बजाय व्यावहारिक, तैनाती योग्य AI समाधानों पर केंद्रित एक रणनीति का सुझाव दिया।
Jamba मॉडलों में अग्रणी हाइब्रिड आर्किटेक्चर मशीन लर्निंग में भविष्य के विकास को प्रभावित कर सकता है, क्योंकि शोधकर्ता बेहतर दक्षता और क्षमता प्राप्त करने के लिए विभिन्न मॉडल प्रकारों को संयोजित करने के तरीकों का पता लगाते हैं। Jamba 1.5 की सफलता ने प्रदर्शित किया कि स्टेट स्पेस मॉडलों को ट्रांसफॉर्मर के साथ प्रभावी ढंग से एकीकृत किया जा सकता है, जिससे अनुसंधान के नए रास्ते खुलते हैं।
यह भी देखें
- कृत्रिम बुद्धिमत्ता
- जनरेटिव AI
- AI21 Labs
- Mamba स्टेट स्पेस मॉडल (यदि उपलब्ध हो)
संदर्भ
- AI21 Labs आधिकारिक दस्तावेज़ीकरण और प्रेस विज्ञप्तियां।
- Jamba 1.5 लॉन्च पर उद्योग रिपोर्टें।
- हाइब्रिड ट्रांसफॉर्मर-स्टेट स्पेस मॉडलों पर शैक्षणिक पेपर।