DBRX एक ओपन-सोर्स लार्ज लैंग्वेज मॉडल है जिसे Databricks द्वारा विकसित किया गया था और मार्च 2024 में जारी किया गया था। यह मिश्रित-विशेषज्ञ (MoE) आर्किटेक्चर का उपयोग करता है, एक डिज़ाइन जो प्रत्येक इनपुट के लिए अपने मापदंडों के केवल एक उपसमूह को सक्रिय करता है, जिससे उच्च प्रदर्शन बनाए रखते हुए कुशल अनुमान सक्षम होता है। मॉडल को OpenAI और Anthropic के स्वामित्व वाले सिस्टम के लिए एक प्रतिस्पर्धी विकल्प के रूप में स्थापित किया गया था, जिसमें Databricks ने इसकी खुली उपलब्धता और लागत-प्रभावी संचालन पर जोर दिया।
DBRX की रिलीज़ ने Databricks की अपने डेटा प्लेटफ़ॉर्म में जनरेटिव AI क्षमताओं को एकीकृत करने की रणनीति में एक महत्वपूर्ण कदम चिह्नित किया। यह कंपनी द्वारा पहले पेश किए गए Dolly, एक छोटे ओपन-सोर्स मॉडल, और 2023 में MosaicML के अधिग्रहण के बाद आया। DBRX कंपनी के मौजूदा बुनियादी ढांचे पर बनाया गया था, जिसमें डेटा एनालिटिक्स और कृत्रिम बुद्धिमत्ता के लिए एक क्लाउड-आधारित प्लेटफ़ॉर्म शामिल है, जो मूल रूप से Amazon Web Services, Microsoft Azure, और Google Cloud पर संचालित होता है।
आर्किटेक्चर और डिज़ाइन
DBRX मिश्रित-विशेषज्ञ आर्किटेक्चर का उपयोग करता है, एक तकनीक जो लार्ज लैंग्वेज मॉडल में मापदंडों को आनुपातिक रूप से कंप्यूटेशनल लागत बढ़ाए बिना स्केल करने की क्षमता के लिए प्रमुखता प्राप्त कर चुकी है। मॉडल में कुल 132 बिलियन पैरामीटर हैं, लेकिन किसी भी दिए गए फॉरवर्ड पास के दौरान केवल 36 बिलियन सक्रिय होते हैं। यह स्पार्स सक्रियण एक राउटर नेटवर्क के माध्यम से प्राप्त किया जाता है जो प्रत्येक टोकन के लिए सबसे प्रासंगिक विशेषज्ञों का चयन करता है, एक तंत्र जो मल्टी-हेड अटेंशन और ट्रांसफॉर्मर आर्किटेक्चर के अन्य घटकों से संबंधित है।
MoE डिज़ाइन DBRX को बहुत छोटे मॉडलों के बराबर अनुमान गति प्राप्त करने की अनुमति देता है, जबकि एक बड़े नेटवर्क की ज्ञान क्षमता बनाए रखता है। Databricks ने बताया कि DBRX ने कई बेंचमार्क पर मौजूदा ओपन-सोर्स मॉडलों को पीछे छोड़ दिया, जिनमें भाषा समझ, तर्क और कोड जनरेशन को मापने वाले शामिल हैं। मॉडल को पाठ और कोड के एक बड़े कॉर्पस पर प्रशिक्षित किया गया था, जिसमें Databricks ने उच्च-गुणवत्ता वाले डेटा क्यूरेशन और फ़िल्टरिंग तकनीकों के उपयोग पर जोर दिया।
प्रशिक्षण और विकास
DBRX को Databricks द्वारा विकसित किया गया था, एक कंपनी जिसे 2013 में कैलिफोर्निया विश्वविद्यालय, बर्कले में Apache Spark के मूल रचनाकारों द्वारा स्थापित किया गया था। प्रशिक्षण प्रक्रिया ने Databricks के अपने बुनियादी ढांचे का लाभ उठाया, जिसमें इसका मशीन लर्निंग प्लेटफ़ॉर्म और 2023 में अधिग्रहित MosaicML प्रशिक्षण टूलकिट शामिल है। कंपनी ने उपयोग किए गए सटीक कंप्यूट संसाधनों का खुलासा नहीं किया, लेकिन कहा कि प्रशिक्षण समान मॉडलों की तुलना में अपेक्षाकृत कम समय में पूरा हुआ।
DBRX का विकास जनरेटिव AI में स्वामित्व वाले प्रस्तावों के साथ प्रतिस्पर्धा करने वाले ओपन-सोर्स मॉडलों की ओर व्यापक प्रवृत्ति का हिस्सा था। Databricks ने DBRX को एक ऐसे मॉडल के रूप में स्थापित किया जिसे संगठन अपने स्वयं के वातावरण में तैनात कर सकते हैं, बाहरी APIs को डेटा भेजने की आवश्यकता से बचते हुए। यह दृष्टिकोण कंपनी के एक सुरक्षित परिधि के भीतर प्रबंधित AI बुनियादी ढांचा प्रदान करने पर ध्यान केंद्रित करने के साथ संरेखित था, एक विशेषता जो तीसरे पक्ष के मॉडलों के साथ इसके एकीकरण पर भी लागू होती है।
प्रदर्शन और बेंचमार्क
Databricks ने अपने लॉन्च के समय DBRX के लिए बेंचमार्क परिणाम जारी किए, जो ओपन-सोर्स और स्वामित्व वाले दोनों मॉडलों के खिलाफ प्रतिस्पर्धी प्रदर्शन दिखाते हैं। MMLU बेंचमार्क पर, जो 57 विषयों में व्यापक ज्ञान का परीक्षण करता है, DBRX ने 73.7% स्कोर किया, जो कई मौजूदा ओपन-सोर्स मॉडलों से आगे निकल गया। कोड जनरेशन के लिए HumanEval बेंचमार्क पर, DBRX ने 70.1% का pass@1 स्कोर हासिल किया, जो उस समय एक ओपन-सोर्स मॉडल के लिए एक मजबूत परिणाम था।
मॉडल ने तर्क कार्यों पर भी मजबूत प्रदर्शन प्रदर्शित किया, जैसे कि ग्रेड-स्कूल गणित समस्याओं के लिए GSM8K बेंचमार्क, जहां इसने 72.8% स्कोर किया। Databricks ने इन परिणामों को MoE आर्किटेक्चर और प्रशिक्षण डेटा की गुणवत्ता के लिए जिम्मेदार ठहराया। हालांकि, कंपनी ने Google DeepMind या OpenAI के सबसे उन्नत स्वामित्व वाले मॉडलों के साथ सीधी तुलना प्रदान नहीं की, और रिलीज़ के बाद के महीनों में स्वतंत्र मूल्यांकन सीमित थे।
ओपन-सोर्स रिलीज़ और उपलब्धता
DBRX को एक ओपन-सोर्स लाइसेंस के तहत जारी किया गया था, जिससे शोधकर्ताओं और डेवलपर्स को मॉडल को स्वतंत्र रूप से डाउनलोड करने, संशोधित करने और तैनात करने की अनुमति मिली। वेट्स को Hugging Face जैसे प्लेटफ़ॉर्म के माध्यम से उपलब्ध कराया गया था, और Databricks ने फाइन-ट्यूनिंग और अनुमान के लिए दस्तावेज़ीकरण और उदाहरण प्रदान किए। यह रिलीज़ अपने आकार के लिए उल्लेखनीय थी, क्योंकि उस समय अधिकांश ओपन-सोर्स मॉडल काफी छोटे थे, और इसके प्रदर्शन के लिए, जो स्वामित्व वाले सिस्टम के करीब पहुंच गया।
DBRX की ओपन-सोर्स प्रकृति Databricks द्वारा एक जानबूझकर विकल्प थी, जो OpenAI और Anthropic के बंद दृष्टिकोणों के विपरीत थी। कंपनी ने तर्क दिया कि ओपन मॉडल उद्यमों के लिए अधिक पारदर्शिता और नियंत्रण प्रदान करते हैं, विशेष रूप से विनियमित उद्योगों में। DBRX ने Databricks के अपने उत्पाद प्रस्तावों के लिए एक आधार के रूप में भी कार्य किया, जिसमें इसका डेटा इंटेलिजेंस प्लेटफ़ॉर्म और AI एजेंट बनाने के लिए उपकरण शामिल हैं।
Databricks प्लेटफ़ॉर्म के साथ एकीकरण
DBRX को Databricks के प्लेटफ़ॉर्म में एकीकृत किया गया था, जो डेटा इंजीनियरिंग, डेटा विज्ञान और AI के लिए एक एकीकृत वातावरण प्रदान करता है। उपयोगकर्ता प्लेटफ़ॉर्म की मॉडल सर्विंग क्षमताओं के माध्यम से DBRX तक पहुंच सकते हैं, जो बैच और रीयल-टाइम दोनों अनुमान का समर्थन करते हैं। एकीकरण ने संगठनों को DBRX को लेकहाउस आर्किटेक्चर में संग्रहीत अपने स्वयं के डेटा के साथ संयोजित करने की अनुमति दी, जो डेटा वेयरहाउस और डेटा लेक्स का एक हाइब्रिड है जिसे Databricks ने अग्रणी बनाया।
प्लेटफ़ॉर्म ने कस्टम डेटासेट पर DBRX को फाइन-ट्यून करने के लिए उपकरण भी प्रदान किए, जैसे कि AI फीडबैक से सुदृढीकरण लर्निंग और पाठ्यक्रम लर्निंग जैसी तकनीकों का उपयोग करना। Databricks ने इन क्षमताओं को उद्यमों के लिए खरोंच से प्रशिक्षण की लागत के बिना डोमेन-विशिष्ट मॉडल बनाने के तरीके के रूप में स्थापित किया। कंपनी की व्यापक रणनीति में अपने स्वयं के ओपन-सोर्स रिलीज़ के साथ-साथ भागीदारों से स्वामित्व वाले मॉडलों सहित मॉडलों की एक श्रृंखला पेश करना शामिल था।
बाजार संदर्भ और स्वागत
DBRX का लॉन्च लार्ज लैंग्वेज मॉडल स्पेस में तीव्र प्रतिस्पर्धा की अवधि के दौरान हुआ। OpenAI ने मार्च 2023 में GPT-4 जारी किया था, और Anthropic ने मार्च 2024 में क्लाउड 3 पेश किया था, DBRX से कुछ हफ्ते पहले। रिलीज़ Databricks की वित्तीय वृद्धि के सापेक्ष अपने समय के लिए भी उल्लेखनीय थी, कंपनी ने 2023 वित्तीय वर्ष के लिए $1.6 बिलियन राजस्व की सूचना दी और महत्वपूर्ण फंडिंग राउंड जुटाए।
DBRX के लिए स्वागत आम तौर पर सकारात्मक था, समीक्षकों ने इसके आकार के सापेक्ष इसके प्रदर्शन और इसके ओपन लाइसेंस की प्रशंसा की। कुछ विश्लेषकों ने नोट किया कि MoE आर्किटेक्चर ने इसे लागत-संवेदनशील तैनाती के लिए विशेष रूप से आकर्षक बना दिया, क्योंकि स्पार्स सक्रियण ने कंप्यूट आवश्यकताओं को कम कर दिया। हालांकि, मॉडल को पारिस्थितिकी तंत्र अपनाने के मामले में चुनौतियों का सामना करना पड़ा, क्योंकि यह अधिक स्थापित ओपन-सोर्स मॉडलों और छोटे, अधिक कुशल मॉडलों की बढ़ती लोकप्रियता के साथ प्रतिस्पर्धा करता था।
प्रभाव और विरासत
DBRX ने स्वामित्व वाले सिस्टम के साथ अंतर को बंद करने वाले ओपन-सोर्स मॉडलों की व्यापक प्रवृत्ति में योगदान दिया। इसकी रिलीज़ ने प्रदर्शित किया कि MoE आर्किटेक्चर को प्रभावी ढंग से प्रशिक्षित और बड़े पैमाने पर तैनात किया जा सकता है, जिससे अन्य संगठनों के बाद के मॉडल डिज़ाइन प्रभावित हुए। Databricks ने अपनी AI क्षमताओं को विकसित करना जारी रखा, बाद में अतिरिक्त मॉडल और उपकरण पेश किए, जिनमें AI एजेंट बनाने के लिए Agent Bricks सूट और AI अनुप्रयोगों के लिए डिज़ाइन किया गया डेटाबेस Lakebase शामिल है।
मॉडल ने एंटरप्राइज़ सॉफ़्टवेयर कंपनियों के लिए ओपन-सोर्स AI के रणनीतिक महत्व को भी उजागर किया। DBRX जारी करके, Databricks ने खुद को बुनियादी ढांचे और मॉडल दोनों के प्रदाता के रूप में स्थापित किया, जो क्लाउड प्रदाताओं और AI स्टार्टअप्स के साथ प्रतिस्पर्धा करता है। 2025 में OpenAI और Anthropic के साथ कंपनी की बाद की साझेदारी, जिसने उनके मॉडलों को Databricks प्लेटफ़ॉर्म में एकीकृत किया, ने दिखाया कि यह अपने स्वयं के प्रस्तावों के साथ एक मल्टी-मॉडल दृष्टिकोण का समर्थन करना जारी रखता है।
तकनीकी विशिष्टताएँ
DBRX के तकनीकी विवरण Databricks द्वारा प्रकाशित एक तकनीकी रिपोर्ट और ब्लॉग पोस्ट में खुलासा किए गए थे। मॉडल फीडफॉरवर्ड नेटवर्क को बदलने वाली मिश्रित-विशेषज्ञ परत के साथ एक मानक ट्रांसफॉर्मर डिकोडर आर्किटेक्चर का उपयोग करता है। इसमें कुल 132 बिलियन पैरामीटर हैं, जिनमें से 36 बिलियन अनुमान के दौरान सक्रिय हैं। मॉडल को पाठ और कोड के 12 ट्रिलियन टोकन पर प्रशिक्षित किया गया था, एक पर्याप्त डेटासेट जिसके लिए महत्वपूर्ण कंप्यूट संसाधनों की आवश्यकता थी।
मॉडल 32,768 टोकन की संदर्भ लंबाई का समर्थन करता है, जिससे यह लंबे दस्तावेज़ों और वार्तालापों को संसाधित कर सकता है। यह 100,000 टोकन की शब्दावली के साथ एक टोकनाइज़र का उपयोग करता है, जो विविध पाठ के कुशल एन्कोडिंग को सक्षम करता है। Databricks ने एक फाइन-ट्यून किया गया संस्करण, DBRX Instruct भी जारी किया, जो निर्देशों का पालन करने और चैट-आधारित इंटरैक्शन के लिए अनुकूलित है। फाइन-ट्यूनिंग प्रक्रिया ने पर्यवेक्षित लर्निंग और मानव फीडबैक से सुदृढीकरण लर्निंग का उपयोग किया, जो आधुनिक भाषा मॉडल विकास में सामान्य तकनीकें हैं।
समकालीन मॉडलों के साथ तुलना
अपनी रिलीज़ के समय, DBRX की तुलना कई अन्य ओपन-सोर्स मॉडलों से की गई थी, जिनमें Meta का Llama 2 और Mistral का Mixtral 8x7B शामिल हैं। DBRX ने आम तौर पर मानक बेंचमार्क पर इन मॉडलों को पीछे छोड़ दिया, विशेष रूप से कोड जनरेशन और तर्क कार्यों में। मॉडल के प्रदर्शन की तुलना कुछ स्वामित्व वाले मॉडलों से भी अनुकूल रूप से की गई, हालांकि यह OpenAI या Google के सबसे उन्नत सिस्टम से मेल नहीं खाता था।
MoE आर्किटेक्चर ने DBRX को अनुमान दक्षता में एक विशिष्ट लाभ दिया। केवल 36 बिलियन सक्रिय मापदंडों के साथ, इसे समान कुल आकार के घने मॉडलों की तुलना में प्रति टोकन कम कंप्यूट की आवश्यकता थी। इसने इसे AMD और Intel प्रोसेसर सहित विभिन्न हार्डवेयर पर तैनाती के लिए उपयुक्त बना दिया, साथ ही विशेष एक्सेलेरेटर भी। Databricks ने विशिष्ट विलंबता माप प्रदान नहीं किए, लेकिन आर्किटेक्चर के डिज़ाइन ने प्रतिस्पर्धी प्रदर्शन का सुझाव दिया।
भविष्य के विकास
DBRX की रिलीज़ के बाद, Databricks ने AI अनुसंधान और विकास में निवेश करना जारी रखा। कंपनी के बाद के अधिग्रहण और साझेदारी, जिनमें OpenAI के साथ 2025 की साझेदारी और 2026 में Electric का अधिग्रहण शामिल है, ने अपनी AI क्षमताओं का विस्तार करने पर ध्यान केंद्रित किया। जबकि Databricks ने DBRX के प्रत्यक्ष उत्तराधिकारी की घोषणा नहीं की, मॉडल के आर्किटेक्चर और ओपन-सोर्स दर्शन ने कंपनी के बाद के उत्पादों को प्रभावित किया।
DBRX के लॉन्च के बाद व्यापक AI परिदृश्य तेजी से विकसित हुआ, नियमित रूप से नए मॉडल और तकनीकें उभर रही हैं। दक्षता और खुली उपलब्धता पर जोर जो DBRX ने उदाहरणित किया, उद्योग में एक प्रमुख विषय बना रहा, क्योंकि संगठनों ने लागत-प्रभावी और पारदर्शी तरीकों से AI तैनात करने की मांग की। एक मॉडल डेवलपर और बुनियादी ढांचा प्रदाता दोनों के रूप में Databricks की भूमिका ने इसे इन प्रवृत्तियों से लाभ उठाने के लिए स्थित किया।