Databricks MosaicML, Databricks का जनरेटिव AI प्रभाग है, जो सैन फ्रांसिस्को, कैलिफोर्निया में मुख्यालय वाली एक अमेरिकी डेटा और कृत्रिम बुद्धिमत्ता सॉफ्टवेयर कंपनी है। इसकी उत्पत्ति MosaicML से हुई, जो 2021 में स्थापित एक स्टार्टअप था, जिसने बड़े भाषा मॉडल (LLMs) और अन्य डीप लर्निंग मॉडल को प्रशिक्षित करने, फाइन-ट्यून करने और तैनात करने के लिए एक प्लेटफॉर्म विकसित किया। Databricks ने जून 2023 में MosaicML का अधिग्रहण $1.4 बिलियन में किया, और अपनी तकनीक को Databricks Data Intelligence Platform में एकीकृत किया, ताकि ग्राहकों को अपने स्वयं के डेटा पर कस्टम जनरेटिव AI मॉडल बनाने के लिए उपकरण प्रदान किए जा सकें।
MosaicML प्लेटफॉर्म बड़े न्यूरल नेटवर्क को प्रशिक्षित करने में दक्षता और लागत में कमी पर अपने जोर के लिए जाना जाता है। इसमें MosaicML Composer लाइब्रेरी शामिल है, जो प्रशिक्षण में तेजी लाने के लिए करिकुलम लर्निंग, ग्रेडिएंट क्लिपिंग और लेयर नॉर्मलाइजेशन जैसी तकनीकों को लागू करती है, और MosaicML LLM Foundry, जो LLMs को प्रशिक्षित करने, फाइन-ट्यून करने और सेवा देने के लिए उपकरणों का एक सूट है। अधिग्रहण के बाद, Databricks ने इन पेशकशों को Databricks MosaicML नाम से रीब्रांड किया, और उन्हें अपने प्रबंधित AI इंफ्रास्ट्रक्चर के मुख्य घटक के रूप में स्थापित किया।
इतिहास
MosaicML की स्थापना 2021 में नवीन राव, हानलिन टैंग और जोनाथन फ्रैंकल द्वारा की गई थी। राव ने पहले Nervana Systems की सह-स्थापना की थी, जो एक डीप लर्निंग हार्डवेयर स्टार्टअप था जिसे 2016 में Intel द्वारा अधिग्रहित किया गया था। कंपनी का लक्ष्य बड़े पैमाने पर मॉडल प्रशिक्षण को उद्यमों के लिए अधिक सुलभ और किफायती बनाकर लोकतांत्रिक बनाना था। अक्टूबर 2021 में, MosaicML ने Addition के नेतृत्व में एक सीरीज A फंडिंग राउंड में $37 मिलियन जुटाए, जिसमें Future Ventures और अन्य ने भाग लिया।
2022 में, MosaicML ने MosaicML Composer लाइब्रेरी जारी की, जिसने प्रशिक्षण विधियों का एक सेट पेश किया जो डीप लर्निंग मॉडल को प्रशिक्षित करने की लागत को 50% तक कम कर सकता था। कंपनी ने MosaicML Cloud भी लॉन्च किया, जो क्लाउड इंफ्रास्ट्रक्चर पर मॉडल को प्रशिक्षित करने और तैनात करने के लिए एक प्रबंधित सेवा है। 2023 की शुरुआत तक, MosaicML ने अपने ओपन-सोर्स मॉडलों के लिए ध्यान आकर्षित किया था, जिसमें MPT-7B भी शामिल था, जो मई 2023 में जारी एक 7-बिलियन-पैरामीटर ट्रांसफॉर्मर-आधारित LLM था। MPT-7B अपने प्रतिस्पर्धी प्रदर्शन के लिए उल्लेखनीय था, जैसे LLaMA-7B जैसे बड़े मॉडलों की तुलना में, और इसे 1 ट्रिलियन टोकन के डेटासेट पर प्रशिक्षित किया गया था।
जून 2023 में, Databricks ने MosaicML को $1.4 बिलियन में अधिग्रहित करने के अपने इरादे की घोषणा की। अधिग्रहण जुलाई 2023 में पूरा हुआ, और MosaicML Databricks की पूर्ण स्वामित्व वाली सहायक कंपनी बन गई। यह सौदा Databricks की अपनी लेकहाउस आर्किटेक्चर में जनरेटिव AI क्षमताओं को एकीकृत करने की रणनीति का हिस्सा था, जो डेटा वेयरहाउस और डेटा लेक के तत्वों को जोड़ती है। इस अधिग्रहण ने MosaicML की शोधकर्ताओं और इंजीनियरों की टीम को भी Databricks में लाया, जिसमें इसके CEO नवीन राव भी शामिल थे, जो Databricks में उपाध्यक्ष बने।
अधिग्रहण के बाद, Databricks ने MosaicML ब्रांड के तहत मॉडल विकसित और जारी करना जारी रखा। जुलाई 2023 में, कंपनी ने MPT-30B जारी किया, जो एक 30-बिलियन-पैरामीटर मॉडल है, और उसी वर्ष बाद में, इसने निर्देश-अनुसरण के लिए फाइन-ट्यून किए गए MPT-7B-Instruct और MPT-30B-Instruct वेरिएंट पेश किए। नवंबर 2023 में, Databricks ने DBRX जारी किया, जो एक 132-बिलियन-पैरामीटर मिश्रण-ऑफ-एक्सपर्ट्स (MoE) मॉडल है, जिसे MosaicML प्लेटफॉर्म का उपयोग करके प्रशिक्षित किया गया था। DBRX को OpenAI, Anthropic और Google DeepMind के मॉडलों के साथ प्रतिस्पर्धा करने के लिए डिज़ाइन किया गया था, और इसने MMLU और HellaSwag जैसे बेंचमार्क पर मजबूत प्रदर्शन दिखाया।
प्रौद्योगिकी और प्लेटफॉर्म
Databricks MosaicML प्लेटफॉर्म उद्यमों को अपने स्वयं के डेटा पर LLMs को प्रशिक्षित करने और तैनात करने में सक्षम बनाने की अवधारणा के आसपास बनाया गया है, जो डेटा गोपनीयता और सुरक्षा के बारे में चिंताओं को संबोधित करता है। यह उपकरणों का एक सूट प्रदान करता है जो Databricks के लेकहाउस आर्किचेक्चर के साथ एकीकृत होता है, जिससे ग्राहक Delta Lake में संग्रहीत अपने मौजूदा डेटा का उपयोग कर सकते हैं, जो डेटा लेक में ACID ट्रांजेक्शन समर्थन जोड़ने वाला एक ओपन-सोर्स प्रोजेक्ट है।
प्लेटफॉर्म के प्रमुख घटकों में शामिल हैं:
- MosaicML Composer: एक ओपन-सोर्स लाइब्रेरी जो प्रशिक्षण दक्षता और मॉडल गुणवत्ता में सुधार के लिए करिकुलम लर्निंग, ग्रेडिएंट क्लिपिंग और लेयर नॉर्मलाइजेशन सहित विभिन्न प्रशिक्षण तकनीकों को लागू करती है।
- MosaicML LLM Foundry: LLMs को प्रशिक्षित करने, फाइन-ट्यून करने और सेवा देने के लिए उपकरणों का एक संग्रह, जो ट्रांसफॉर्मर जैसी लोकप्रिय आर्किटेक्चर और कई GPUs में वितरित प्रशिक्षण के लिए समर्थन प्रदान करता है।
- MosaicML Inference: उत्पादन में मॉडल तैनात करने के लिए एक सेवा, जो बैचिंग और क्वांटाइजेशन के समर्थन के साथ कम-विलंबता इन्फ्रेंस प्रदान करती है।
ये उपकरण Amazon Web Services, Microsoft Azure और Google Cloud Platform सहित प्रमुख क्लाउड प्रदाताओं के साथ काम करने के लिए डिज़ाइन किए गए हैं। Databricks MosaicML प्रशिक्षण लागत कम करने के लिए AWS Trainium चिप्स और Intel प्रोसेसर जैसे विशेष हार्डवेयर के उपयोग का भी समर्थन करता है।
मॉडल और अनुसंधान
Databricks MosaicML ने कई ओपन-सोर्स मॉडल जारी किए हैं जिन्होंने जनरेटिव AI के क्षेत्र में योगदान दिया है। MPT (Mosaic Pretrained Transformer) श्रृंखला में 7 बिलियन से 30 बिलियन पैरामीटर तक के मॉडल शामिल हैं, जो सभी ट्रांसफॉर्मर आर्किटेक्चर पर आधारित हैं। इन मॉडलों को बड़े टेक्स्ट कॉर्पोरा पर प्रशिक्षित किया गया था और टेक्स्ट जनरेशन, सारांशीकरण और प्रश्न-उत्तर जैसे कार्यों के लिए उपयोग किया गया है।
2024 में, Databricks MosaicML ने DBRX पेश किया, जो एक 132-बिलियन-पैरामीटर MoE मॉडल है जो कम कम्प्यूटेशनल लागत के साथ उच्च प्रदर्शन प्राप्त करने के लिए एक स्पार्स एक्टिवेशन पैटर्न का उपयोग करता है। DBRX को MosaicML प्लेटफॉर्म का उपयोग करके प्रशिक्षित किया गया था और इसे एक ओपन-सोर्स लाइसेंस के तहत जारी किया गया था, जिससे शोधकर्ताओं और डेवलपर्स इसे स्वतंत्र रूप से उपयोग कर सकते हैं।
Databricks MosaicML की शोध टीम ने कुशल प्रशिक्षण विधियों, मॉडल संपीड़न और मॉडल प्रदर्शन पर डेटा गुणवत्ता के प्रभाव जैसे विषयों पर पेपर भी प्रकाशित किए हैं। उन्होंने डीप लर्निंग में अत्याधुनिकता को आगे बढ़ाने के लिए कैलिफोर्निया विश्वविद्यालय, बर्कले और कार्नेगी मेलन विश्वविद्यालय सहित शैक्षणिक संस्थानों के साथ सहयोग किया है।
Databricks प्लेटफॉर्म के साथ एकीकरण
Databricks MosaicML व्यापक Databricks Data Intelligence Platform में एकीकृत है, जिसमें AI एजेंटों के लिए Lakebase डेटाबेस, डेटा पाइपलाइन बनाने के लिए Lakeflow Designer और AI एजेंट विकसित करने के लिए Agent Bricks शामिल हैं। यह एकीकरण ग्राहकों को लेकहाउस में संग्रहीत डेटा के साथ, अपने Databricks वर्कस्पेस के भीतर सीधे MosaicML की प्रशिक्षण और इन्फ्रेंस क्षमताओं का उपयोग करने की अनुमति देता है।
इस एकीकरण के प्रमुख लाभों में से एक डेटा को बाहरी सेवाओं में स्थानांतरित किए बिना स्वामित्व डेटा पर LLMs को फाइन-ट्यून करने की क्षमता है। यह सख्त डेटा गवर्नेंस आवश्यकताओं वाले उद्योगों, जैसे स्वास्थ्य सेवा और वित्त, के लिए विशेष रूप से महत्वपूर्ण है। Databricks MosaicML वास्तविक समय इन्फ्रेंस के लिए मॉडल तैनात करने का भी समर्थन करता है, जिससे चैटबॉट और वर्चुअल असिस्टेंट जैसे अनुप्रयोग सक्षम होते हैं।
2025 में, Databricks ने OpenAI और Anthropic के साथ साझेदारी करके अपने मॉडलों को प्लेटफॉर्म में शामिल करके अपनी जनरेटिव AI पेशकशों का विस्तार किया। हालांकि, Databricks MosaicML उन ग्राहकों के लिए एक अलग पेशकश बनी हुई है जो अपने स्वयं के मॉडल को प्रशिक्षित और नियंत्रित करना पसंद करते हैं।
व्यवसाय और बाजार स्थिति
Databricks MosaicML अन्य AI इंफ्रास्ट्रक्चर प्रदाताओं के साथ प्रतिस्पर्धा करता है, जिसमें Amazon Web Services (अपने SageMaker और Trainium पेशकशों के साथ), Google Cloud (Vertex AI के साथ) और Microsoft Azure (Azure Machine Learning के साथ) शामिल हैं। यह AI21 Labs और Inflection AI जैसे स्टार्टअप्स के साथ भी प्रतिस्पर्धा करता है, जो स्वामित्व मॉडल और APIs प्रदान करते हैं।
MosaicML का अधिग्रहण Databricks की AI इंफ्रास्ट्रक्चर के अग्रणी प्रदाता बनने की व्यापक रणनीति का हिस्सा था। Databricks ने मजबूत राजस्व वृद्धि की सूचना दी है, जिसमें 2023 वित्तीय वर्ष के लिए $1.6 बिलियन का राजस्व शामिल है। कंपनी ने महत्वपूर्ण फंडिंग भी जुटाई है, जिसमें दिसंबर 2024 में $62 बिलियन मूल्यांकन पर $10 बिलियन का राउंड और दिसंबर 2025 में $134 बिलियन मूल्यांकन पर $4 बिलियन का सीरीज L राउंड शामिल है।
प्रभाव और स्वागत
Databricks MosaicML को AI समुदाय से ओपन-सोर्स मॉडल और लागत-कुशल प्रशिक्षण पर ध्यान केंद्रित करने के लिए अच्छी प्रतिक्रिया मिली है। MPT-7B और DBRX की रिलीज़ को उच्च-गुणवत्ता वाले LLMs को व्यापक दर्शकों के लिए सुलभ बनाने के लिए सराहा गया है। हालांकि, कुछ आलोचकों ने नोट किया है कि मॉडल OpenAI या Google DeepMind के सबसे बड़े स्वामित्व मॉडलों के प्रदर्शन से मेल नहीं खा सकते हैं, और प्लेटफॉर्म को प्रभावी ढंग से उपयोग करने के लिए महत्वपूर्ण तकनीकी विशेषज्ञता की आवश्यकता होती है।
इन चुनौतियों के बावजूद, Databricks MosaicML ने डेटा गोपनीयता और अनुकूलन पर मजबूत जोर देने के साथ, एंटरप्राइज़ AI बाजार में एक प्रमुख खिलाड़ी के रूप में खुद को स्थापित किया है। 2026 तक, प्लेटफॉर्म नई प्रशिक्षण विधियों और मॉडल आर्किटेक्चर में चल रहे शोध के साथ विकसित होता जा रहा है।