Databricks MosaicML ist die generative KI-Abteilung von Databricks, einem amerikanischen Softwareunternehmen für Daten und künstliche Intelligenz mit Hauptsitz in San Francisco, Kalifornien. Es entstand aus MosaicML, einem 2021 gegründeten Startup, das eine Plattform für das Training, die Feinabstimmung und die Bereitstellung großer Sprachmodelle (LLMs) und anderer Deep-Learning-Modelle entwickelte. Databricks übernahm MosaicML im Juni 2023 für 1,4 Milliarden US-Dollar und integrierte dessen Technologie in die Databricks Data Intelligence Platform, um Kunden Werkzeuge für die Erstellung eigener generativer KI-Modelle auf ihren eigenen Daten bereitzustellen.
Die MosaicML-Plattform ist bekannt für ihren Fokus auf Effizienz und Kostensenkung beim Training großer neuronaler Netze. Sie umfasst die MosaicML Composer-Bibliothek, die Techniken wie Curriculum Learning, Gradient Clipping und Layer Normalization implementiert, um das Training zu beschleunigen, sowie die MosaicML LLM Foundry, eine Suite von Werkzeugen für das Training, die Feinabstimmung und das Serving von LLMs. Nach der Übernahme benannte Databricks diese Angebote unter dem Namen Databricks MosaicML um und positionierte sie als Kernkomponente seiner verwalteten KI-Infrastruktur.
Geschichte
MosaicML wurde 2021 von Naveen Rao, Hanlin Tang und Jonathan Frankle gegründet. Rao war zuvor Mitbegründer von Nervana Systems, einem Deep-Learning-Hardware-Startup, das 2016 von Intel übernommen wurde. Das Unternehmen zielte darauf ab, das Training großer Modelle zu demokratisieren, indem es für Unternehmen zugänglicher und erschwinglicher gemacht wurde. Im Oktober 2021 sammelte MosaicML 37 Millionen US-Dollar in einer Serie-A-Finanzierungsrunde unter der Leitung von Addition, mit Beteiligung von Future Ventures und anderen.
Im Jahr 2022 veröffentlichte MosaicML die MosaicML Composer-Bibliothek, die eine Reihe von Trainingsmethoden einführte, die die Kosten für das Training von Deep-Learning-Modellen um bis zu 50 % senken konnten. Das Unternehmen startete außerdem die MosaicML Cloud, einen verwalteten Dienst für das Training und die Bereitstellung von Modellen auf Cloud-Infrastruktur. Bis Anfang 2023 erlangte MosaicML Aufmerksamkeit für seine Open-Source-Modelle, darunter MPT-7B, ein transformerbasiertes LLM mit 7 Milliarden Parametern, das im Mai 2023 veröffentlicht wurde. MPT-7B war bemerkenswert für seine wettbewerbsfähige Leistung im Vergleich zu größeren Modellen wie LLaMA-7B und wurde auf einem Datensatz von 1 Billion Tokens trainiert.
Im Juni 2023 gab Databricks seine Absicht bekannt, MosaicML für 1,4 Milliarden US-Dollar zu übernehmen. Die Übernahme wurde im Juli 2023 abgeschlossen, und MosaicML wurde eine hundertprozentige Tochtergesellschaft von Databricks. Der Deal war Teil der Strategie von Databricks, generative KI-Fähigkeiten in seine Lakehouse-Architektur zu integrieren, die Elemente von Data Warehouses und Data Lakes kombiniert. Die Übernahme brachte auch das Forscher- und Ingenieurteam von MosaicML zu Databricks, einschließlich CEO Naveen Rao, der Vizepräsident bei Databricks wurde.
Nach der Übernahme entwickelte und veröffentlichte Databricks weiterhin Modelle unter der Marke MosaicML. Im Juli 2023 veröffentlichte das Unternehmen MPT-30B, ein Modell mit 30 Milliarden Parametern, und später im Jahr führte es die Varianten MPT-7B-Instruct und MPT-30B-Instruct ein, die für die Befolgung von Anweisungen feinabgestimmt wurden. Im November 2023 veröffentlichte Databricks DBRX, ein Mixture-of-Experts-Modell (MoE) mit 132 Milliarden Parametern, das mit der MosaicML-Plattform trainiert wurde. DBRX wurde entwickelt, um mit Modellen von OpenAI, Anthropic und Google DeepMind zu konkurrieren, und zeigte starke Leistungen bei Benchmarks wie MMLU und HellaSwag.
Technologie und Plattform
Die Databricks MosaicML-Plattform basiert auf dem Konzept, Unternehmen das Training und die Bereitstellung von LLMs auf ihren eigenen Daten zu ermöglichen, wodurch Bedenken hinsichtlich Datenschutz und Sicherheit adressiert werden. Sie bietet eine Suite von Werkzeugen, die sich in die Lakehouse-Architektur von Databricks integrieren, sodass Kunden ihre vorhandenen Daten in Delta Lake nutzen können, einem Open-Source-Projekt, das ACID-Transaktionsunterstützung zu Data Lakes hinzufügt.
Zu den wichtigsten Komponenten der Plattform gehören:
- MosaicML Composer: Eine Open-Source-Bibliothek, die eine Vielzahl von Trainingstechniken implementiert, darunter Curriculum Learning, Gradient Clipping und Layer Normalization, um die Trainingseffizienz und Modellqualität zu verbessern.
- MosaicML LLM Foundry: Eine Sammlung von Werkzeugen für das Training, die Feinabstimmung und das Serving von LLMs, mit Unterstützung für gängige Architekturen wie den Transformer und für verteiltes Training über mehrere GPUs.
- MosaicML Inference: Ein Dienst für die Bereitstellung von Modellen in der Produktion, der Inferenz mit geringer Latenz und Unterstützung für Batching und Quantisierung bietet.
Diese Werkzeuge sind so konzipiert, dass sie mit großen Cloud-Anbietern wie Amazon Web Services, Microsoft Azure und Google Cloud Platform zusammenarbeiten. Databricks MosaicML unterstützt auch die Verwendung spezialisierter Hardware wie AWS-Trainium-Chips und Intel-Prozessoren, um Trainingskosten zu senken.
Modelle und Forschung
Databricks MosaicML hat mehrere Open-Source-Modelle veröffentlicht, die zum Bereich der generativen KI beigetragen haben. Die MPT-Serie (Mosaic Pretrained Transformer) umfasst Modelle mit 7 bis 30 Milliarden Parametern, die alle auf der Transformer-Architektur basieren. Diese Modelle wurden auf großen Textkorpora trainiert und für Aufgaben wie Textgenerierung, Zusammenfassung und Fragenbeantwortung verwendet.
Im Jahr 2024 führte Databricks MosaicML DBRX ein, ein MoE-Modell mit 132 Milliarden Parametern, das ein spärliches Aktivierungsmuster nutzt, um hohe Leistung bei geringeren Rechenkosten zu erzielen. DBRX wurde mit der MosaicML-Plattform trainiert und unter einer Open-Source-Lizenz veröffentlicht, sodass Forscher und Entwickler es frei nutzen können.
Das Forschungsteam bei Databricks MosaicML hat außerdem Arbeiten zu Themen wie effizienten Trainingsmethoden, Modellkompression und den Auswirkungen der Datenqualität auf die Modellleistung veröffentlicht. Sie haben mit akademischen Institutionen, darunter der University of California, Berkeley, und der Carnegie Mellon University, zusammengearbeitet, um den Stand der Technik im Deep Learning voranzutreiben.
Integration mit der Databricks-Plattform
Databricks MosaicML ist in die breitere Databricks Data Intelligence Platform integriert, die die Lakebase-Datenbank für KI-Agenten, Lakeflow Designer für die Erstellung von Datenpipelines und Agent Bricks für die Entwicklung von KI-Agenten umfasst. Die Integration ermöglicht es Kunden, die Trainings- und Inferenzfunktionen von MosaicML direkt in ihrem Databricks-Arbeitsbereich zu nutzen, wobei die Daten im Lakehouse gespeichert sind.
Einer der Hauptvorteile dieser Integration ist die Möglichkeit, LLMs auf proprietären Daten feinabzustimmen, ohne Daten an externe Dienste zu verschieben. Dies ist besonders wichtig für Branchen mit strengen Datenverwaltungsanforderungen wie Gesundheitswesen und Finanzwesen. Databricks MosaicML unterstützt auch die Bereitstellung von Modellen für Echtzeit-Inferenz, wodurch Anwendungen wie Chatbots und virtuelle Assistenten ermöglicht werden.
Im Jahr 2025 erweiterte Databricks seine generativen KI-Angebote durch Partnerschaften mit OpenAI und Anthropic, um deren Modelle in die Plattform zu integrieren. Databricks MosaicML bleibt jedoch ein eigenständiges Angebot für Kunden, die ihre eigenen Modelle trainieren und kontrollieren möchten.
Geschäft und Marktposition
Databricks MosaicML konkurriert mit anderen KI-Infrastrukturanbietern, darunter Amazon Web Services (mit seinen SageMaker- und Trainium-Angeboten), Google Cloud (mit Vertex AI) und Microsoft Azure (mit Azure Machine Learning). Es konkurriert auch mit Startups wie AI21 Labs und Inflection AI, die proprietäre Modelle und APIs anbieten.
Die Übernahme von MosaicML war Teil der breiteren Strategie von Databricks, ein führender Anbieter von KI-Infrastruktur zu werden. Databricks hat ein starkes Umsatzwachstum gemeldet, mit 1,6 Milliarden US-Dollar Umsatz im Geschäftsjahr 2023. Das Unternehmen hat auch erhebliche Finanzmittel aufgenommen, darunter eine Runde von 10 Milliarden US-Dollar im Dezember 2024 bei einer Bewertung von 62 Milliarden US-Dollar und eine Serie-L-Runde von 4 Milliarden US-Dollar im Dezember 2025 bei einer Bewertung von 134 Milliarden US-Dollar.
Auswirkungen und Rezeption
Databricks MosaicML wurde von der KI-Community für seinen Fokus auf Open-Source-Modelle und kosteneffizientes Training gut aufgenommen. Die Veröffentlichung von MPT-7B und DBRX wurde dafür gelobt, hochwertige LLMs einem breiteren Publikum zugänglich zu machen. Einige Kritiker haben jedoch angemerkt, dass die Modelle möglicherweise nicht die Leistung der größten proprietären Modelle von OpenAI oder Google DeepMind erreichen und dass die Plattform erhebliches technisches Fachwissen erfordert, um sie effektiv zu nutzen.
Trotz dieser Herausforderungen hat sich Databricks MosaicML als wichtiger Akteur im Enterprise-KI-Markt etabliert, mit einem starken Schwerpunkt auf Datenschutz und Anpassung. Ab 2026 entwickelt sich die Plattform weiter, mit laufender Forschung zu neuen Trainingsmethoden und Modellarchitekturen.