Databricks Mosaic bezieht sich auf das Unternehmen für generative KI, MosaicML, das im Juni 2023 für 1,4 Milliarden US-Dollar von Databricks übernommen wurde. MosaicML spezialisierte sich auf den Aufbau effizienter Systeme für das Training und die Bereitstellung von großen Sprachmodellen (LLMs) und bot eine Plattform, die es Organisationen ermöglichte, benutzerdefinierte KI-Modelle mit ihren eigenen Daten zu erstellen. Die Übernahme integrierte die Technologie von MosaicML in die Lakehouse-Architektur von Databricks, bildete die Grundlage für deren Data Intelligence Platform und erweiterte deren generative KI-Fähigkeiten.
MosaicML war bekannt für seine Open-Source-Modelle, darunter MPT (Mosaic Pretrained Transformers), die darauf ausgelegt waren, kosteneffizient und für Unternehmen zugänglich zu sein. Die Tools des Unternehmens ermöglichten es Nutzern, LLMs in großem Maßstab zu trainieren, feinzutunen und bereitzustellen, und adressierten die wachsende Nachfrage nach privaten und anpassbaren KI-Lösungen. Nach der Übernahme nutzte Databricks das Fachwissen von MosaicML, um Produkte wie Dolly, ein Open-Source-Sprachmodell mit 6 Milliarden Parametern, zu entwickeln und Modelle von Drittanbietern wie OpenAI und Anthropic in seine Plattform zu integrieren.
Hintergrund und Gründung
MosaicML wurde 2021 von Naveen Rao und Hanlin Tang gegründet, die beide über Erfahrung in KI und Hardware verfügten. Rao war zuvor Mitgründer von Nervana Systems, einem Startup für Deep-Learning-Hardware, das 2016 von Intel übernommen wurde. Tang hatte bei Intel gearbeitet und einen Doktortitel in Neurowissenschaften. Das Unternehmen hatte seinen Hauptsitz in San Francisco, Kalifornien, und erlangte schnell Aufmerksamkeit für seinen Fokus auf die Effizienz und Erschwinglichkeit des LLM-Trainings.
Das Startup sammelte erhebliche Mittel von Risikokapitalgebern, darunter eine Serie-B-Runde über 64 Millionen US-Dollar im Jahr 2022 unter der Leitung von Tiger Global Management. Die Plattform von MosaicML basierte auf maschinellem Lernen und betonte verteiltes Training und Optimierungstechniken, die die für groß angelegte Modelle erforderlichen Rechenressourcen reduzierten.
Technologie und Produkte
Das Kernangebot von MosaicML war ein verwalteter Dienst für das Training und die Bereitstellung von LLMs, der beliebte Architekturen wie den Transformer unterstützte. Die Plattform umfasste Tools für Datenvorbereitung, Modelltraining und Inferenz, die alle darauf ausgelegt waren, auf Cloud-Infrastrukturen von Anbietern wie Amazon Web Services, Microsoft Azure und Google Cloud zu laufen.
Eine der wichtigsten Innovationen von MosaicML war seine Open-Source-Modellfamilie MPT, die MPT-7B und MPT-30B umfasste. Diese Modelle wurden 2023 veröffentlicht und waren für ihre wettbewerbsfähige Leistung im Vergleich zu größeren proprietären Modellen bekannt, die durch effiziente Trainingstechniken erreicht wurde. MosaicML entwickelte auch Composer, eine auf PyTorch basierende Bibliothek für neuronale Netzwerke, sowie Streaming, eine Bibliothek für Datenstrom-Datensätze, die ein effizientes Laden von Daten ermöglichte.
Übernahme durch Databricks
Im Juni 2023 kündigte Databricks seine Absicht an, MosaicML für 1,3 Milliarden US-Dollar zu übernehmen, wobei der Deal später im Jahr abgeschlossen wurde. Die Übernahme war Teil der breiteren Strategie von Databricks, seine Fähigkeiten im Bereich künstliche Intelligenz zu erweitern, insbesondere im Bereich der generativen KI. Databricks integrierte die Technologie von MosaicML in seine Lakehouse-Plattform, wodurch Kunden benutzerdefinierte LLMs neben ihren Datenanalyse-Workloads erstellen und bereitstellen konnten.
Die Übernahme führte auch zur Entwicklung der Data Intelligence Platform von Databricks, die Datenmanagement mit KI-Modelltraining und -bereitstellung kombiniert. Die Tools von MosaicML wurden als Fähigkeiten von Databricks für das Training und die Bereitstellung von Basismodellen umbenannt, und das Unternehmen veröffentlichte weiterhin Open-Source-Modelle unter dem Namen MPT.
Auswirkungen und Vermächtnis
Die Übernahme von MosaicML durch Databricks war ein bedeutendes Ereignis in der KI-Branche und hob die wachsende Bedeutung effizienten LLM-Trainings sowie den Trend hervor, dass Datenplattformen generative KI integrieren. Die Technologie trug zur Fähigkeit von Databricks bei, eine sichere Umgebung für Unternehmen zu bieten, um Modelle mit proprietären Daten zu trainieren, ein wichtiger Unterschied zu Wettbewerbern wie Google DeepMind und OpenAI.
Unter Databricks setzte sich das Vermächtnis von MosaicML durch Produkte wie Dolly und die Integration von Modellen von Anthropic und OpenAI in die Databricks-Plattform fort. Die Übernahme beeinflusste auch das finanzielle Wachstum von Databricks und trug zu einer Bewertung von 188 Milliarden US-Dollar bis Juli 2026 bei, nach einer Finanzierungsrunde über 3 Milliarden US-Dollar unter der Leitung von Coatue Management.
Der Fokus von MosaicML auf Open-Source-Modelle und effiziente Trainingsmethoden hat einen bleibenden Einfluss auf die KI-Gemeinschaft gehabt, den breiteren Zugang zu LLM-Technologie gefördert und Innovationen bei der Modelloptimierung angeregt.