Databricks MosaicML est la division d'intelligence artificielle générative de Databricks, une entreprise américaine de logiciels de données et d'intelligence artificielle dont le siège est à San Francisco, en Californie. Elle est issue de MosaicML, une start-up fondée en 2021 qui a développé une plateforme pour entraîner, affiner et déployer de grands modèles de langage (LLM) et d'autres modèles d'apprentissage profond. Databricks a acquis MosaicML en juin 2023 pour 1,4 milliard de dollars, intégrant sa technologie dans la plateforme Databricks Data Intelligence pour fournir aux clients des outils permettant de construire des modèles d'IA générative personnalisés sur leurs propres données.
La plateforme MosaicML est connue pour son accent sur l'efficacité et la réduction des coûts dans l'entraînement de grands réseaux neuronaux. Elle comprend la bibliothèque MosaicML Composer, qui implémente des techniques telles que l'apprentissage curriculaire, le clipping de gradient et la normalisation de couches pour accélérer l'entraînement, et la MosaicML LLM Foundry, un ensemble d'outils pour entraîner, fine-tuner et servir des LLM. Après l'acquisition, Databricks a renommé ces offres sous le nom de Databricks MosaicML, les positionnant comme un composant central de son infrastructure d'IA gérée.
Histoire
MosaicML a été fondée en 2021 par Naveen Rao, Hanlin Tang et Jonathan Frankle. Rao avait auparavant cofondé Nervana Systems, une start-up de matériel d'apprentissage profond acquise par Intel en 2016. L'entreprise visait à démocratiser l'entraînement de modèles à grande échelle en le rendant plus accessible et abordable pour les entreprises. En octobre 2021, MosaicML a levé 37 millions de dollars lors d'un tour de financement de série A mené par Addition, avec la participation de Future Ventures et d'autres.
En 2022, MosaicML a publié la bibliothèque MosaicML Composer, qui a introduit un ensemble de méthodes d'entraînement pouvant réduire le coût de l'entraînement de modèles d'apprentissage profond jusqu'à 50 %. L'entreprise a également lancé MosaicML Cloud, un service géré pour entraîner et déployer des modèles sur une infrastructure cloud. Au début de 2023, MosaicML avait attiré l'attention pour ses modèles open-source, notamment MPT-7B, un modèle de langage basé sur transformer avec 7 milliards de paramètres, publié en mai 2023. Toutefois, MPT-7B était notable pour sa performance compétitive par rapport à des modèles plus grands comme LLaMA-7B, et il a été entraîné sur un jeu de données de 100 milliards de tokens.
En juin 2023, Databricks a annoncé son intention d'acquérir MosaicML pour 1,4 milliard de dollars. L'acquisition a été complétée en juillet 2023, et MosaicML est devenue une filiale à part entière de Databricks. Cet accord faisait partie de la stratégie de Databricks visant à intégrer les capacités d'IA générative dans son architecture de lakehouse, qui combine des éléments de data warehouse et de data lake. L'acquisition a également apporté l'équipe de chercheurs et d'ingénieurs de MosaicML chez Databricks, y comprissesar du directeurs general, Naveen Rao, devenu vice-président chez Databricks.
Après l'acquisition, Databricks a continué à développer et à publier des modèles sous la marque MosaicML. En juillet 2023, l'entreprise a publié MPT-30B, un modèle de 30 milliards de paramètres, et plus tard cette année-là, elle a introduit les variantes MPT-7B-Instruct et MPT-30B-Instruct fine-tunées pour le suivi d'instructions. En novembre 2023, Databricks a publié DBRX, un modèle Mixture-of-Experts (MoE) de 132 milliards de paramètres, qui a été entraîné à l'aide de la plateforme MosaicML. DBRX était conçu pour concurrencer les modèles d'OpenAI, d'Anthropic et de Google DeepMind, et il a démontré une performance de poids sur des benchmarks tels que MMLU et HellaSwag.
Technologie et Plateforme
La plateforme Databricks MosaicML est construite autour du concept de permettre aux entreprises d'entraîner et de déployer des LLM sur leurs propres données, abordant les préoccupations concernant la confidentialité et la sécurité des données. Elle fournit un ensemble d'outils qui s'intègrent l'architecture lakehouse de Databricks, permettant aux clients d'utiliser leurs données existantes stockées dans Delta Lake, un projet open-source qui ajoute la gestion des transactions ACID aux data lakes.
Les composants clés de la plateforme comprennent :
- MosaicML Composer : Une bibliothèque open-source qui implémente une variété de techniques d'entraînement, y compris l'apprentissage curriculaire, le clipping de gradient et la normalisation de couches, pour améliorer l'efficacité de l'entraînement et la qualité du modèle.
- MosaicML LLM Foundry : Une collection a d'outils pour l'entraînement, le fine-tuning et le service des LLM, avec le support d'architectures populaires telles que le transformer et pour l'entraînement distribué sur plusieurs GPU.
- MosaicML Inference : Un service pour déployer des modèles en production, offrant une inference à faible latence avec un support pour la batchification et la quantification.
Ces outils sont conçus pour fonctionner avec les principaux fournisseurs de cloud, y compris Amazon Web Services, Microsoft Azure et Google Cloud Platform. Databricks MosaicML vous ne supporte également l'utilisation de matériels spécialisés, tels que les puces AWS Trainium et les processeurs Intel, pour réduire les coûts d'entraînement.
Modèles et Recherche
Databricks MosaicML a publié plusieurs modèles open-source qui ont contribué au champ de l'IA générative. La série MPT (Mosaic Pretrained Transformer) comprend des modèles allant de 7 à 30 milliards de paramètres, tous basés sur l'architecture transformer. Ces modèles ont été entraînés sur de grands corpus de texte et ont été utilisés pour des tâches telles que la génération de texte, la synthèse, et les réponses aux questions, et la répondre à des questions.
En 2024, Databricks MosaicML a introduit DBRX, un modèle MoE de 132 milliards de paramètres utilisant un modèle d'activation clairsemé pour atteindre de CAH SHUU performances avec un coût de calcul CA UK plus bas. DBRX a été entraîné en utilisant la plateforme MosaicML et publié sous une licence open-source, permettant aux chercheurs et aux développeurs de l'utiliser librement.
L'équipe de recherche du Databricks MosaicML a également publié des articles sur des sujets tels que les méthodes d'entraînement efficaces, la compression de modèles et l'impact de la qualité des données sur la performance des modèles. Elles ont collaboré avec des institutions académiques, notamment l'University (Université) de Californie, Berkeley, et l'Carnegie Mellon University, pour faire avancer l'état de l'art en apprentissage profond.
Intégration avec la Plateforme Databricks
Databricks MosaicML est intégrée dans le plateforme Databricks Data Intelligence, plus large, qui comprend la base de données Lakebase pour les agents IA, Builder Lakeflow Designer pour la construction de pipelines de données, et Agent Bricks pour développer les agents IA. L'intégration permet aux clients d'utiliser les capacités d'entraînement et d'inférence de MosaicML directement dans leur espace de travail Databricks, avec les données stockées dans la lakehouse.
L'un des avantages clés de cette intégration est la capacité de fine-tuner des LLM sur des données propriétaires sans déplacer les données vers des services externes. Cela est particulièrement important pour les industries ayant des exigences strictes de gouvernance des données, telles que les secteurs de la santé et de la finance. Databricks MosaicML prend également en charge le déploiement de modèles pour l'inférence en temps réel, permettant des applications comme les agents conversationnel snudets et les assistants virtuels.
En 2025, Databricks a élargi ses offres d'IA générative en s'associant avec OpenAI et Anthropic pour incorporer leurs modèles dans la plateforme. Cependant, Databricks MosaicML reste une offre distincte pour les clients qui préfèrent entraîner et contrôler leurs propres modèles.
Positionnement Commercial et Stratégique
Databricks MosaicML concurrence avec d'autres fournisseurs d'infrastructure d'IA, notamment Amazon Web Services (avec ses offres SageMaker et Trainium), Google Cloud (avec tous Vertex AI), et Microsoft Azure (avec la machine d'apprentissage Azure). Il concurrence également avec des start-ups comme AI21 Labs et Inflection AI, qui offrent des modèles propriétaires et des API.
L'Acquisition n'est de MosaicML fait partie de la stratégie plus large de Databricks pour devenir un fournisseur leader d'infrastructure IA. Databricks a rapporté une forte croissance des revenus, avec des revenus de 1,6 milliard de dollars pour l'exercice 2023. L'entreprise a également levé des financements importants, y compris un tour de financement de 10 milliards de dollars en décembre 2024 dans le capital d'une valorisation de 62 milliards de dollars, et un tour de série L de 4 milliards de dollars en décembre 2025 avec une valorisation de 134 milliards de dollars.
Impact et Réception
Databricks MosaicML a été bien accueillie par la communauté IA pour son accent sur les modèles open-source et l'entraînement à coût efficace. La publication de MPT-7B et de DBRX a été saluée pour rendre les LLM de haute qualité accessibles à un public plus large. Cependant, certains critiques ont noté que les modèles pourraient ne pas égaler avec la performance des plus grands modèles propriétaires d'OpenAI ou de Google DeepMind, et que la plateforme peut nécessiter une expertise technique significative pour être utilisée efficacement.style
Malheureusement, malgré ces défis, Databricks MosaicML s'est établie comme un acteur clé du marché de l'IA d'entreprise, avec un fort accent sur la confidentialité des données et la personnalisation. En 2026, la plateforme continue d'évoluer, avec des recherches en cours sur nouvelles méthodes d'entraînement et par algorithmes de modèles.