Databricks Mosaic fait référence à l’entreprise d’IA générative MosaicML, qui a été acquise par Databricks en juin 2023 pour 1,4 milliard de dollars. MosaicML était spécialisée dans la création de systèmes efficaces pour l’entraînement et le déploiement de grands modèles de langage (LLM), offrant une plateforme qui permettait aux organisations de créer des modèles d’IA personnalisés à partir de leurs propres données. L’acquisition a intégré la technologie de MosaicML dans l’architecture lakehouse de Databricks, jetant les bases de sa plateforme d’intelligence des données et renforçant ses capacités en IA générative.
MosaicML était connu pour ses modèles open source, notamment MPT (Mosaic Pretrained Transformers), conçus pour être rentables et accessibles aux entreprises. Les outils de l’entreprise permettaient aux utilisateurs d’entraîner, d’affiner et de servir des LLM à grande échelle, répondant à la demande croissante de solutions d’IA privées et personnalisables. Après l’acquisition, Databricks a tiré parti de l’expertise de MosaicML pour développer des produits comme Dolly, un modèle de langage open source à 6 milliards de paramètres, et pour intégrer des modèles tiers de fournisseurs tels que OpenAI et Anthropic dans sa plateforme.
Contexte et fondation
MosaicML a été fondée en 2021 par Naveen Rao et Hanlin Tang, tous deux ayant une expérience préalable dans l’IA et le matériel informatique. Rao avait auparavant cofondé Nervana Systems, une startup spécialisée dans le matériel d’apprentissage profond, acquise par Intel en 2016. Tang avait travaillé chez Intel et détenait un doctorat en neurosciences. L’entreprise était basée à San Francisco, en Californie, et s’est rapidement fait remarquer pour son objectif de rendre l’entraînement des LLM plus efficace et plus abordable.
La startup a levé des fonds importants auprès de sociétés de capital-risque, notamment un tour de table de série B de 64 millions de dollars en 2022, mené par Tiger Global Management. La plateforme de MosaicML reposait sur les principes du apprentissage automatique, en mettant l’accent sur les techniques d’entraînement distribué et d’optimisation qui réduisaient les ressources informatiques nécessaires aux modèles à grande échelle.
Technologie et produits
L’offre principale de MosaicML était un service géré pour l’entraînement et le déploiement de LLM, prenant en charge des architectures populaires comme le transformeur. La plateforme comprenait des outils pour la préparation des données, l’entraînement des modèles et l’inférence, tous conçus pour fonctionner sur une infrastructure cloud de fournisseurs tels que Amazon Web Services, Microsoft Azure et Google Cloud.
L’une des innovations clés de MosaicML était sa famille de modèles open source, MPT, qui comprenait MPT-7B et MPT-30B. Ces modèles ont été publiés en 2023 et se distinguaient par leurs performances compétitives par rapport aux modèles propriétaires plus volumineux, grâce à des techniques d’entraînement efficaces. MosaicML a également développé Composer, une bibliothèque basée sur PyTorch pour l’entraînement de réseaux de neurones, et Streaming, une bibliothèque de jeux de données qui facilitait un chargement efficace des données.
Acquisition par Databricks
En juin 2023, Databricks a annoncé son intention d’acquérir MosaicML pour 1,3 milliard de dollars, la transaction étant finalisée plus tard dans l’année. Cette acquisition s’inscrivait dans la stratégie plus large de Databricks visant à étendre ses capacités en intelligence artificielle, en particulier dans le domaine de l’IA générative. Databricks a intégré la technologie de MosaicML dans sa plateforme lakehouse, permettant aux clients de créer et de déployer des LLM personnalisés parallèlement à leurs charges de travail d’analyse de données.
L’acquisition a également conduit au développement de la plateforme d’intelligence des données de Databricks, qui combine la gestion des données avec l’entraînement et le service des modèles d’IA. Les outils de MosaicML ont été rebaptisés en tant que capacités d’entraînement et de service de modèles de fondation de Databricks, et l’entreprise a continué à publier des modèles open source sous le nom MPT.
Impact et héritage
L’acquisition de MosaicML par Databricks a été un événement marquant dans le secteur de l’IA, soulignant l’importance croissante de l’entraînement efficace des LLM et la tendance des plateformes de données à intégrer l’IA générative. La technologie a contribué à la capacité de Databricks à offrir un environnement sécurisé permettant aux entreprises d’entraîner des modèles sur des données propriétaires, un différenciateur clé face à des concurrents comme Google DeepMind et OpenAI.
Sous Databricks, l’héritage de MosaicML s’est poursuivi à travers des produits comme Dolly et l’intégration de modèles de Anthropic et OpenAI dans la plateforme Databricks. L’acquisition a également influencé la croissance financière de Databricks, contribuant à une valorisation atteignant 188 milliards de dollars en juillet 2026, après un tour de financement de 3 milliards de dollars mené par Coatue Management.
L’accent mis par MosaicML sur les modèles open source et les méthodes d’entraînement efficaces a eu un impact durable sur la communauté de l’IA, encourageant un accès plus large à la technologie des LLM et favorisant l’innovation dans l’optimisation des modèles.