Databricks MosaicML是Databricks的生成式人工智能部门，Databricks是一家总部位于加利福尼亚州旧金山的美国数据和人工智能软件公司。它源于MosaicML，一家成立于2021年的初创公司，该公司开发了一个用于训练、微调和部署大型语言模型（LLM）及其他深度学习模型的平台。Databricks于2023年6月以14亿美元收购了MosaicML，将其技术整合到Databricks数据智能平台中，为客户提供基于自身数据构建定制生成式AI模型的工具。
MosaicML平台以其在训练大型神经网络时强调效率和降低成本而闻名。它包括MosaicML Composer库，该库实现了课程学习、梯度裁剪和层归一化等技术以加速训练，以及MosaicML LLM Foundry，一套用于训练、微调和提供LLM服务的工具。收购后，Databricks将这些产品重新命名为Databricks MosaicML，并将其定位为其托管AI基础设施的核心组成部分。
历史
MosaicML由Naveen Rao、Hanlin Tang和Jonathan Frankle于2021年创立。Rao此前联合创立了Nervana Systems，一家于2016年被英特尔收购的深度学习硬件初创公司。该公司旨在通过使大规模模型训练对企业更易访问和更实惠来实现其民主化。2021年10月，MosaicML在由Addition领投的A轮融资中筹集了3700万美元，Future Ventures等公司参与了投资。
2022年，MosaicML发布了MosaicML Composer库，该库引入了一套训练方法，可将深度学习模型的训练成本降低多达50%。该公司还推出了MosaicML Cloud，一项用于在云基础设施上训练和部署模型的托管服务。到2023年初，MosaicML因其开源模型而受到关注，包括MPT-7B，一个基于Transformer的70亿参数LLM，于2023年5月发布。MPT-7B因其与LLaMA-7B等更大模型的竞争性表现而引人注目，并且它在一个包含1万亿个token的数据集上进行了训练。
2023年6月，Databricks宣布计划以14亿美元收购MosaicML。收购于2023年7月完成，MosaicML成为Databricks的全资子公司。这笔交易是Databricks将其生成式AI能力整合到其湖house架构（该架构结合了数据仓库和数据湖的元素）中的战略的一部分。收购还将MosaicML的研究人员和工程师团队带入了Databricks，包括其首席执行官Naveen Rao，他成为Databricks的副总裁。
收购后，Databricks继续以MosaicML品牌开发和发布模型。2023年7月，该公司发布了MPT-30B，一个300亿参数模型，并在同年晚些时候推出了针对指令跟随进行微调的MPT-7B-Instruct和MPT-30B-Instruct变体。2023年11月，Databricks发布了DBRX，一个1320亿参数的混合专家（MoE）模型，该模型使用MosaicML平台进行训练。DBRX旨在与OpenAI、Anthropic和Google DeepMind的模型竞争，并在MMLU和HellaSwag等基准测试中展示了强劲的性能。
技术与平台
Databricks MosaicML平台围绕使企业能够基于自身数据训练和部署LLM的概念构建，解决了数据隐私和安全的担忧。它提供了一套与Databricks湖house架构集成的工具，允许客户使用存储在Delta Lake（一个为数据湖添加ACID事务支持的开源项目）中的现有数据。
该平台的关键组件包括：
- MosaicML Composer：一个开源库，实现了多种训练技术，包括课程学习、梯度裁剪和层归一化，以提高训练效率和模型质量。
- MosaicML LLM Foundry：一套用于训练、微调和提供LLM服务的工具，支持Transformer等流行架构以及跨多个GPU的分布式训练。
- MosaicML Inference：一项用于在生产环境中部署模型的服务，提供低延迟推理，并支持批处理和量化。
这些工具旨在与主要云提供商配合使用，包括Amazon Web Services、Microsoft Azure和Google Cloud Platform。Databricks MosaicML还支持使用专用硬件，如AWS Trainium芯片和英特尔处理器，以降低训练成本。
模型与研究
Databricks MosaicML发布了多个开源模型，为生成式AI领域做出了贡献。MPT（Mosaic预训练Transformer）系列包括从70亿到300亿参数的模型，全部基于Transformer架构。这些模型在大型文本语料库上进行了训练，并已用于文本生成、摘要和问答等任务。
2024年，Databricks MosaicML推出了DBRX，一个1320亿参数的MoE模型，它使用稀疏激活模式以较低的计算成本实现高性能。DBRX使用MosaicML平台训练，并以开源许可证发布，允许研究人员和开发者自由使用。
Databricks MosaicML的研究团队还发表了关于高效训练方法、模型压缩以及数据质量对模型性能影响等主题的论文。他们与加州大学伯克利分校和卡内基梅隆大学等学术机构合作，以推进深度学习的最新技术。
与Databricks平台的集成
Databricks MosaicML集成到更广泛的Databricks数据智能平台中，该平台包括用于AI代理的Lakebase数据库、用于构建数据管道的Lakeflow Designer以及用于开发AI代理的Agent Bricks。这种集成允许客户直接在其Databricks工作区中使用MosaicML的训练和推理能力，数据存储在湖house中。
这种集成的一个关键优势是能够在专有数据上微调LLM，而无需将数据移动到外部服务。这对于具有严格数据治理要求的行业（如医疗保健和金融）尤为重要。Databricks MosaicML还支持部署模型以进行实时推理，从而实现聊天机器人和虚拟助手等应用。
2025年，Databricks通过与OpenAI和Anthropic合作将其模型纳入平台，扩展了其生成式AI产品。然而，Databricks MosaicML仍然是针对偏好训练和控制自身模型的客户的独特产品。
商业与市场地位
Databricks MosaicML与其他AI基础设施提供商竞争，包括Amazon Web Services（凭借其SageMaker和Trainium产品）、Google Cloud（凭借Vertex AI）和Microsoft Azure（凭借Azure Machine Learning）。它还与AI21 Labs和Inflection AI等提供专有模型和API的初创公司竞争。
收购MosaicML是Databricks成为领先AI基础设施提供商的更广泛战略的一部分。Databricks报告了强劲的收入增长，2023财年收入为16亿美元。该公司还筹集了大量资金，包括2024年12月以620亿美元估值筹集的100亿美元融资，以及2025年12月以1340亿美元估值筹集的40亿美元L轮融资。
影响与反响
Databricks MosaicML因其对开源模型和成本高效训练的重视而受到AI社区的广泛好评。MPT-7B和DBRX的发布因使高质量LLM更易被更广泛的受众获取而受到赞扬。然而，一些批评者指出，这些模型可能无法匹配OpenAI或Google DeepMind最大的专有模型的性能，并且该平台需要大量技术专业知识才能有效使用。
尽管存在这些挑战，Databricks MosaicML已确立了自己在企业AI市场中的关键地位，并高度重视数据隐私和定制化。截至2026年，该平台持续发展，正在研究新的训练方法和模型架构。
参见
- 大型语言模型
- Transformer
- 深度学习
- 机器学习
- 生成式人工智能
- Databricks
- Delta Lake
- 湖house