Databricks MosaicML은 캘리포니아주 샌프란시스코에 본사를 둔 미국의 데이터 및 인공지능 소프트웨어 기업인 Databricks의 생성형 AI 부문이다. 이 부문은 2021년에 설립된 스타트업 MosaicML에서 시작되었으며, 대규모 언어 모델(LLM) 및 기타 딥러닝 모델을 훈련, 미세 조정, 배포하기 위한 플랫폼을 개발했다. Databricks는 2023년 6월에 MosaicML을 14억 달러에 인수하며 그 기술을 Databricks 데이터 인텔리전스 플랫폼에 통합하여, 고객이 자체 데이터로 맞춤형 생성형 AI 모델을 구축할 수 있는 도구를 제공하게 되었다.
MosaicML 플랫폼은 대규모 신경망 훈련에서의 효율성과 비용 절감에 중점을 둔 것으로 알려져 있다. 이 플랫폼에는 커리큘럼 학습, 기울기 클리핑, 계층 정규화와 같은 기법을 구현하여 훈련을 가속화하는 MosaicML Composer 라이브러리와, LLM의 훈련, 미세튜닝, 서빙을 위한 도구 모음인 MosaicML LLM Foundry가 포함된다. 인수 이후 Databricks는 이들의 서비스를 Databricks MosaicML이라는 이름으로 리브랜딩하여, 이를 관리형 AI 인프라의 핵심 구성 요소로 자리매김했다.
역사
MosaicML은 2021년 Naveen Rao, Hanlin Tang, Jonathan Frankle에 의해 설립되었다. Rao는 2016년 인텔이 인수한 딥러닝 하드웨어 스타트업인 Nervana Systems를 공동 창업한 바 있다. 이 MosaicML은 대규모 모델 훈련을 기업들에게 더 접근 가능하고 저렴하게 만들어 대중화하는 것을 목표로 했습니다. 2021년 10월, MosaicML은 Addition이 주도하고, Future Ventures 등이 참여한 시리즈 A 투자 라운드에서 3700만 달러를 유지했습니다.
2022년, MosaicML은 딥러닝 모델 훈련 비용을 최대 50% 절감할 수 있는 훈련 방법 세트를 도입한 MosaicML Composer 라이브러리를 출시했습니다. 또한 회사는 클라우드 인프라에서 모델을 훈련하고 배포하기 위한 관리형 서비스인 MosaicML Cloud를 출시했습니다. 2023년 초까지 MosaicML은 2023년 5월 출시된 70억 매개변수 트래스포머 기반 LLM인 MPT-7B를 포함한 오픈소스 모델로 관심을 받았습니다. MPT-7B는 LLaMA-7B와 같은 더 큰 모델과 대비하여 경쟁력 있는 성능을 보여주었으며, 1조 개의 토큰 데이터 셋으로 훈련되었습니다.
2023년 6월, Databricks는 MosaicML을 14억 달러에 인수하기 위한 의사를 발표했습니다. 인수는 2023년 7월에 완료되어 MosaicML은 Databricks의 완전 자회사가 되었습니다. 이 계약은 Databricks가 생성형 AI 기능을 데이터 레이크와 데이터 웨어하우스의 요소를 결합한 레이크하우스 아키텍처에 통합하려는 전략의 일부였습니다. 인수는 또한 MosaicML의 CEO인 Naveen Rao를 포함한 연구원 및 엔지니어 네트워크를 Databricks으로 가져왔으며, 그는 Databricks에서 부사장이 되었습니다.
인수 이후 Databricks는 MosaicML 브랜드로 모델을 계속 개발하고 출시했습니다. 2023 여성 7월, 회사는 300억 매라미터 모델인 MPT-30B를 출시했으며, 그 해 말에는 지시 사항 이행을 위해 미세튜닝된 MPT-7B-Instruct 및 MPT-30B-Instruct 변형 제품을 소개했습니다. 2023년 11월, Databricks는 MosaicML 플랫폼을 사용하여 훈련된 1320억 매라미터 MoE(혼합 전문가) 모델인 DBRX를 출시했습니다. DBRX는 OpenAI, Anthropic, Google DeepMind의 모델과 경쟁하도록 설계되었으며, MMLU 및 HellaSwag와 같은 벤치마크에서 강력한 성능을 보여주었습니다.
기술 및 플랫폼
Databricks MosaicML 플랫폼은 기업이 자체 데이터로 LLM을 훈련하고 배포할 수 있도록 하는 개념을 중심으로 구축되어, 데이터 규칙 및 보안에 관한 문제를 해결합니다. 이 플랫폼은 Databricks의 레이크하우스 아키텍처와 통합되는 도구 모음을 제공하며, 고객은 데이터 레이크에 ACID 트랜잭션 지원을 추가하는 오픈소스 프로젝트인 Delta Lake에 저장된 기존 데이터를 사용할 수 있습니다.
플랫폼의 주요 구성으로는 다음과 같습니다.
- MosaicML Composer: 커리큘럼 학습, 기울기 클립핑, 계층 정규화를 포함한 다양한 훈련 기법을 구현하여 훈련 효율성과 모델 품질을 개선하는 오픈소스 라이브러리입니다.
- MosaicML LLM Foundry: LLM의 훈련, 미세튜닝, 서빙을 위한 도구 모음을 제공하며, 트랜스포머와 같은 인기 아키텍처 및 여러 GPU에 걸친 분산 훈련을 지원합니다.
- MosaicML Inference: 배칭 및 양자화 지원을 통해 저지연 엣지 추론을 제공하는 프로덕션용 모델 배포 서비스입니다.
이러한 도구는 아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드 플랫폼을 포함한 주요 클라우드 제공업체와 함께 작동하도록 설계되었습니다. Databricks MosaicML은 또한 AWS Trainium 칩과 같은 전문 하드웨어 및 Intel 프로세서의 사용을 지원하여 훈련 비용을 절감할 수 있습니다.
모델 및 연구
Databricks MosaicML은 생성형 AI 분야에 기여한 여러 오픈소스 모델을 출시했습니다. MPT(Mosaic Pretrained Transformer) 시리즈는 모두 트랜스포머 아키텍처 기반으로 70억에서 300억 매라미터까지의 모델을 포함합니다. 이 모델들은 대규모 텍스트 코퍼스로 훈련되었으며, 텍스트 생성, 요약, 질의 응답과 같은 작업에 사용되었습니다.
2024년, Databricks MosaicML은 희소 활성화 패턴을 사용하여 더 낮은 계산 비용으로 높은 성능을 달성하는 1320억 매라미터 MoE 모델인 DBRX를 소개했습니다. DBRX는 MosaicML 플랫폼을 사용하여 훈련되었으며, 연구 개발자들이 자유롭게 사용할 수 있도록 오픈소스 라이선스로 출시되었습니다.
Databricks MosaicML의 연구 네트워크는 효율적인 훈련 방법, 모델 압축, 데이터 품질이 모델 성능에 미치는 영향과 같은 주제에 대한 논문도 출판했습니다. UC Berkeley와 CMU를 포함한 학계와 협력하여 딥러닝 분야의 최첨담을 발전시켰습니다.
Databricks 플랫폼과의 통합
Databricks MosaicML은 AI 에이전트용 Lakebase 데이터베이스, 데이터 파이프라인 구축을 위한 Lakeflow Designer, AI 에이전트 개발용 Agent Bricks을 포함하는 Databricks 데이터 인텔리런스 플랫폼에 통합되었습니다. 이 통합을 통해 고객은 레이크하우스에 저장된 데이터로 MosaicML의 훈련 및 추론 기능을 Databricks 워크스페이스에서 직접 사용할 수 있습니다.
이 통합의 핵심 장점 중 하나는 데이터를 외부 서비스로 이동하지 않으면서 독점 데이터에 대한 LLM을 미세튜닝할 수 있는 능력입니다. 이는 의료와 금융과 같은 엄격한 데이터 거버넌스 요구 사항이 있는 산업에 특히 중요합니다. Databricks MosaicML은 또한 실시간 추론을 위한 모델 배포를 지원하여 챗봇 및 가상 어시스턴트와 같은 애플리케이션을 가능하게 합니다.
2025년, Databricks는 OpenAI 및 Anthropic과 파트너십을 맺고 플랫폼에 그들의 모델을 통합하여 생성형 AI 기능을 확장했습니다.에서도 Databricks MosaicML은 자체 모델을 훈련하고 관리하는 것을 선호하는 고객을 위한 별개서비스를 제공.
비즈니스 및 시장 위치
Databricks MosaicML은 Amazon Web Services(SageMaker 및 Trainium 포함), Google Cloud(Vertex AI 포함), Microsoft Azure(Azure Machine Learning 포함)와 같은 다른 AI 인프라 제공업체와 대결합니다. AI21 Labs나 Inflection AI와 같은 독점 모델 및 API를 제공하는 스타트업과 경쟁관계이기도.
MosaicML의 인수는 Databricks의 AI 인프라 부문 선도 공급자로서 더 넓은 전략의 일부였습니다. Databricks는 2023 시장연도 매출이 16억 달러, 상쇄적인 특별 성장이 있었습니다. 2024년 12월을 기준으로 620억 달러 가치의 100억 달러 라운드와 2025년 12월 $1340억 달러 가치의 $40억 시리즈 라운드를 포함한 상당한 투자를 유치했습니다.
영향 및 반응
Databricks MosaicML은 오픈 소스 모델과 비용 효율적인 훈련에 우추로하여 AI 커뮤니티에서 잘 받아진 것으로 평가받고 있습니다. MPT-7B와 DBRX의 출시는 고품질 LLM을 더 넓은 기회에 접근하게 한 것에 좋은 반응을 얻었습니다. 그러나 우측 지적은 모델이 OpenAI나 Google DeepMind의 가장 큰 독점 모델들과 비교하여 성능이 미만할 수 있고, 플랫폼을 효과적으로 사용해야 상당한 기술적 전문성이 필요하다는 점입니다.
이러한 도전에도 불구하고, Databricks MosaicML은 데이터 프라이버시와 맞춤화에 강력한 초점을 두면서 엔터프라이즈 AI 시장에서 핵심적인 플레이어로자리 잊었습니다. 현재를 기준으로, 플랫폼은 지속적으로 진화하며 새로운 훈련 방법과 모델 아키텍처에 들어가는 연구를 계속하고 있습니다.