Baseten AI는 머신러닝 모델을 프로덕션 환경에 배포하고 확장하기 위한 플랫폼입니다. 이 회사는 훈련된 모델을 확장 가능하고 지연 시간이 낮은 API로 변환하는 인프라를 제공하며, 주요 모델 프레임워크 및 하드웨어 가속기와 통합됩니다. Baseten은 AI 수명 주기에서 추론 단계에 특화되어 있으며, 대규모 언어 모델 및 기타 신경망 아키텍처를 기반으로 구축된 애플리케이션에 실시간 예측을 제공합니다.
캘리포니아주 샌프란시스코에 본사를 두고 설립된 Baseten AI는 맞춤형 AI 워크로드 실행에 따른 운영 부담을 줄여주는 개발자 중심 플랫폼으로 자리매김하고 있습니다. 고객은 전용 컴퓨팅 클러스터를 유지 관리하는 대신 Baseten을 사용하여 모델 버전 관리, 자동 확장, 자동 하드웨어 최적화를 처리하며, 여기에는 NVIDIA와의 특정 파트너십 및 Amazon Web Services 및 Google Cloud 백엔드 지원이 포함됩니다. 이 플랫폼은 일반적으로 지연 시간과 규정 준수가 중요한 엔터프라이즈 환경에 배포됩니다.
역사 및 자금 조달
Baseten AI는 2020년에 Krishnan과 Amirali 형제가 연구 모델을 프로덕션으로 전환하는 과정의 공백을 발견하면서 설립되었습니다. 이 회사는 2021년 시드 라운드를 진행했으며, 이후 2022년 4월에 벤처 캐피탈 회사가 주도하고 기존 투자자가 참여한 4천만 달러 규모의 시리즈 A를 발표했습니다. 2023년에는 추가 시리즈 B가 이어져 총 공개 자금 조달액은 약 8천만 달러에 달합니다. "Baseten"이라는 이름은 프로덕션 시스템이 구축되는 안정적인 기반(현무암)을 의미합니다.
초기 채택 기업에는 높은 처리량과 실시간 추론이 필요한 핀테크 및 고객 서비스 분야의 회사들이 포함되었습니다. 2024년까지 이 플랫폼은 컴퓨터 비전 및 운영 AI 워크로드에 플랫폼을 사용하는 Intuitive Surgical 및 Halcyon AI과 같은 고객을 위해 매일 수십억 건의 추론 요청을 처리하는 것으로 보고되었습니다.
주요 기능 및 아키텍처
핵심 아키텍처 요소는 PyTorch 및 TensorFlow를 포함한 다양한 프레임워크의 사전 훈련된 모델 체크포인트를 수용하는 모델 코드베이스입니다. 그런 다음 플랫폼은 밀리초 단위로 실행되는 임시 컨테이너를 관리합니다. 이 컨테이너에는 모델 가중치, 종속성 및 서빙 코드가 번들로 포함되며, AWS 또는 Google Cloud 인프라로 프로비저닝된 GPU 인스턴스에서 실행됩니다.
자동 확장은 차별화 요소입니다. Baseten은 트래픽 패턴에 따라 복제본 수를 동적으로 조정하며, 예측할 수 없는 급증 이후에는 0으로 축소됩니다. 또한 다중 테넌트 GPU 활용을 지원하여 모델 간 공유를 통해 비용을 절감합니다. 플랫폼의 내장 라우터는 추론 오류를 방지하기 위한 부하 분산 메커니즘을 실행하고 자동 재시도를 제공합니다.
성능을 위해 Baseten은 커널 융합이라는 기술로 모델 버전을 최적화하고 NVIDIA TensorRT 라이브러리를 사용하여 지원되는 아키텍처에서 추론을 가속화합니다. 또한 이 회사는 특정 오픈소스 최적화 프로젝트와 정렬하기 위한 파트너십을 보유하고 있습니다. 사용자 대시보드에는 지연 시간, 처리량 및 추론당 비용에 대한 실시간 지표가 포함됩니다.
엔터프라이즈 통합 및 보안
Baseten은 데이터 격리가 필요한 기업을 위한 VPC 피어링, SSO(SAML), 감사 로그와 같은 기능과의 통합을 제공합니다. 이 플랫폼은 SOC 2 Type II 및 GDPR 표준을 준수하며, 보안 팀에 규정 준수 보고서를 제공합니다. 고객은 가용 영역 전반에 걸쳐 워크로드를 복제하여 격리된 최종 테넌트에 모델을 배포할 수 있으며, 이는 확률적 중복성을 제공합니다.
API 외에도 Baseten은 직접 통합을 위한 Python SDK와 모든 언어에서 작동하는 REST API를 제공합니다. 모델 계보 추적을 지원하여 팀이 이전 버전으로 롤백하고 성능을 비교할 수 있게 합니다. 생성형 AI 사용 사례의 경우 플랫폼은 추상화 계층을 통해 OpenAI 및 Anthropic API와의 통합을 지원하지만, 주요 사용 사례는 미세 조정 또는 맞춤 모델 서빙입니다.
커뮤니티 및 생태계
이 회사는 커뮤니티 Discord가 있는 등록 사이트에 문서를 유지 관리합니다. 이 플랫폼은 AI 연구(예: Google DeepMind 또는 MIT CSAIL)와 프로덕션 엔지니어링 사이의 다리 역할을 하도록 포지셔닝되어 있습니다. Baseten은 특정 모델의 하드웨어 가속을 위해 Groq 및 Cerebras와의 파트너십을 강조하지만, 이는 공동 마케팅에 가깝습니다.
2024년 현재 Baseten AI는 AI 인프라 시장에서 주목할 만한 참여자이며, CoreWeave 및 OctoAI와 같은 다른 MLOps(머신러닝 운영) 회사와 경쟁하고 있습니다. 창립 팀은 이 분야의 최적화 리더로 자주 언급되며, 플랫폼을 "LLM을 API로 전환하는 최고의 방법"으로 브랜딩합니다. 또한 프로덕션 배포에서 비용과 지연 시간을 절감하는 구현 방식을 정기적으로 선보입니다.
미래 및 과제
추론 최적화 분야는 특히 하드웨어(예: amazon AWS Trainium 및 Google Cloud TPU)와 모델 양자화의 발전으로 인해 빠르게 변화하고 있습니다. Baseten은 2023-2024년에 멀티모달 모델 및 장문 LLM 서빙 기능을 출시하면서 제품을 지속적으로 조정하고 있습니다. 이 회사는 대규모 엔터프라이즈의 보안 기대치와 다중 테넌시의 균형을 맞추는 과제에 직면해 있지만, 중복된 안정성을 강조하는 신중한 접근 방식을 지지합니다.
전반적으로 Baseten AI는 현대 AI 시스템의 배포 파이프라인에서 필수적인 요소로 간주되며, 연구 혁신이 견고하고 항상 사용 가능한 서비스로 전환될 수 있도록 합니다. 그 성장은 인공지능의 실험실에서 일상적인 애플리케이션으로의 산업화를 반영합니다.