Baseten AIは、機械学習モデルを本番環境にデプロイおよびスケーリングするためのプラットフォームです。同社は、トレーニング済みモデルをスケーラブルで低遅延のAPIに変換するインフラストラクチャを提供し、主要なモデルフレームワークやハードウェアアクセラレータと統合します。BasetenはAIライフサイクルの推論フェーズに特化しており、大規模言語モデルやその他のニューラルネットワークアーキテクチャに基づくアプリケーション向けにリアルタイム予測を提供します。
カリフォルニア州サンフランシスコに設立され、本社を置くBaseten AIは、カスタムAIワークロードの運用オーバーヘッドを削減する開発者向けプラットフォームとして位置づけられています。専用のコンピュートクラスターを維持する代わりに、顧客はBasetenを使用してモデルのバージョン管理、オートスケーリング、自動ハードウェア最適化を処理します。これにはNVIDIA（特定のパートナーシップを持つ）との統合や、Amazon Web ServicesおよびGoogle Cloudバックエンドのサポートが含まれます。このプラットフォームは通常、遅延とコンプライアンスが重要となるエンタープライズ環境で展開されます。
歴史と資金調達
Baseten AIは2020年にKrishnanとAmiraliの兄弟によって設立され、研究モデルを本番環境に移行する際のギャップを特定しました。同社は2021年にシードラウンドを調達し、その後2022年4月にベンチャーキャピタル企業が主導し、既存投資家が参加した4000万ドルのシリーズAを発表しました。さらに2023年にはシリーズBが続き、開示された総資金調達額は約8000万ドルに達しました。「Baseten」という名前は、本番システムが構築される安定した基盤（玄武岩）を反映しています。
初期の採用企業には、高スループットのリアルタイム推論を必要とするフィンテックやカスタマーサービス企業が含まれていました。2024年までに、このプラットフォームはIntuitive SurgicalやHalcyon AIなどの顧客向けに毎日数十億件の推論リクエストを処理していると報告されており、これらの企業はコンピュータビジョンや運用AIワークロードにプラットフォームを使用しています。
主要機能とアーキテクチャ
中核となるアーキテクチャ要素は、PyTorchやTensorFlowを含むさまざまなフレームワークで事前トレーニングされたモデルチェックポイントを受け入れるモデルコードベースです。プラットフォームはその後、ミリ秒単位で実行される一時的なコンテナを管理します。このコンテナにはモデルの重み、依存関係、およびサービングコードがバンドルされ、AWSまたはGoogle CloudインフラストラクチャでプロビジョニングされたGPUインスタンス上で実行されます。
オートスケーリングは差別化要因です。Basetenはトラフィックパターンに基づいてレプリカ数を動的に調整し、予測不可能なスパイク後にはゼロまでスケールダウンします。また、マルチテナントGPU利用をサポートし、モデル間で共有してコストを削減します。プラットフォームの組み込みルーターはロードバランシングメカニズムを実行して推論エラーを防ぎ、自動リトライを提供します。
パフォーマンス面では、Basetenはカーネル融合と呼ばれる技術でモデルバージョンを最適化し、NVIDIA TensorRTライブラリを使用してサポート対象アーキテクチャでの推論を高速化します。同社はまた、特定のオープンソース最適化プロジェクトと連携するパートナーシップを結んでいます。ユーザー向けダッシュボードには、遅延、スループット、推論あたりのコストに関するリアルタイムメトリクスが含まれます。
エンタープライズ統合とセキュリティ
Basetenは、データ分離を必要とする企業向けのVPCピアリング、SSOシングルサインオン（SAML）、監査ログなどの機能との統合を提供します。プラットフォームはSOC 2 Type IIおよびGDPR基準に準拠しており、セキュリティチーム向けにコンプライアンスレポートを提供します。顧客は、可用性ゾーン間でワークロードを複製した分離されたエンドテナントにモデルをデプロイでき、フェデレーションのための確率的冗長性を実現します。
APIに加えて、Basetenは直接統合用のPython SDKと、あらゆる言語で動作するREST APIを提供します。モデルの系統追跡をサポートし、チームが以前のバージョンにロールバックしてパフォーマンスを比較できるようにします。生成AIユースケースでは、プラットフォームは抽象化レイヤーを介したOpenAIおよびAnthropic APIとの統合をサポートしますが、主なユースケースはファインチューニングされたモデルやカスタムモデルのサービングです。
コミュニティとエコシステム
同社は登録サイトにドキュメントを維持し、コミュニティDiscordを運営しています。これはAI研究（例：Google DeepMindやMIT CSAIL）と本番エンジニアリングの間の橋渡しとして位置づけられています。Basetenは特定のモデルでのハードウェアアクセラレーションのためにGroqやCerebrasとのパートナーシップを強調していますが、これはどちらかといえば共同マーケティングです。
2024年現在、Baseten AIはAIインフラストラクチャ市場における注目すべき参加者であり、CoreWeaveやOctoAIなどの他のMLOps（Machine Learning Operations）企業と競合しています。創業チームはこのセグメントの最適化においてリーダーとして頻繁に発表し、プラットフォームを「LLMをAPIにするNo.1の方法」としてブランド化しています。また、実装が本番デプロイのコストと遅延をどのように削減するかを定期的に紹介しています。
将来と課題
推論最適化の分野は急速に変化しており、特にハードウェア（例：amazon AWS TrainiumやGoogle Cloud TPU）やモデル量子化の進歩があります。Basetenは提供内容を継続的に適応させ、2023年から2024年にかけてマルチモーダルモデルや長文LLMサービングの機能をリリースしました。同社は、大規模エンタープライズのセキュリティ期待とマルチテナンシーのバランスを取るという課題に直面していますが、冗長な信頼性を重視した慎重なアプローチを支持しています。
全体として、Baseten AIは現代のAIシステムのデプロイパイプラインにおける不可欠な要素と見なされており、研究のブレークスルーが堅牢で常時利用可能なサービスへと移行できるようにしています。その成長は、人工知能の研究室から日常的なアプリケーションへの産業化を反映しています。