SambaNova Cloudは、AIハードウェアとソフトウェアを専門とする企業であるSambaNova Systemsによって開発された、クラウドベースの推論プラットフォームです。このプラットフォームにより、開発者や企業は、SambaNovaのカスタム特定用途向け集積回路（ASIC）であるSambaNova Dataflow Processing Unit（DPU）を使用して、オープンソースの大規模言語モデル（LLM）を高速で実行できます。2023年に開始されたSambaNova Cloudは、Llama 3.1、Llama 3.2、Qwen 2.5、その他の人気のあるオープンソースモデルにアクセスできる管理環境を提供し、ユーザーは基盤となるインフラストラクチャを管理する必要がありません。このサービスは、実験用の無料プレイグラウンドと本番用の有料APIの両方を提供し、低遅延の推論とコスト効率に重点を置いています。
このプラットフォームは、SambaNovaのSN40Lチップ上に構築されており、これは第2世代のDPUで、1040億個のトランジスタを統合し、最大256 GBのオンチップメモリをサポートします。このハードウェアアーキテクチャは、最新のLLMの基盤であるトランスフォーマーベースのモデルを高速化するように設計されています。SambaNova Cloudは、GPUベースの代替手段よりも大幅に高速な推論速度を提供すると主張しており、一部のベンチマークでは、Llama 3.1 405Bなどのモデルで最大3倍のスループット向上を示しています。このサービスは、テキスト生成と、視覚言語モデルを含むマルチモーダルタスクの両方をサポートし、バッチ処理、ストリーミング応答、ファインチューニング機能などの機能を提供します。
歴史と開発
SambaNova Systemsは、スタンフォード大学の教授であるKunle Olukotunと、同じくスタンフォード大学の教授であるChris Réによって、エンジニアと研究者のチームとともに2017年に設立されました。同社は当初、エンタープライズ顧客向けのハードウェアとソフトウェアを含むフルスタックのAIソリューションの構築に注力していました。2023年、SambaNovaはクラウドファースト戦略に転換し、高性能AI推論へのアクセスを民主化するための公開プラットフォームとしてSambaNova Cloudを開始しました。プラットフォームの最初の公開リリースは2023年9月に行われ、Llama 2やCodeLlamaなどのモデルへのアクセスを提供しました。それ以来、プラットフォームはモデルカタログを拡大し、OpenAIのAPI形式と互換性のあるSambaNova Cloud APIなどの機能を導入し、開発者が他のプロバイダーから簡単に移行できるようにしました。
2024年、SambaNova Cloudは、特にプラットフォームが高速で提供したLlama 3.1のリリース後に、大きな注目を集めました。同社はまた、科学研究にAI推論機能を提供するために、米国エネルギー省を含むさまざまな組織とのパートナーシップを発表しました。2025年初頭までに、SambaNova Cloudは数十億のトークンを処理し、数千人の開発者と企業によって使用されていました。
ハードウェアとパフォーマンス
SambaNova Cloudの中核はSN40Lチップであり、これは従来のGPUとは異なる再構成可能なデータフローアーキテクチャです。固定された命令セットを使用するGPUとは異なり、SN40Lは特定のモデルアーキテクチャのデータフローを最適化するために動的に再構成できます。これにより、トランスフォーマーモデルの効率的な実行が可能になり、メモリのボトルネックが軽減され、スループットが向上します。SN40Lチップには1040億個のトランジスタが含まれ、256 GBのオンチップ高帯域幅メモリ（HBM）を備えており、過剰なデータ移動なしに大規模なモデルを処理するために重要です。SambaNovaは、このアーキテクチャにより、主要なGPUベースのソリューションと比較して、Llama 3.1 405Bなどのモデルで最大3倍高速な推論を実現し、消費電力も少なくなると主張しています。
実際には、SambaNova Cloudはサードパーティのベンチマークで印象的なパフォーマンスを実証しています。例えば、Artificial Analysisによる2024年の評価では、SambaNova CloudはLlama 3.1 405Bで最高のスループットを達成し、ユーザーあたり毎秒200トークン以上を提供しました。このプラットフォームはまた、多くのモデルで最初のトークンまでの時間が1秒未満であることが多く、低遅延の応答をサポートしています。これらのパフォーマンス特性により、SambaNova Cloudはチャットボット、コード生成、要約などのリアルタイムアプリケーションにとって魅力的です。
モデルカタログと機能
SambaNova Cloudは、Llama 3.1（8B、70B、405B）、Llama 3.2（1B、3B、11B、90B）、Qwen 2.5（7B、14B、72B）、Mistral 7Bなど、成長を続けるオープンソースモデルのカタログを提供しています。このプラットフォームはまた、コード生成用のCodeLlamaや、Llama 3.2 Visionなどの視覚言語モデルといった専門モデルもサポートしています。ユーザーは、Webプレイグラウンド、REST API、またはPython SDKを通じてこれらのモデルにアクセスできます。APIはOpenAIのAPIとドロップイン互換になるように設計されており、開発者は最小限の変更で移行できます。さらに、SambaNova Cloudは、本番グレードのアプリケーションを構築するために不可欠なJSONモード、関数呼び出し、ストリーミング応答などの機能を提供します。
エンタープライズ向けに、SambaNova Cloudはプライベートクラスターやオンプレミス展開を含む専用容量オプションを提供します。このプラットフォームはまた、カスタムデータセットでのモデルのファインチューニングをサポートし、組織がオープンソースモデルを特定のドメインに適応できるようにします。セキュリティ機能には、転送中および保存中のデータ暗号化、およびSOC 2などの標準への準拠が含まれます。
競争環境
SambaNova Cloudは、OpenAIのAPI、AnthropicのClaude、Google CloudのVertex AIなどの他のクラウドAI推論プロバイダーや、CerebrasやGroqなどの専門AIハードウェア企業と競合しています。AWS TrainiumやMicrosoft AzureなどのGPUベースのクラウドは汎用AIサービスを提供していますが、SambaNova Cloudはオープンソースモデルにのみ焦点を当て、カスタムハードウェアで高速推論を提供することで差別化を図っています。特殊なチップで高速推論も提供するGroqと比較して、SambaNova Cloudはより大きなモデル（例：405B）をサポートし、より包括的な機能セットを提供します。このプラットフォームの価格は、高ボリュームのワークロードでは通常GPUベースの代替手段よりも低く、推論が多いアプリケーションにとってコスト効率の高い選択肢となっています。
ユースケースと採用
SambaNova Cloudは、金融、ヘルスケア、テクノロジーなど、さまざまな業界で使用されています。例えば、金融機関はリアルタイムの文書分析やリスク評価にこのプラットフォームを使用し、ヘルスケア組織は医学文献の要約や臨床意思決定支援に活用しています。このプラットフォームはまた、学術研究者やスタートアップによるAIアプリケーションのプロトタイピングと展開にも採用されています。2024年、SambaNova Cloudは、科学研究のためのAI推論を強化するために米国エネルギー省のオークリッジ国立研究所に選ばれ、その信頼性とパフォーマンスが強調されました。さらに、このプラットフォームはLangChainやLlamaIndexなどのツールに統合されており、開発者が複雑なAIワークフローを構築しやすくなっています。
将来の方向性
SambaNova Systemsは、SambaNova Cloudの改善に投資を続けており、モデルカタログの拡大とファインチューニング機能の強化を計画しています。同社はまた、SN50チップなどの次世代ハードウェアを開発しており、パフォーマンスと効率がさらに向上すると期待されています。オープンソースLLM推論の需要が高まるにつれて、SambaNova Cloudは高速でコスト効率の高いAI展開のための主要プラットフォームとしての地位を確立することを目指しています。しかし、競争環境は依然として激しく、主要なクラウドプロバイダーと専門スタートアップがすべて市場シェアを争っています。SambaNovaの成功は、パフォーマンス上の優位性を維持し、開発者とエンタープライズ顧客の強力なエコシステムを構築できるかどうかにかかっています。