Cerebras Inferenceは、ウェハースケールエンジン（WSE）チップで知られる企業Cerebras Systemsが開発した、クラウドベースのAI推論サービスです。このサービスは、大規模言語モデルやその他の深層学習モデルを、従来のGPUベースのインフラストラクチャよりも大幅に高速な速度で実行するように設計されており、低遅延応答を必要とする本番AIアプリケーションを対象とした企業や開発者をターゲットにしています。2024年に開始され、同社のカスタムハードウェアを活用して、既存のクラウドプロバイダーや専門AIチップスタートアップに代わる選択肢を提供しています。
このサービスは、シンプルなAPIを通じて動作し、ユーザーが基盤となるインフラストラクチャを管理することなくモデルをデプロイできます。LlamaやMistralファミリーを含むさまざまなオープンウェイトモデルをサポートしており、高スループットの推論タスク向けのコスト効率の高いソリューションとして販売されています。トレーニングではなく推論フェーズに焦点を当てることで、Cerebras Inferenceは、チャットボット、コード生成、リアルタイム分析などの分野における、迅速でスケーラブルなモデルサービングへの高まる需要に対応しています。
ハードウェア基盤
Cerebras Inferenceは、同社のウェハースケールエンジン、つまり単一のシリコンウェハーが1つの巨大なプロセッサとして機能するものに基づいています。従来のチップが個々のダイに切断されるのとは異なり、WSEは数千のコアとオンチップメモリを統合し、個別のコンポーネント間のデータ移動の必要性を減らします。2021年に導入された第2世代のWSE-2は、85万コアと40ギガバイトのオンチップSRAMを搭載しており、モデル全体をメモリ内に保持し、外部メモリアクセスに関連するボトルネックを回避できます。
このアーキテクチャは、非常に高いメモリ帯域幅と低遅延を可能にするため、推論に特に適しています。例えば、このサービスは、特定のモデルで毎秒1,800トークンを超えるトークン生成速度を報告しており、これは多くのGPUベースのシステムを上回る数値です。ハードウェアはTSMCと提携して製造されており、同社は高度なプロセスノードを使用してウェハースケールコンポーネントを生産しています。
サービス機能とモデル
このサービスは、ストリーミング応答と非ストリーミング応答の両方をサポートするマネージドAPIを提供し、開発者の統合を容易にするためにOpenAIスタイルのエンドポイントとの互換性を備えています。当初はLlama 3.1 8Bおよび70Bモデルのサポートで開始され、その後Mistral 7Bや、LlamaおよびQwenの新しいバージョンが追加されました。2025年時点で、プラットフォームは最大4,050億パラメータのモデルを含むように拡張されていますが、そのような大規模モデルは複数のウェハーにわたる分散実行が必要になる場合があります。
Cerebras Inferenceはまた、実験用の無料レート制限付きサーバーレス層と、本番ワークロード向けの有料プランを提供しています。このサービスには、最新のLLMプラットフォームで一般的な、構造化出力、関数呼び出し、JSONモードなどの機能が含まれています。初期リリースではファインチューニング機能は提供されておらず、代わりに事前トレーニング済みモデルのサービングに焦点を当てています。
パフォーマンスとベンチマーク
独立したベンチマークでは、特に小規模モデルにおけるCerebras Inferenceの速度が強調されています。artificial analysisによるテストでは、このサービスは特定のLlamaモデルで主要プロバイダーの中で最高のスループットを達成し、Groq、SambaNova、AWSの提供を上回りました。低遅延は、個別のメモリチップ間でデータが移動する必要がないウェハースケール設計に起因しています。
ただし、パフォーマンスはモデルサイズとリクエストパターンによって異なります。非常に大規模なモデルでは、このサービスはトップクラスのGPUクラスターを上回らない場合があり、同社はその利点がオンチップメモリに完全に収まるモデルで最も顕著であることを認めています。このサービスはまた、高ボリュームアプリケーションの効率を向上させることができるバッチ処理もサポートしています。
競争環境
Cerebras Inferenceは、AI推論プロバイダーの混雑した市場で競争しています。主要なクラウドプラットフォームであるGoogle Cloud、Azure、AWSはGPUベースの推論サービスを提供し、GroqやSambaNovaなどの専門スタートアップはカスタムハードウェアソリューションを提供しています。Cerebrasは、メモリ帯域幅と計算密度の独自の組み合わせを提供するウェハースケールアプローチを通じて差別化を図っています。
このサービスは、GraphcoreやD-Waveなどの企業と並んで、目的特化型AIインフラストラクチャへの広範なトレンドの一部ですが、これらの企業は異なるセグメントに焦点を当てています。Cerebrasはまた、ベンダーロックインを回避したい企業向けのパートナーとしての地位を確立しており、複数のプラットフォームにデプロイできるオープンウェイトモデルを提供しています。
採用とユースケース
Cerebras Inferenceの初期採用者には、会話エージェントやコーディングアシスタントなど、リアルタイムのAI応答を必要とするスタートアップや研究組織が含まれます。このサービスは、カスタマーサポートの自動化から科学データ分析まで、さまざまなアプリケーションで使用されています。その低遅延は、生成AIツールなど、ユーザーが即時のフィードバックを期待するインタラクティブなユースケースに適しています。
同社は学術機関や企業とのパートナーシップを報告していますが、具体的な顧客名は常に開示されるわけではありません。2025年時点で、このサービスは進化を続けており、ユーザーフィードバックに基づいてモデルと機能を追加する計画があります。その価格モデルは競争力があり、多くの場合、高スループットワークロードでGPUベースの代替品よりも低価格です。
今後の方向性
Cerebras Systemsは、推論サービスを拡張して、追加のモデルアーキテクチャとより大きなパラメータ数をサポートすることを示しています。同社はまた、単一チップのメモリ容量を超えるモデルを処理するためのマルチウェハースケーリングの改善にも取り組んでいます。機械学習モデルの急速な進歩に伴い、このサービスは低遅延推論の最前線に留まることを目指しており、トランスフォーマー変種やニューラルネットワークの革新などの新興技術と統合する可能性があります。
AI推論への需要が高まる中、Cerebras Inferenceは、従来のチップメーカーやクラウドプロバイダーの支配に挑戦する注目すべき試みを表しています。その成功は、継続的なハードウェア改善と、幅広い開発者コミュニティを引き付ける能力にかかっています。