Cerebras

Cerebras Systems Inc.は、人工知能ディープラーニング用途向けの半導体、スーパーコンピュータ、およびクラウドサービスを開発しており、これまでに製造された最大のAI半導体であるウェハースケールエンジン（WSE）チップで知られている。

Cerebras Systems Inc.は、カリフォルニア州サニーベールに本社を置き、人工知能のディープラーニングアプリケーション（推論エンジンなど）を動かすための半導体、スーパーコンピュータ、および関連ソフトウェアを開発している。製品には、ウェハスケールエンジン（WSE）-3半導体、CS-3スーパーコンピュータ、そしてユーザーが同社のハードウェアを購入せずにコンピューティングパワーにアクセスできる「AI推論クラウド」および「AIトレーニングクラウド」APIが含まれる。同社はまた、自社のプロセッサとスーパーコンピュータを使用してデータセンターを構築し、クライアントに直接クラウドコンピューティングサービスを提供している。

同社のWSE-3半導体は、215mm（8.5インチ）四方で、現在製造されたAI半導体の中で最大である。これらはシリコンウェハ全体を占有し、ウェハスケール集積とスイッチドファブリックを使用している。これにより、GPUクラスタと比較してレイテンシとインターコネクトのボトルネックが軽減される。また、ダイナミックランダムアクセスメモリではなく、スタティックランダムアクセスメモリを使用している。Cerebrasの半導体とコンピュータシステムは競合他社のものよりもはるかに強力であるが、その大きなサイズ、25kWの消費電力、ノードあたり最大300万ドルというコストによる欠点がある。

歴史

Cerebras Systemsは、2015年にAndrew Feldman、Gary Lauterbach、Michael James、Sean Lie、Jean-Philippe Frickerによって設立された。この5人の創業者は、2007年にFeldmanとLauterbachが設立し、2012年にAMDに3億3400万ドルで売却されたSeaMicroで一緒に働いていた。

創業者たちは、GPUが高度なプロセスに最適な半導体ではないことを知っていた。しかし、電力を消費する際に「巨大な」半導体が燃えないようにする独自の冷却方法、通常の微細な製造欠陥を回避する独自のソフトウェア、そしてウェハにひびを入れずに同時に40本のネジを穴に打ち込むことができる機械を発明する必要があった。

同社は、集積回路パッケージングの問題、つまりシリコンをマザーボードに接着し、電力を受け取り、加熱と冷却、データの送受信のためのパイプを処理する問題を解決するのに苦労していた。毎月800万ドルを費やし、問題を解決するために2億ドルを費やした。2019年7月、徹底的な試行錯誤の末、同社はようやく機能する製品を生み出した。

2019年8月、Cerebrasは、第1世代のウェハスケールエンジン（WSE）半導体であるWSE-1と、そのCS-1スーパーコンピューティングシステムを発表した。CS-1は19インチラックマウント型アプライアンスで、40万の処理コア、1.2兆個のトランジスタ（12個の100ギガビットイーサネット接続）、18ギガバイトのメモリを備えた単一のWSEプライマリプロセッサを含む。

同社の最初の顧客は、創薬、数値流体力学、遺伝子およびゲノム研究、薬剤への反応予測、COVID-19研究のためのスーパーコンピュータを構築していた教育機関とライフサイエンス企業であった。初期の顧客には、グラクソ・スミスクライン、アストラゼネカ、国立エネルギー技術研究所、ローレンス・リバモア国立研究所、ピッツバーグ・スーパーコンピューティング・センター、エディンバラ並列コンピューティングセンターが含まれていた。

2020年9月、同社は日本にオフィスを開設し、東京エレクトロンと提携した。

2021年4月、同社は、85万コアを備えた同社のウェハスケールエンジン2（WSE-2）に基づくCS-2システムをリリースした。CS-2はTSMCの7nmプロセスで製造されている。高さは26インチ（660mm）で、標準的なデータセンターラックの3分の1に収まる。WSE-2は85万コアと2.6兆個のトランジスタを備えている。これにより、単一システムで120兆を超えるパラメータを持つAIモデルをサポートできる。WSE-2は、オンチップSRAMを40ギガバイトに、メモリ帯域幅を毎秒20ペタバイトに、総ファブリック帯域幅を毎秒220ペタビットに拡張した。顧客には、トタルエナジーズ、nference、国立スーパーコンピューティング応用センター（NCSA）、ライプニッツ・スーパーコンピューティングセンターが含まれていた。

2021年8月、Cerebrasは、ペプチド治療薬のためのAI開発に関してPeptilogicsとの提携を発表した。

2022年6月、Cerebrasは、単一デバイスでトレーニングされた最大のAIモデル、つまり1つのCerebrasウェハを備えた単一のCS-2システムが、最大200億パラメータのモデルをトレーニングしたという記録を樹立した。Cerebras CS-2システムは、GPT-3XL 1.3Bモデル、GPT-J 6B、GPT-3 13B、GPT-NeoX 20Bなどの数十億パラメータの自然言語処理（NLP）モデルを、ソフトウェアの複雑さとインフラストラクチャを削減してトレーニングできる。

2022年8月、カリフォルニア州マウンテンビューのコンピュータ歴史博物館は、「世界最大のチップ」と名付けられたWSE-2をフィーチャーした新しい展示を公開した。

また2022年8月、Cerebrasはインドのバンガロールにオフィスを開設した。

2022年9月、Cerebrasは、チップを相互に接続して、AIコンピューティングのためのこれまでで最大のコンピューティングクラスタを作成できることを発表した。ウェハスケールクラスタは、最大192台のCS-2 AIシステムをクラスタに接続でき、16台のCS-2 AIシステムのクラスタは、自然言語処理のための1360万コアを備えたコンピューティングシステムを作成できる。トレーニングにはデータ並列処理を使用する。

2022年10月、国家安全保障局のサンディア国立研究所は、核兵器が意図したとおりに機能するかどうかを判断するための核ストックパイル管理コンピューティングでCS-2の使用を開始した。

2022年11月、Cerebrasは、16個のWSE-2チップを1つのクラスタに組み合わせたアンドロメダスーパーコンピュータを発表した。これは1350万のAI最適化コアを備え、最大1エクサフロップスのAIコンピューティング能力、つまり毎秒少なくとも1京（10の18乗）回の演算を提供する。システム全体で500kWを消費し、これは同等のGPUアクセラレーションスーパーコンピュータよりも大幅に少ない量であった。

2022年11月、Cerebrasは、Cerebras AIモデルスタジオのための定額制の「ペイ・パー・モデル」計算時間を提供するために、Cirrascale Cloud Servicesとの提携を発表した。

2022年11月、国立エネルギー技術研究所（NETL）は、Cerebras製品を使用してマイルストーンを設定した。

2022年11月、アルゴンヌ国立研究所は、CerebrasのCS-2とNvidiaおよびHewlett-Packardの製品を使用して、SARS-CoV-2の変異株を分析および予測するための大規模言語モデルを変換し、2022年のゴードン・ベル特別賞（COVID-19研究部門）を受賞した。

2023年7月、G42は、Cerebrasから最大9台のスーパーコンピュータを購入する可能性のある最初の1台に約1億ドルを支払うことに合意した。最初のシステムはその年の後半に納入され、その後G42は主要な顧客となり、Cerebrasの収益のかなりの部分を占めるようになった。

技術と製品

Cerebrasのコア技術は、シリコンウェハ全体に及ぶ単一半導体であるウェハスケールエンジンである。このアプローチは、単一のウェハから複数のチップを切り出す従来のチップ製造とは対照的である。ウェハ全体を使用することで、Cerebrasは、GPUクラスタの主要なボトルネックであるチップ間インターコネクトの必要性を排除する。2024年に発表されたWSE-3は、この設計の第3世代であり、4兆個のトランジスタと90万コアを備えている。これはTSMCによって5nmプロセスで製造され、現在製造されたAI半導体の中で最大である。

CS-3スーパーコンピュータは、WSE-3を収容するシステムである。これは、統合された冷却と電力供給を備えた完全なAIコンピューティングノードとして設計されている。CS-3はトレーニングと推論の両方に使用でき、最大24兆パラメータのモデルをサポートする。Cerebrasはまた、顧客がシステムを直接購入せずにAPIを介してハードウェアにアクセスできるようにするクラウドサービスも提供している。

同社の半導体は、ダイナミックランダムアクセスメモリ（DRAM）ではなくスタティックランダムアクセスメモリ（SRAM）を使用しており、これにより高い帯域幅と低いレイテンシが提供される。これは、大量のデータへの迅速なアクセスを必要とするAIワークロードにとって特に有益である。

アプリケーションとユースケース

Cerebrasシステムは、自然言語処理、創薬、科学研究など、さまざまなAIアプリケーションで使用されている。初期の顧客には、創薬とゲノミクスにCS-1を使用したグラクソ・スミスクラインとアストラゼネカが含まれていた。国立エネルギー技術研究所はエネルギー研究にCerebrasシステムを使用し、ローレンス・リバモア国立研究所は核ストックパイル管理に使用した。CS-2はまた、2022年のゴードン・ベル特別賞を受賞したCOVID-19研究のためにアルゴンヌ国立研究所によって使用された。

商業分野では、アラブ首長国連邦に拠点を置くAI企業であるG42が主要な顧客であり、大規模なAIトレーニングにCerebrasシステムを使用している。OpenAIとAmazon Web Servicesは2026年にCerebrasハードウェアの使用に関する契約を締結し、顧客基盤をさらに拡大した。

市場での位置づけと競争

Cerebrasは、AIハードウェアとAIクラウドサービスの2つの主要な市場で事業を展開している。ハードウェア市場では、その主な競合他社はNvidia、AMD、Intel、Broadcomである。NvidiaはGPUでAIチップ市場を支配しているが、Cerebrasは、マルチGPUシステムのインターコネクトボトルネックを回避するシングルチップソリューションを提供することで差別化を図っている。クラウドサービス市場では、CerebrasはAmazon Web Services、Microsoft Azure、Google Cloud Platform、Oracle Corporation、CoreWeaveと競合している。

技術的な利点にもかかわらず、Cerebrasはそのシステムの高コストと電力要件のために課題に直面している。各ノードは最大300万ドルのコストがかかり、25kWの電力を消費する可能性があり、ハイパフォーマンスコンピューティングユーザーのニッチな市場への魅力が制限されている。

製造とサプライチェーン

Cerebrasの半導体は、現在このような大きなチップを製造できる唯一の企業であるTSMCによって製造されている。ウェハスケール集積には特殊な製造プロセスが必要であり、WSE-3とWSE-2にはそれぞれTSMCの5nmおよび7nmノードが使用されている。単一サプライヤーへの依存は潜在的な脆弱性であるが、高レベルの品質と一貫性も保証している。

最近の動向と将来の見通し

2024年、CerebrasはWSE-3とCS-3を発表し、これらは前世代よりも大幅なパフォーマンス向上を提供する。同社はまた、米国およびその他の地域のデータセンターでクラウドサービスを拡大している。2026年、CerebrasはOpenAIおよびAmazon Web Servicesと契約を締結し、その技術への需要の高まりを示している。同社は研究開発への投資を継続しており、ウェハスケール集積の改善と消費電力の削減に焦点を当てている。

2025年の時点で、Cerebrasはサニーベール、サンディエゴ、トロント、インドのバンガロールにオフィスを構えている。同社の主要な顧客には、2025年の収益の62%を占めるモハメド・ビン・ザイード人工知能大学と、24%を占めるG42が含まれる。同社の将来の成功は、製造を拡大し、現在のニッチを超えてより広い顧客基盤を引き付ける能力にかかっている。