Cerebras Wafer Scale Engine（WSE）は、2015年にAndrew Feldmanらによって設立された企業であるCerebras Systemsが開発した、大規模な人工知能プロセッサである。シリコンウェハから切り出される従来のチップとは異なり、WSEはウェハ全体を単一のチップとして使用し、数十万のコアと膨大なオンチップメモリを統合する。この設計は、機械学習および深層学習のワークロードにおいて従来のGPUベースのシステムを悩ませる通信ボトルネックとメモリ制限を軽減することを目的としている。
2019年に発表された第1世代のWSE-1は、1.2兆個のトランジスタと40万個のAI最適化コアを搭載し、当時製造された最大のチップとなった。2021年にリリースされた第2世代のWSE-2は、トランジスタ数を2.6兆個に倍増させ、コア数を85万個に増やし、オンチップメモリも40ギガバイトに拡張した。2024年には、CerebrasはWSE-3を発表し、性能と効率をさらに向上させ、大規模言語モデルやその他の生成AIアプリケーションのトレーニングを対象とした。
アーキテクチャと設計
WSEのアーキテクチャは、従来のプロセッサとは根本的に異なる。少数の高性能コアに依存する代わりに、WSEは単一のウェハ上に数十万のシンプルでエネルギー効率の高いコアを配置する。これらのコアはメッシュネットワークによって相互接続され、大規模な帯域幅を提供し、コア間でデータを迅速に移動できるようにする。WSEはまた、大量の静的ランダムアクセスメモリ（SRAM）をチップ上に直接統合し、AIワークロードでしばしば性能ボトルネックとなる外部メモリへのアクセスを削減する。
ウェハスケール設計は、マルチチップシステムで一般的なチップパッケージングとチップ間通信の必要性を排除する。これにより、データ集約型タスクでのレイテンシが低減され、スループットが向上する。WSEは高度な半導体プロセスで製造され、WSE-2およびWSE-3はTSMCの7ナノメートルプロセスで構築されている。
ソフトウェアとエコシステム
Cerebrasは、WSEをプログラムするためのソフトウェアスタックを開発しており、Cerebras Software Platform（CSoft）が含まれる。CSoftはTensorFlowやPyTorchなどの一般的な深層学習フレームワークをサポートし、開発者が最小限のコード変更で既存のモデルを実行できるようにする。このプラットフォームには、ニューラルネットワークのグラフをウェハ上のコアにマッピングし、性能とメモリ使用量を最適化するコンパイラが含まれている。
同社はまた、複数のWSEを組み合わせて非常に大規模なモデルのトレーニングをスケールアップするシステムであるCerebras Wafer-Scale Clusterも提供している。このクラスターは、現代のトランスフォーマーベースのアーキテクチャで一般的な、数兆パラメータを持つモデルを処理するように設計されている。
性能とアプリケーション
WSEは、トレーニングと推論の両方で顕著な性能上の利点を示している。例えば、2023年にCerebrasは、WSE-2を搭載したCS-2システムが、複雑なモデル並列性を必要とせずに、単純なデータ並列アプローチを使用して1750億パラメータのモデル（GPT-3と同規模）をトレーニングできると発表した。これは、WSEの大容量オンチップメモリと高帯域幅を活用することで達成された。
推論性能も強力であり、同社によると、WSE-3は大規模言語モデルに対して毎秒1,000トークン以上を生成できる。これにより、対話型AIやコード生成などのリアルタイムアプリケーションに適している。
WSEは、政府機関や研究機関を含むさまざまな組織で採用されている。例えば、インドのバーバ原子力研究センターは、科学計算にCerebrasシステムを使用している。さらに、Cerebrasはテクノロジーホールディング企業であるG42と提携し、中東にAIスーパーコンピュータを構築している。
他のAIチップとの比較
WSEは、AWS Trainium（Amazon Web Services製）、Groqのテンソルストリーミングプロセッサ、SambaNovaの再構成可能データフローユニットなど、他の専門AIプロセッサと競合する。NVIDIAのGPU（提供リストにはないが主要な競合）とは異なり、WSEはオンチップメモリの最大化とデータ移動の最小化に焦点を当てている。このアプローチは特定のワークロードでより効率的である可能性があるが、製造歩留まりとシステム統合の課題ももたらす。
GraphcoreのIPU（インテリジェンスプロセッシングユニット）と比較すると、WSEは異なるトレードオフを提供する：より多くのコアを持つが、プログラミングの柔軟性は低い。WSEのウェハスケール設計は、従来のチップパッケージングと複数ダイを使用するIntelやAMDの製品とも区別される。
課題と制限
WSEの主な課題の1つは製造歩留まりである。ウェハ全体を単一のチップとして使用するため、ウェハの欠陥がチップ全体を使用不能にする可能性がある。Cerebrasは、冗長性と欠陥回避技術（故障したコアを迂回するマッピングなど）を実装することでこれに対処している。しかし、これにより最大サイズが制限され、コストが増加する。
もう1つの制限は、消費電力と冷却である。WSE-2は最大15キロワットの電力を消費し、専門的な冷却ソリューションが必要である。Cerebrasは、熱を効果的に放散するためにカスタムの液体冷却システムを使用している。
ソフトウェアの互換性も懸念事項である。CSoftは一般的なフレームワークをサポートしているが、一部の高度な機能やカスタム操作は完全に最適化されていない可能性がある。同社は、使いやすさを向上させるためにソフトウェアエコシステムを拡大し続けている。
将来の方向性
CerebrasはWSEアーキテクチャを進化させ続けている。2024年に発表されたWSE-3は、さらに大規模なモデルと高速なトレーニング時間をサポートするように設計されている。同社はまた、AI以外のアプリケーション（科学シミュレーションや高性能コンピューティングなど）も探求している。
2024年、Cerebrasは新規株式公開（IPO）を申請し、拡大計画を示した。同社は、AIハードウェア市場で確立されたプレーヤーとより直接的に競争することを目指している。
結論
Cerebras Wafer Scale Engineは、従来のチップ設計からの大胆な脱却を表し、AIワークロードに対して前例のない規模と性能を提供する。製造と採用の課題に直面しているが、ハイエンドAIコンピューティング市場でニッチを切り開いてきた。AIモデルが成長し続けるにつれて、オンチップリソースを最大化するWSEのアプローチはますます重要になる可能性がある。