Cerebras Systems Inc.は、カリフォルニア州サニーベールに本社を置き、AIディープラーニングアプリケーション（推論エンジンなど）を支える半導体、スーパーコンピュータ、関連ソフトウェアを開発しています。同社の製品には、ウエハースケールエンジン（WSE）-3半導体、CS-3スーパーコンピュータ、そして同社のハードウェアを購入せずにコンピューティングパワーにアクセスできる「AI推論クラウド」および「AIトレーニングクラウド」APIが含まれます。同社はまた、自社のプロセッサとスーパーコンピュータを使用してデータセンターを構築し、クラウドコンピューティングサービスを顧客に直接提供しています。
同社のWSE-3半導体は、寸法が215mm（8.5インチ）四方で、現在製造された中で最大のAI半導体です。これらはシリコンウエハー全体を占め、ウエハースケール集積とスイッチトファブリックを使用しています。これにより、GPUクラスターと比較してレイテンシと相互接続のボトルネックが低減されます。また、動的ランダムアクセスメモリではなく、静的ランダムアクセスメモリを使用しています。Cerebrasの半導体およびコンピュータシステムは、競合他社のものよりもはるかに強力ですが、その大きなサイズ、25kWの消費電力、ノードあたり最大300万ドルのコストといった欠点があります。
設立と初期の課題
Cerebras Systemsは、2015年にアンドリュー・フェルドマン、ゲイリー・ラウターバッハ、マイケル・ジェームズ、ショーン・リー、ジャン＝フィリップ・フリッカーによって設立されました。この5人の創業者は、2007年にフェルドマンとラウターバッハが設立し、2012年にAMDに3億3400万ドルで売却されたSeaMicroで共に働いていました。創業者たちは、GPUが高度なプロセスに最適な半導体ではないことを認識していました。しかし、彼らは、「巨大な」半導体が電力を消費する際に焼損するのを防ぐ独自の冷却方法を設計し、通常の微細な製造欠陥を回避する独自のソフトウェアを開発し、ウエハーにひびを入れずに同時に40本のネジを穴あけする機械を発明する必要がありました。
同社は、シリコンをマザーボードに接着し、電力を受け取り、加熱・冷却とデータ送受信のためのパイプを扱う集積回路パッケージングの問題を解決するのに苦労しました。毎月800万ドルを消費し、問題解決に2億ドルを費やしました。2019年7月、徹底的な試行錯誤の末、同社はようやく動作する製品を生み出しました。
第一世代製品
2019年8月、Cerebrasは第一世代のウエハースケールエンジン（WSE-1）半導体と、そのCS-1スーパーコンピューティングシステムを発表しました。CS-1は19インチのラックマウント型アプライアンスで、40万個のコア、1.2兆個のトランジスタ（12の100ギガビットイーサネット接続）、および18ギガバイトのメモリを備えた単一のWSEプライマリプロセッサを含みます。
同社の最初の顧客は、創薬、計算流体力学、遺伝子およびゲノム研究、薬物応答予測、COVID-19研究を目的としたスーパーコンピュータを構築していた教育機関やライフサイエンス企業でした。初期の顧客には、グラクソ・スミスクライン、アストラゼネカ、国立エネルギー技術研究所、ローレンス・リバモア国立研究所、ピッツバーグスーパーコンピューティングセンター、エディンバラ並列コンピューティングセンターが含まれます。
拡大とCS-2
2020年9月、同社は日本にオフィスを開設し、東京エレクトロンと提携しました。2021年4月、同社はWSE-2に基づくCS-2システムをリリースしました。CS-2はTSMCの7nmプロセスで製造され、高さ26インチ（660mm）で、標準のデータセンターラックの3分の1に収まります。WSE-2は85万コアと2.6兆トランジスタを備え、1つのシステムで1200億以上のパラメータを持つAIモデルをサポートできます。WSE-2は、オンチップSRAMを40ギガバイト、メモリ帯域幅を毎秒20ペタバイト、総ファブリック帯域幅を毎秒220ペタビットに拡張しました。顧客には、トタルエナジーズ、nference、国立スーパーコンピューティングアプリケーションセンター（NCSA）、ライプニッツスーパーコンピューティングセンターが含まれます。
2021年8月、Cerebrasはペプチド治療薬向けのAI開発でPeptilogicsと提携を発表しました。2022年6月、Cerebrasは、1つのCerebrasウエハーを搭載した単一のCS-2システムで、200億パラメータのモデルをトレーニングし、単一システムでトレーニングされた最大のAIモデルの記録を樹立しました。CS-2は、GPT-3XL 1.3B、GPT-J 6B、GPT-3 13B、GPT-NeoX 20Bなど、数十億パラメータの自然言語処理モデルを、ソフトウェアとインフラストラクチャの複雑さを軽減してトレーニングできます。
認知とクラスター
2022年8月、カリフォルニア州マウンテンビューのコンピュータ歴史博物館は、「世界最大のチップ」と名付けられたWSE-2を展示しました。また2022年8月、Cerebrasはインドのバンガロールにオフィスを開設しました。2022年9月、Cerebrasは、チップを連結してAIコンピューティング用の史上最大のクラスターを構築できると発表しました。ウエハースケールクラスターは、最大192台のCS-2 AIシステムをクラスターに接続でき、16台のCS-2 AIシステムによるクラスターは、自然言語処理用に1360万コアを備えたコンピューティングシステムを構成できます。
2022年10月、国立核安全保障局のサンディア国立研究所は、CS-2を使用して、核兵器が意図通りに機能するかを判断するための核安全保障スチュワードシップコンピューティングを開始しました。2022年11月、Cerebrasはアンドロメダスーパーコンピュータを発表しました。これは16台のWSE-2チップを1つのクラスターに結合し、1350万のAI最適化コアを備え、最大1エクサフロップスのAIコンピューティング（毎秒100京（10の18乗）回以上の演算）を実現します。システム全体で500kWを消費し、これは類似のGPUアクセラレーションスーパーコンピュータと比較して大幅に少ない消費電力です。
認知とクラスター
2022年8月、カリフォルニア州マウンテンビューのコンピュータ歴史博物館は、WSE-2をフィーチャーした「世界最大のチップ」と題する新しい展示を公開しました。また、2022年8月、Cerebrasはインドのバンガロールにオフィスを開設しました。2022年9月、Cerebrasは、チップを相互に接続してAIコンピューティング用の史上最大のコンピューティングクラスターを構築できることを発表しました。ウエハースケールクラスターは最大192台のCS-2 AIシステムを接続でき、16台のCS-2 AIシステムのクラスターは1360万コアを持つコンピューティングシステムを構築可能です。データ並列処理を使用してトレーニングを行います。
2022年10月、核安全保障局のサンディア国立研究所は、核兵器が意図通りに機能するかを判断するための核ストックパイル管理コンピューティングにCS-2を使用し始めました。2022年11月、Cerebrasはアンドロメダスーパーコンピュータを発表しました。これは16台のCS-2チップを1つのクラスターに統合し、1350万のAI最適化コアを提供し、最大1エクサフロップスのAIコンピューティング能力（毎秒100京回の演算）を実現します。システム全体の消費電力は500kWで、同等のGPUベースのスーパーコンピュータよりも大幅に低い値です。
パートナーシップと最近の動向
2022年11月、CerebrasはCirrascale Cloud Servicesとの提携を発表し、AIモデルスタジオ向けに定額制の「ペイ・パー・モデル」コンピューティング時間を提供しました。2022年11月、国立エネルギー技術研究所（NETL）はCerebras製品を使用してマイルストーンを達成しました。2022年11月、アルゴンヌ国立研究所は、NVIDIAおよびPNNLと共同で、大規模言語モデルを分析および予測に使用するCOVID-19研究でゴードン・ベル特別賞を受賞しました。
2023年7月、G42はCerebrasから9台のスーパーコンピュータを購入しました。2024年3月、Cerebrasは、同社初のインテル製x86プロセッサとNVIDIA製GPUを組み合わせたシステムを発表しました。2024年8月、CerebrasはIPOを申請しました。2024年9月、同社はIPOを延期しました。
ウエハースケールエンジン3
2024年3月、Cerebrasは第3世代のWSE-3を発表しました。WSE-3は、TSMCの5nmプロセスで製造され、4兆個のトランジスタを搭載し、900,000のAI最適化コアを含みます。WSE-3は、CS-3システムで利用可能です。CS-3は、液体冷却を備えた6ラックユニットのシステムで、AIワークロード向けに設計されています。Cerebrasは、WSE-3が最大8倍の性能向上と2倍の効率向上を実現すると主張しています。このシステムの一例として、AMD EPYC 9004プロセッサ（コードネームGenoa）と96GBのHBM3メモリを搭載し、最大15kWの電力を消費するシステムが挙げられます。
製造と市場での位置付け
Cerebrasは、ウエハースケールエンジンを設計していますが、製造はTSMCに委託しており、現在のところ同社のチップを製造できる唯一の企業です。同社の主な競合他社は、NVIDIA、AMD、Intel、Graphcore、Cerebrasの直接の競合相手と見なされるようになったAIチップスタートアップなどです。
同社のアプローチは、多数の小さなチップを相互接続するのではなく、単一の巨大なチップを作成することにより、AIトレーニングの速度と効率を向上させることを目指しています。しかし、このアプローチには、高コスト、歩留まりの問題、限られたソフトウェアエコシステムなど、課題があります。同社は、破損したコアをバイパスする独自のソフトウェアを開発し、高い歩留まりを実現すると同時に、チップ上の冗長コアを使用して欠陥を補償しています。
同社の主要な競合他社には、NVIDIA、AMD、Intel、Graphcore、Cerebrasなどがあり、AIコンピューティング市場で競争力を高めるために、製品と機能を継続的に改善しています。
認知とクラスター
2022年8月、カリフォルニア州マウンテンビューのコンピュータ歴史博物館は、WSE-2をフィーチャーした「世界最大のチップ」という新しい展示を公開しました。また、2022年8月、Cerebrasはインドのバンガロールにオフィスを開設しました。同年、Cerebrasは、チップを連結してAIコンピューティング用の史上最大のコンピューティングクラスターを構築できると発表しました。ウエハースケールクラスターは、最大192台のCS-2 AIシステムを接続でき、16台のCS-2 AIシステムのクラスターは、自然言語処理用に1360万のAI最適化コアを備えたコンピューティングシステムを構成できます。データ並列処理を使用してトレーニングします。
2022年10月、サンディア国立研究所は、核兵器が意図どおりに機能するかどうかを判断するための核ストックパイル管理コンピューティングにCS-2を使用し始めました。2022年11月、Cerebrasはアンドロメダスーパーコンピュータを発表しました。これは16台のWSE-2チップを1つのクラスターに統合し、1350万のAI最適化コアと最大1エクサフロップスのコンピューティング能力を提供します。システム全体の消費電力は500kWで、同等のGPUベースのスーパーコンピュータよりも大幅に低いです。
2023年、ノースウェスタン大学は、CS-2を使用して、コンピュータビジョン、ゲノミクス、医療などの分野で研究を行いました。2024年、ニューヨーク大学は、CS-2を使用して、大規模言語モデルのトレーニングを最適化する研究を行いました。
市場と競争
Cerebrasは、NVIDIA、AMD、Intelなどと競合しています。同社は、その独自技術により、特に大規模なAIモデルのトレーニングと推論において、競争上の優位性を主張しています。しかし、その高コストと電力要件は、広範な採用への障壁となっています。同社は、AIコンピューティングの需要が高まり続ける中、市場でのニッチな地位を確立しています。
マーケティングと販売
Cerebrasは、医療、エネルギー、政府研究などの分野の顧客をターゲットにしており、スーパーコンピューティング能力を必要とする組織に重点を置いています。同社は、個々のシステムの販売と、クラウドベースのAIコンピューティングサービスの両方を提供しています。同社のウェブサイトには、CS-3の既存顧客の例として、G42、Qualcomm AI Research、Sandia National Laboratories、およびノースウェスタン大学からの推薦文が掲載されています。
資金調達と評価
2024年6月、CerebrasはIPOを目指して米国証券取引委員会に機密のS-1登録届出書を提出しました。2024年9月30日、同社は一般向けに登録届出書を公開しました。IPOの直前に、同社は2024年9月にOpenAIとの取引を発表しました。2024年10月、CerebrasはIPOを延期したと発表しました。当初は2024年10月21日に上場する予定でした。2025年2月、同社はIPOの計画を再提出しましたが、公表はしていません。
資金調達
Cerebras は2017年から2024年の間に複数回の資金調達ラウンドを実施しました。同社は、2018年11月にOpenAIの共同創業者サム・アルトマンから資金を受け取りました。2020年にCerebrasはシリーズEラウンドで2億1,300万ドルを調達し、2021年にはシリーズFラウンドで2億5,000万ドルを調達しました。2023年には、Alpha Wave VenturesによるシリーズGラウンドで1億ドルを調達しました。2024年11月、同社はIPOを目指す中、シリーズGラウンドの延長で1億ドルを調達しました。
製品
Cerebras Systemsの主力製品は、CS-3とWSE-3です。CS-3は、WSE-3を搭載したスーパーコンピューターで、2024年3月に発表されました。WSE-3は、4兆個のトランジスタを搭載した巨大なチップで、世界中の主要なチップ設計と比較して、はるかに大きなダイサイズを誇ります。WSE-3には90万個のコアがあり、I/O帯域幅は128テラバイト/秒です。各CS-3システムには6つのスイッチトレイがあり、最大192のCS-3システムを相互接続して、最大384,000個のコアと、1.5エクサフロップスを超えるAIコンピューティング能力を実現します。
批判
批評家は、Cerebrasの製品は、そのユニークなアーキテクチャのために互換性の問題があり、特定のAIモデルやワークロードでNVIDIA GPUと比較してパフォーマンス上の利点が限られていると指摘しています。また、ウエハースケールエンジンの高い消費電力と冷却要件が、一部のデータセンター環境での導入を制限しています。Cerebrasは、これらの批判に対し、同社のアーキテクチャは大規模なAIトレーニングの特定の側面で優れたパフォーマンスを提供し、電力効率は継続的に向上していると応じています。
エコシステムとソフトウェア
Cerebrasは、同社のハードウェアとシームレスに連携するソフトウェアエコシステムを開発しています。これには、TensorFlowやPyTorchなどの主要なディープラーニングフレームワークのサポートが含まれます。同社はまた、開発者がCerebrasハードウェアでAIモデルを効率的にトレーニングできるようにする、Cerebras Model Studioと呼ばれる独自のソフトウェアプラットフォームも提供しています。このプラットフォームには、モデルのトレーニングを高速化し、メモリ使用量を最適化するためのツールが含まれています。さらに、Cerebrasは、特定のAIワークロード向けに最適化された、より広範なAIプロセッサポートフォリオを開発する計画を発表しました。
競合と市場展望
Cerebras Systemsは、AIコンピューティング市場において、NVIDIA、AMD、Graphcoreなどの企業との競争に直面しています。同社は、独自のウエハースケールアーキテクチャが、競合他社の従来のGPUベースのソリューションと比較して、特定のAIワークロードにおいてパフォーマンス上の利点を提供すると主張しています。しかし、アナリストは、同社が直面する課題として、NVIDIAの確立されたエコシステムとソフトウェアスタック、AIハードウェアスタートアップの高い資本要件、AIコンピューティング市場の急速な進化を挙げています。それにもかかわらず、Cerebrasは、大規模な政府研究所や研究機関とのパートナーシップを活用して、AIコンピューティング分野での存在感を拡大し続けています。