Groq Chipは、AIアクセラレータの専門的なもので、Groq社によって開発され、大規模言語モデルやその他の深層学習ワークロードの推論を極めて低いレイテンシで実行するために設計されています。AIに使用される従来のGPUとは異なり、Groq Chipはテンソルストリーミングプロセッサ（LPU）アーキテクチャを基盤としており、これは決定論的でデータフロー指向の設計であり、複雑なスケジューリングの必要性を排除し、オーバーヘッドを削減します。このチップは、トランスフォーマーベースのモデルに対して高いスループットを提供するように設計されており、会話型AIやコード生成などのリアルタイムアプリケーションに特に適しています。
Groq Chipの第1世代であるGroqChip 1は、2020年1月に発表されました。これは、TSMCによって14ナノメートルプロセスで製造され、220 MBのオンチップSRAMを備えた単一ダイで構成されていました。このチップは、推論タスクで一般的な8ビット整数精度で、ピーク性能750テラオペレーション毎秒（TOPS）を達成します。その後、2024年にGroqはGroqChip 2を導入し、6ナノメートルプロセスで構築され、性能と効率が向上しました。GroqChip 2は、より大きなモデルと高いバッチサイズをサポートするように設計されており、推論レイテンシをさらに削減します。
LPUアーキテクチャは、従来のGPUとは根本的に異なります。複雑な制御ロジックを持つ多数のコアに依存する代わりに、Groq Chipは単純で決定論的なデータフローモデルを使用し、命令が順序どおりに発行され、データが予測可能な方法でチップ内を流れます。この設計は、動的スケジューリングの必要性を排除し、分岐予測やアウトオブオーダー実行に関連するオーバーヘッドを削減します。その結果、Groq Chipは一貫した低レイテンシの性能を達成し、リアルタイム応答を必要とするアプリケーションにとって重要です。
歴史と開発
Groqは、Googleの元エンジニアであるJonathan Rossを含むチームによって2016年に設立されました。Rossは、GoogleのTensor Processing Unit（TPU）プロジェクトに以前携わっていました。同社は、既存のハードウェアの限界に対処するために、AI推論専用の新しいタイプのプロセッサを作成することを目指しました。最初のGroqChipは2019年にテープアウトされ、2020年初頭に公開されました。それ以来、Groqは設計を反復し、2024年にGroqChip 2をリリースしました。これは現在、同社のクラウドサービスで展開されています。
Groqのアプローチは、主要なテクノロジー企業から注目を集めています。2021年には、Intel CapitalやSamsung Catalyst Fundなどが主導するシリーズCラウンドで3億ドルを調達しました。この資金は、第2世代チップの開発とクラウドプラットフォームの拡張を支援しました。
アーキテクチャと設計
Groq ChipのLPUアーキテクチャは、チップ全体に複製されるシングルコア設計に基づいています。各コアには、ベクトルおよび行列乗算ユニットを含む一連の機能ユニットと、大量のSRAMが含まれています。このチップはソフトウェア定義のアプローチを使用し、コンパイラがモデル全体をハードウェアにマッピングし、すべての操作を静的にスケジュールします。これにより、ハードウェアベースのスケジューリングの必要性が排除され、データ移動を正確に制御できます。
Groq Chipの主な特徴の1つは、ストリーミングデータフローモデルの使用です。データはシストリックアレイ方式でチップを通じてストリーミングされ、各処理要素がデータが通過する際に特定の操作を実行します。この設計は、オンチップSRAMが中間結果を格納するために使用されるため、外部メモリからデータをフェッチする必要性を最小限に抑えます。また、このチップはマルチヘッドアテンションやその他のニューラルネットワーク操作をハードウェアで直接サポートし、レイテンシをさらに削減します。
性能とベンチマーク
独立したベンチマークでは、Groq Chipは推論タスクで卓越した性能を示しています。例えば、GPT-3クラスのモデルでは、GroqChip 1はチップあたり毎秒300トークン以上の速度でトークンを生成でき、これは多くのGPUベースのシステムよりも大幅に高速です。GroqChip 2はこれを改善し、同様のモデルで毎秒500トークン以上を達成します。この性能は、バッチ処理やその他の最適化を必要とせずに達成され、低レイテンシのアプリケーションに理想的です。
Groqはまた、同社のチップがLLaMA-2 70Bモデルを単一トークンで100ミリ秒未満のレイテンシで実行できることを示す結果を公開しており、これは他のアクセラレータと同等かそれ以上です。同社は、LPUの決定論的実行が一貫した性能を保証し、本番環境で重要であると強調しています。
ソフトウェアとエコシステム
Groq Chipをサポートするために、同社はコンパイラ、ランタイム、SDKを含む包括的なソフトウェアスタックを開発しました。Groq Compilerと呼ばれるコンパイラは、TensorFlowやPyTorchなどの一般的なフレームワークからモデルを取得し、LPU用の最適化された命令に変換します。ランタイムは、ビームサーチやその他のデコード戦略をサポートし、本番環境でモデルを展開するためのAPIを提供します。
Groqはまた、開発者がハードウェアにリモートでアクセスできるクラウドサービスGroqCloudを提供しています。このサービスは、AI21 LabsやInflection AIなどの企業がAIアプリケーションを強化するために使用しています。ソフトウェアスタックは使いやすさを重視して設計されており、AIモデルの展開の複雑さを軽減することに焦点を当てています。
アプリケーションとユースケース
Groq Chipは主に、生成AIアプリケーション（チャットボット、コード生成、コンテンツ作成など）の推論に使用されます。その低レイテンシは、ユーザーが即時の応答を期待するリアルタイムのインタラクションに適しています。例えば、OpenAIのChatGPTや同様のサービスは、このチップの速度から恩恵を受ける可能性がありますが、Groqは主要なAIラボとの具体的なパートナーシップを開示していません。
言語モデル以外にも、Groq Chipはコンピュータビジョンや音声認識などの他のAIワークロードにも使用されています。その決定論的な性能は、自動運転車や医療診断などの安全性が重要なアプリケーションで有利であり、一貫したタイミングが不可欠です。
他のアクセラレータとの比較
Groq Chipは、AWS Trainium、GoogleのTPU、AMDのInstinctシリーズなどの他のAIアクセラレータと競合しています。GPUはより柔軟で広く採用されていますが、Groq Chipは推論タスクで優れたレイテンシを提供します。ただし、特定のタイプのモデルに最適化されており、トレーニングにはそれほど効率的ではない可能性があるため、柔軟性には制限があります。同社は推論に焦点を当てており、トレーニングは他のハードウェアに任せています。
SambaNovaの再構成可能なデータフローアーキテクチャと比較すると、Groq Chipはより rigid ですが、標準的なトランスフォーマーモデルでは高い性能を提供します。これらのアクセラレータの選択は、レイテンシ、スループット、コストなど、アプリケーションの特定の要件に依存することがよくあります。
将来の方向性
GroqはAIハードウェア分野で革新を続けています。同社は、NVIDIAのDGXシステムの能力に匹敵する可能性のある、さらに大きなモデルをサポートするためにスケールできるマルチチップシステムの開発計画を発表しています。さらに、Groqは歩留まりを改善しコストを削減するためにチップレット設計の使用を検討しています。AI推論の需要が高まるにつれて、Groq Chipは将来のAIインフラストラクチャで重要な役割を果たす位置にあります。
結論
Groq Chipは、AI推論ハードウェアにおける重要な進歩を表しており、大規模言語モデルに対して前例のない速度と効率を提供します。その独自のLPUアーキテクチャは、堅牢なソフトウェアスタックと組み合わせることで、リアルタイムのAI機能を必要とする組織にとって魅力的な選択肢となっています。確立されたプレーヤーとの競争に直面していますが、低レイテンシの推論に焦点を当てることで、急速に進化するAIハードウェアの状況で際立っています。