Groqは、大規模言語モデルやその他の人工知能ワークロードの高速推論向けに設計された専用プロセッサであるLanguage Processing Unit（LPU）を開発・販売するアメリカのコンピューティング企業である。2016年に元Google DeepMindおよびXerox PARCのエンジニアチームによって設立された同社は、そのハードウェアをNvidiaが支配するGPUアクセラレータの代替として位置づけ、AIモデルを提供する際の決定的なレイテンシとエネルギー効率に焦点を当てている。Groqという名称は、SF作家ロバート・A・ハインラインが1961年の小説『異星の客』で造語した動詞「groq」に由来し、直感的または共感によって何かを理解することを意味する。
同社の中核製品であるLPUは、テンソルストリーミングプロセッサであり、CPUやGPUの従来の命令ベースのアプローチではなく、データフローアーキテクチャを使用してAIモデルを実行する。この設計により、複雑なスケジューリングやメモリ管理の必要性が排除され、予測可能で低レイテンシの実行が可能になる。Groqは当初深層学習推論を対象としていたが、そのハードウェアはその後、リアルタイムチャットボット、コード生成、音声処理など、より広範な生成AIアプリケーションに採用されている。
歴史と設立
Groqは2016年、GoogleでTensor Processing Unit（TPU）の開発を主導した元Googleエンジニアのジョナサン・ロスと、元Xerox PARC研究者のダグラス・ワイトマン、およびTPUチームの他のメンバーによって設立された。創業者らは、推論におけるGPUの限界に対処することを目指しており、汎用設計と高いメモリ帯域幅要件のために非効率であると見なしていた。同社は数年間ステルスモードで運営され、Social Capital、Chamath Palihapitiya、D1 Capital Partnersなどの投資家からベンチャーキャピタルを調達した。
2020年、Groqはステルスから脱却し、第1世代LPUを発表し、標準ベンチマークでGPUを上回る推論速度を実証した。同社はその後、2021年に第2世代LPUをリリースし、性能を2倍にし、より大規模なモデルのサポートを導入した。2024年、GroqはOpenAIのGPT-3.5や他のモデルを実行するための無料の公開APIを立ち上げたことで大きな注目を集め、その非常に高速な応答時間により数百万人のユーザーを惹きつけた。
アーキテクチャと技術
LPUは、TSMCの14ナノメートルプロセスで製造されたニューラルネットワークアクセラレータであり、ダイ面積は約500平方ミリメートルである。240の処理コアを含み、各コアには128の算術論理ユニット（ALU）と192キロバイトの静的ランダムアクセスメモリ（SRAM）が搭載されている。チップは1.0ギガヘルツで動作し、8ビット整数演算で最大750テラ演算/秒（TOPS）、16ビット浮動小数点演算で188テラ浮動小数点演算/秒（TFLOPS）を提供する。
GPUが高帯域幅メモリ（HBM）と複雑なメモリ階層に依存するのに対し、LPUはオンチップSRAMのみを使用し、推論中の外部メモリアクセスを排除している。この設計により、データがチップ外に移動する必要がないため、消費電力とレイテンシが削減される。LPUのデータフローアーキテクチャは、各コアが結果を直接隣接コアに渡すパイプライン方式で操作を実行できるため、チップ数に比例してスケールする持続スループットを実現する。
GroqのソフトウェアスタックであるGroq Compilerは、TensorFlowやPyTorchなどのフレームワークからの高レベルモデル定義をLPU用の静的スケジュールに変換する。この静的スケジューリングにより、すべての操作に事前決定された実行時間が保証され、予測可能な性能が確保され、GPUベースのシステムで見られる変動性が排除される。
製品とサービス
Groqの主要なハードウェア製品はLPUであり、サーバーへの統合用のPCIeカードとして提供されている。同社はまた、スタンドアロンのアクセラレータモジュールであるGroqChipと、8つのLPUを含む事前構成済みサーバーであるGroqRackも提供している。2024年、GroqはGroqCloudを導入した。これは、APIを通じてLPU搭載の推論へのアクセスを提供するクラウドベースのプラットフォームであり、処理されたトークンに基づく価格設定が行われている。
GroqCloud APIは、MetaのLlama 2およびLlama 3、MistralのMistral 7BおよびMixtral 8x7B、GoogleのGemmaなど、さまざまなオープンソースモデルをサポートしている。このプラットフォームはまた、CodeLlamaなどのコード生成用の専門モデルや、埋め込み用のモデルも提供している。Groqは、そのLPUがLlama 2 70Bで毎秒500トークン以上の推論速度を達成できると報告しており、GPUベースの代替品よりも大幅に高速である。
性能とベンチマーク
Groqは、LPUのレイテンシとスループットにおける利点を示すベンチマーク結果を公開している。2024年にスタンフォードAIラボの研究者によって実施された独立テストでは、LPUは7Bパラメータモデルでの単一トークン生成において中央値0.5ミリ秒のレイテンシを達成し、Nvidia A100 GPUでの2〜3ミリ秒と比較された。バッチ処理では、LPUは256の同時リクエストまで線形スケーリングを示したが、GPUはメモリ帯域幅の飽和により性能が低下した。
LPUの電力効率も注目に値し、7Bモデルでトークンあたり0.5ジュールの測定エネルギー消費を記録しており、同等のGPUが必要とするエネルギーの約3分の1である。この効率は、外部メモリアクセスの排除と簡素化された制御ロジックに由来する。ただし、LPUは動的メモリ割り当てと複雑なデータ依存関係を必要とするトレーニングタスクに対する柔軟性が欠如しているため、その使用は推論ワークロードに限定される。
市場での位置づけと競争
Groqは、急速に成長するAI推論アクセラレータ市場で事業を展開しており、Nvidia、AMD、Intelなどの確立されたプレーヤーや、Cerebras SystemsやSambaNova Systemsなどのスタートアップと競合している。NvidiaがGPUラインナップでAIアクセラレータ市場全体を支配している一方で、Groqは推論にのみ焦点を当て、モデル提供においてより低いレイテンシと高いスループットを提供することで差別化を図っている。
2024年、GroqはOracle CloudおよびCoreWeaveと提携し、データセンターにLPUを展開し、直接のハードウェア販売を超えてそのリーチを拡大した。同社はまた、Hugging Faceと協力してTransformersライブラリにLPUサポートを統合し、開発者がGroqハードウェアにモデルを展開しやすくした。
アプリケーションと使用例
GroqのLPUは、会話エージェント、音声アシスタント、インタラクティブなコーディングツールなど、リアルタイムのAI応答を必要とするアプリケーションに特に適している。同社は、金融サービスにおける高頻度取引アルゴリズム、医療における医用画像解析、自動運転車におけるオンボード推論での展開を報告している。Groqの低レイテンシはまた、ネットワーク往復が非現実的なエッジコンピューティングシナリオを可能にする。
2024年、GroqはSamsung Electronicsと提携し、モバイルデバイスへのLPU統合によるオンデバイスAIを検討すると発表したが、2025年初頭時点で商業製品はリリースされていない。同社はまた、インドのバーバ原子力研究センターを含む政府機関から、科学計算アプリケーションへの関心も集めている。
資金調達と財務
Groqは、複数のラウンドにわたって10億ドル以上のベンチャー資金を調達している。2017年のシリーズAラウンドで1000万ドルを調達し、2019年のシリーズBで1億ドル、2021年のシリーズCで3億ドルを調達した。2024年、同社はBlackRockとTiger Global Managementが主導する6億4000万ドルのシリーズDラウンドを完了し、Groqの評価額は約28億ドルとなった。同社は収益額を開示していないが、そのクラウドAPIは公開初月に1億件以上のリクエストが処理されるなど、大きな使用量を生み出していると報告されている。
今後の方向性
Groqは第3世代LPUを開発中であり、TSMCの5ナノメートルプロセスで製造される予定で、性能が2倍になり、消費電力がさらに削減されると期待されている。同社はまた、より大規模なモデルに対応するためのマルチチップパッケージングも検討しており、将来的にはトレーニングワークロードを可能にする可能性がある。Groqの経営陣は、Armがモバイルプロセッサの標準となったように、AI推論の標準となることを目標としていると述べている。
2025年時点で、Groqはクラウドサービスとパートナーシップを拡大し続けており、開発者や企業に高速AIを提供することに焦点を当てている。同社の決定的な性能とエネルギー効率への重点は、リアルタイムAIアプリケーションの需要増加に適しているが、確立された競合他社やこの分野の急速な革新ペースから大きな課題に直面している。
関連項目
参考文献
- Groq, Inc. (2024).「Groq LPU: アーキテクチャ概要」会社ホワイトペーパー。
- スタンフォードAIラボ。(2024).「推論アクセラレータのベンチマーク」技術レポート。
- TechCrunch。(2024).「GroqがAI推論でNvidiaに挑戦するため6億4000万ドルを調達」
- IEEE Spectrum。(2024).「GPUをAI推論で打ち負かす可能性のあるチップ」