グラフィックス処理装置（GPU）は、もともと画像や動画をレンダリングするために設計された専用プロセッサであり、多数の単純な計算を並列に実行することで処理を行う。その同じアーキテクチャ、すなわち数千もの小さなコアが異なるデータに対して同じ演算を同時に実行する構造は、ニューラルネットワークの基盤となる行列演算やベクトル演算に極めて適していることが判明し、GPUはディープラーニングモデルの学習と実行における主要なハードウェアとなった。
GPUがAIに適する理由
ニューラルネットワークの学習には、大きな行列の乗算と加算が繰り返し行われ、これらの演算は多数の独立した部分に分割して同時に実行できる。中央処理装置（CPU）は、逐次処理や汎用タスクに最適化された少数の強力なコアを持つ一方、GPUは、この種の並列的で反復的な算術演算に最適化された数千もの単純なコアを持つ。この違いにより、もともと画面上のピクセル色を計算する並列タスク用に作られたGPUは、学習で使用される勾配降下法の計算や、推論で使用される行列乗算において、CPUよりもはるかに高速となった。
歴史
1993年に設立されたNvidiaは、消費者向けグラフィックスカードで現代のGPUカテゴリを確立し、その後2006年にCUDAを発表してGPUを汎用計算に開放した。CUDAは、開発者がGPUの並列コア向けに非グラフィックスコードを記述できるようにするプログラミングプラットフォームである。AIにとっての転換点は2012年で、2枚のNvidia GTX 580 GPUで学習されたAlexNetがImageNetコンペティションで大差で勝利し、GPUアクセラレーションによるディープラーニングが従来のコンピュータビジョン手法を劇的に上回ることを実証した。これにより、分野全体がGPU学習へと移行するきっかけとなった。その後、NvidiaはAI専用のデータセンター向けGPUシリーズを構築し、V100（2017年）、A100（2020年）、H100（2022年）、Blackwell世代チップ（2024年）を発表した。それぞれ、ディープラーニングで使用される低精度の行列演算において、前世代よりも大幅に高速である。
市場と影響
2020年代前半から中盤にかけてのAIブームにより、大規模言語モデルやその他の基盤モデルの学習に必要な計算需要がNvidiaのデータセンター向けGPUへの需要を押し上げ、Nvidiaは一時的に世界で最も価値のある公開企業となった。H100などのチップは慢性的な供給不足に陥った。これにより、NvidiaはAI学習ハードウェアの主要供給者としての地位を強化し、CUDAが事実上のソフトウェア標準となり、PyTorchやTensorFlowを含むほとんどのAIフレームワークがCUDA向けに最適化されている。AMDやIntelなどの競合他社、およびGoogleのTPUなどのカスタムアクセラレータがNvidiaの支配に挑戦しており、主要なAI研究所は自社チップの設計を増やしているが、2025年時点でもGPU、特にNvidiaのGPUは大規模AI学習の主要なエンジンであり続け、業界にとって頻繁なボトルネックおよびコスト要因となっている。これにより、米国政府は最先端チップの中国への販売を制限する輸出規制を導入している。