图形处理单元（GPU）是一种专用处理器，最初设计用于通过并行执行大量简单计算来渲染图像和视频。这种架构，，数千个小核心同时对不同数据片段执行相同操作，，恰好极其适合支撑神经网络的矩阵和向量数学运算，因此GPU成为训练和运行深度学习模型的主导硬件。
GPU为何适合人工智能
训练神经网络涉及大型矩阵的反复乘法和加法，这些操作可分解为许多独立部分并同时执行。中央处理器拥有少量功能强大的核心，针对顺序、通用任务优化；而GPU拥有数千个更简单的核心，专门针对这种并行、重复的算术运算优化。这种差异使得原本为跨屏幕计算像素颜色这一并行任务而构建的GPU，在训练中使用的梯度下降计算和推理中使用的矩阵乘法方面，远比CPU更快。
历史
英伟达成立于1993年，凭借其消费级显卡确立了现代GPU品类，随后于2006年通过CUDA将GPU开放给通用计算，这是一个编程平台，允许开发者为GPU的并行核心编写非图形代码。人工智能的转折点出现在2012年，当时在两张英伟达GTX 580 GPU上训练的AlexNet以巨大优势赢得了ImageNet竞赛，证明了GPU加速的深度学习能大幅超越以往的计算机视觉方法，并引发该领域向GPU训练的全面转变。英伟达随后推出了一系列专为人工智能设计的数据中心GPU，包括V100（2017年）、A100（2020年）、H100（2022年）以及Blackwell代芯片（2024年），每一代在深度学习所用的低精度矩阵运算方面都比前代快得多。
市场与影响
到2020年代初期至中期的人工智能热潮，受训练大型语言模型和其他基础模型的计算需求驱动，对英伟达数据中心GPU的需求使英伟达一度成为全球市值最高的上市公司，H100等芯片持续供不应求。这巩固了英伟达作为人工智能训练硬件主导供应商的地位，并因CUDA作为事实上的软件标准而得到加强，大多数人工智能框架（包括PyTorch和TensorFlow）都针对其进行了优化。AMD、英特尔以及谷歌TPU等定制加速器在内的竞争对手对英伟达的主导地位发起了挑战，主要人工智能实验室也越来越多地自行设计芯片，但截至2025年，GPU（尤其是英伟达的GPU）仍是大规模人工智能训练的主要引擎，也是该行业常见的瓶颈和成本驱动因素，促使美国政府实施出口管制，限制其最先进芯片对华销售。