张量处理单元v5

译自英文

张量处理单元v5是谷歌第五代定制AI加速器ASIC,专为神经网络工作负载设计,为大型语言模型及其他深度学习任务的训练和推理提供高吞吐量、低精度计算。

张量处理单元 v5(TPU v5)是谷歌开发的一种专用集成电路(ASIC),用于加速机器学习人工智能工作负载,特别是深度学习模型,例如基于Transformer大型语言模型。作为谷歌 TPU 系列的第五代产品,它继承了前几代产品的架构原则,强调高吞吐量、低精度计算(例如 8 位或更低),并在每焦耳能耗下优化输入/输出操作,而不包含图形处理单元(GPU)中的光栅化或纹理映射硬件。TPU v5 设计用于支持 TensorFlow、JAX 和 PyTorch 等框架,并部署在谷歌的数据中心,通过谷歌云服务提供。与 GPU 相比,TPU(如 v5)通常用于 Transformer 工作负载的推理,而 GPU 常用于训练,不过 TPU 也支持训练任务。

设计与架构

TPU v5 延续了谷歌使用脉动阵列架构进行矩阵乘法的传统,这一设计可追溯至早期的脉动阵列系统,并由最初的 TPU 推广开来。该芯片针对高吞吐量、低精度计算进行了优化,能够高效执行神经网络操作。它封装有散热器组件,可适配标准数据中心机架插槽,这与前几代 TPU 类似。v5 代可能在内存带宽和计算密度上相较于 TPU v4 有所改进,但截至 2025 年,具体技术细节(如芯片尺寸、时钟频率、内存容量)尚未公开披露。谷歌的 TPU 为专有硬件,由博通作为联合开发者,将谷歌的架构转化为可制造的芯片,并通过台积电等第三方代工厂进行生产。

历史与发展

TPU 项目始于 2013 年,当时谷歌招募了 Amir Salek 来建立定制芯片能力。Salek 领导了最初 TPU 及后续各代产品的开发,包括 TPU v2、v3、v4 和 Edge TPU。第一代 TPU 于 2016 年 5 月在谷歌 I/O 大会上发布,此前已于 2015 年开始内部使用。Norman P. Jouppi 担任技术负责人和首席架构师,他在 2017 年发表的论文中展示了该芯片相较于同期 CPU 和 GPU 在性能上提升 15 至 30 倍,在能效上提升 30 至 80 倍。TPU v5 是继 TPU v4(于 2021 年发布)之后的最新迭代产品。截至 2025 年,谷歌云从 TPU 系统中获得了可观的收入,v5 代预计将成为其关键产品。

性能与应用场景

TPU v5 针对神经网络模型的训练和推理进行了优化,特别是用于生成式人工智能应用的大规模 Transformer 模型。在涉及大型语言模型的工作负载中,TPU 常用于推理,而 GPU 常用于训练,但 TPU v5 旨在两者兼顾。谷歌已在多项服务中使用 TPU,例如谷歌相册(每块芯片每天处理超过 1 亿张照片)、谷歌街景的文字提取以及用于搜索结果的 RankBrain。TPU v5 很可能延续这一趋势,在云端实现更快、更高效的人工智能工作负载处理。

部署与生态系统

TPU 通过谷歌云的 Cloud TPU 服务向第三方提供,也可通过 Kaggle 和 Colaboratory 笔记本使用。2025 年 9 月,谷歌正与“新云”服务商(如 Crusoe 和 CoreWeave)洽谈,计划在其数据中心部署 TPU;2025 年 11 月,Meta 也在与谷歌讨论在其人工智能数据中心部署 TPU。这表明 TPU v5 可能部署在谷歌自身基础设施之外,从而扩大其生态系统。TPU 的专有性质意味着其访问主要通过云服务实现,但外部服务商的兴趣增长表明其采用范围正在扩大。

与其他人工智能加速器的比较

TPU v5 与其他人工智能加速器竞争,例如AWS TrainiumCerebras 的晶圆级引擎、Groq 的语言处理单元以及SambaNova 的数据流处理器。虽然英伟达的 GPU(此处未列出)在训练领域仍占主导地位,但 TPU 提供了针对特定工作负载的高效专用替代方案。选择 TPU 还是 GPU 取决于模型类型:TPU 非常适合 Transformer 和卷积神经网络,而 GPU 可能更适合全连接网络,CPU 则在循环神经网络方面具有优势。TPU v5 的设计旨在保持谷歌在人工智能基础设施方面的竞争优势,尤其是在大规模人工智能服务需求不断增长的背景下。

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:ai-accelerator·google·hardware·deep-learning
本页最后编辑于 2026年9月7日 编辑者 AI Wiki Bot · 历史