Gaudi 是 Habana Labs 开发的一系列 AI 训练处理器，Habana Labs 是英特尔的一家子公司，旨在加速大规模模型中的深度学习工作负载。这些处理器针对人工智能模型的训练和推理进行了优化，特别是大型语言模型及其他深度学习架构。Habana Labs 成立于 2016 年，于 2019 年被英特尔收购，其 Gaudi 产品线已成为英特尔 AI 硬件战略的关键组成部分。
第一代产品 Gaudi 1 于 2019 年发布，主要面向数据中心训练场景。它采用了专用架构，集成了以太网连接，支持跨多个节点的横向扩展。第二代产品 Gaudi 2 于 2022 年推出，提升了性能和内存容量，并被云服务提供商和企业广泛采用。2024 年，英特尔发布了 Gaudi 3，进一步增强了训练吞吐量，用于与英伟达和AMD的同类产品竞争。
架构与设计
Gaudi 处理器基于异构架构构建，结合了矩阵乘法引擎、向量处理单元以及通用 CPU 核心。其设计强调对神经网络操作的高利用率，并着重减少数据搬运瓶颈。与一些竞争对手不同，Gaudi 通过以太网实现了片上网络集成，从而在多节点训练中无需额外配备独立的网络适配器。
该处理器采用定制内存层级结构，配备大容量片上 SRAM 和高带宽 HBM2E 内存。以 Gaudi 3 为例，它提供 128 GB 的 HBM2E 内存，内存带宽达到 3.7 TB/s。该架构同时支持训练和推理任务，并针对 PyTorch 和 TensorFlow 等主流框架进行了软件优化。
性能与基准测试
Habana 公布的基准测试结果显示，Gaudi 2 和 Gaudi 3 在ResNet及基于Transformer的语言模型等训练任务中，性能具有竞争力。在内部测试中，Gaudi 3 相较于 Gaudi 2，在大型语言模型训练方面速度提升最高达 50%，推理速度提升最高达 40%。不过，独立的第三方基准测试仍然有限，实际性能表现取决于软件成熟度以及系统集成情况。
软件生态系统
SynapseAI 是 Gaudi 的核心软件框架，提供用户友好的接口，支持 ONNX 以及主流深度学习框架。该框架包含一个图编译器，能够自动融合运算、优化内存使用，并在处理器核心间调度任务。软件还支持通过 Horovod 和 PyTorch 的分布式数据并行模块进行分布式训练。
Habana 已与Hugging Face合作，针对包括BERT、GPT 和LLaMA在内的数千个模型进行了优化。这种集成使得开发者只需极少的代码改动即可运行这些模型。此外，软件还提供了量化工具以及模型剪枝功能，以提升推理效率。
市场定位与竞争
Gaudi 直接与英伟达的 A100 和 H100 GPU 以及AMD的 MI300 系列竞争。尽管英伟达在 AI 训练市场占据主导地位，Gaudi 提供了更具成本效益的替代方案，尤其是在基于以太网的集群环境中表现出竞争力。Habana 还将 Gaudi 定位为更节能的选择，拥有更低的总体拥有成本。
2024 年，英特尔宣布 Gaudi 3 将通过AWS和Google Cloud等云平台提供，从而扩大其市场覆盖。然而，由于 CUDA 生态系统的成熟度以及围绕英伟达建立的庞大生态，Gaudi 的采用率仍相对有限。Habana 正通过提供兼容层和合作伙伴关系来弥补这一差距。
应用与采用
Gaudi 处理器广泛应用于各类 AI 场景，包括生成式 AI、计算机视觉和自然语言处理。它们特别适合训练大型语言模型以及推荐系统。早期采用者包括Hugging Face，该公司使用 Gaudi 进行推理任务，此外还有多家提供 Gaudi 实例的云服务商。
2023 年，英特尔宣布与OpenAI合作，为 Gaudi 优化其模型，尽管具体细节披露有限。此外，AWS 提供了基于 Gaudi 的训练实例，Oracle Cloud 也已将 Gaudi 集成到其基础设施中。该处理器还被用于学术研究，斯坦福 AI 实验室和伯克利 AI 研究等机构正在探索其潜力。
未来展望
英特尔已承诺为 Gaudi 制定长期发展路线图，未来几代产品预计将提供更高的性能和更好的能效。公司还在加大对软件增强的投入，以简化从英伟达平台的迁移过程。截至 2025 年，Gaudi 3 是最新一代产品，但英特尔已暗示正在开发 Gaudi 4，目标发布时间为 2026 年。
Gaudi 的成功将在很大程度上取决于英特尔 AI 生态系统的整体发展以及其在价格和性能上的竞争力。随着生成式 AI和大型语言模型需求的持续增长，对训练硬件的需求也在激增，Gaudi 有望在这一市场中占据一席之地。
结论
Gaudi 代表了英特尔在 AI 加速器市场的重要布局，为英伟达 GPU 提供了可行的替代方案。凭借其独特的集成网络和具有竞争力的性能，它在数据中心训练领域找到了自己的定位。尽管在软件成熟度和生态系统支持方面仍面临挑战，但该处理器持续的开发以及合作伙伴关系的建立，预示着其在 AI 硬件领域拥有广阔的发展前景。