晶圆级引擎（WSE）是一系列大规模处理器，由Cerebras Systems开发，该公司由Andrew Feldman、Gary Lauterbach等人于2015年创立。与传统从硅晶圆上切割出的芯片不同，WSE将整个晶圆用作单个裸片，从而实现了前所未有的核心数量和片上内存。这种设计旨在减少困扰多芯片系统的通信瓶颈，使其特别适合训练大型语言模型和其他深度学习工作负载。
第一代产品WSE-1于2019年8月发布。它包含1.2万亿个晶体管和40万个AI优化核心，采用台积电的16纳米工艺制造。该芯片面积为46,225平方毫米，是当时最大图形处理单元面积的50多倍。第二代产品WSE-2于2021年4月推出，采用7纳米工艺，核心数量翻倍至85万个，并将片上内存增加到40千兆字节。2024年3月，Cerebras推出了WSE-3，基于5纳米工艺，拥有90万个核心和44千兆字节的片上SRAM，目标支持训练参数高达24万亿的模型。
架构与设计
WSE的核心创新在于其晶圆级集成。Cerebras没有在晶圆上制造许多小裸片并分别封装，而是保持整个晶圆完整，并利用冗余电路绕过制造缺陷。这种方法消除了通过印刷电路板进行芯片间通信的需求，而后者往往是分布式系统中的性能瓶颈。该芯片采用网格连接的核心网络，每个核心拥有自己的内存，从而实现高带宽、低延迟的数据移动。
每个核心都是针对神经网络中常见的稀疏线性代数运算优化的简化处理器。这些核心支持多种数据格式，包括FP16、BF16和FP32，并设计为高效执行密集和稀疏运算。片上内存分布在各个核心之间，提供的总带宽远超传统GPU内存系统。这种架构减少了对外部内存的依赖，而外部内存通常是AI训练中的限制因素。
WSE并非独立产品；它被集成到Cerebras的CS-2和CS-3系统中，这些系统包括电源输送系统和冷却解决方案。CS-2于2020年发布，搭载WSE-2，而CS-3于2024年发布，搭载WSE-3。这些系统设计为可插入现有数据中心，通常用于大规模训练的集群中。
性能与基准测试
Cerebras已发布多项WSE性能基准测试结果。2021年，该公司演示了单个CS-2系统可以训练一个18亿参数的GPT架构模型，并在连接多个系统时实现接近线性的扩展。2022年，Cerebras与桑迪亚国家实验室使用CS-2实时模拟了一个2亿神经元的脉冲神经网络，而这一任务通常需要配备数千个GPU的超级计算机才能完成。
2023年，Cerebras报告称，其系统训练一个70亿参数模型所需时间少于由16个NVIDIA A100 GPU组成的集群，原因是通信开销减少。据该公司称，WSE-3可提供高达125千万亿次浮点运算的AI计算能力，使其成为最强大的单芯片AI处理器之一。然而，独立基准测试有限，大多数性能声明来自Cerebras自身。
软件生态系统
为了对WSE进行编程，Cerebras开发了Cerebras软件平台（CSoft），其中包括一个将机器学习模型映射到芯片架构的编译器。CSoft支持TensorFlow和PyTorch等流行框架，使研究人员无需大幅修改代码即可运行现有模型。编译器处理数据流调度、内存分配以及针对晶圆级设计的优化。
Cerebras还提供了预优化模型实现库，包括Transformer、卷积网络和循环网络。软件栈包含用于跨多个CS系统进行分布式训练的工具，采用一种称为权重流的技术，该技术将模型权重通过芯片内存进行流水线处理。这种方法允许通过从外部存储流式传输权重来训练大于片上内存的模型。
应用与使用案例
WSE已被多个组织用于商业和研究目的。2021年，阿拉伯联合酋长国的G42集团与Cerebras合作建造了一台用于AI研究的超级计算机，后来用于训练Jais和Falcon模型。2023年，Cerebras宣布与高通合作开发设备端AI模型，但该合作的细节仍然有限。
在医疗保健领域，Cerebras与制药公司合作加速药物发现模拟。该芯片处理大规模图神经网络的能力已被用于分子性质预测。此外，WSE还被用于天气预报，实验表明，与GPU集群相比，高分辨率气候模型的训练速度更快。
与其他AI硬件的比较
WSE与其他专用AI处理器竞争，例如Groq的语言处理单元和SambaNova的可重构数据流单元。与作为通用并行处理器的GPU不同，WSE是专为AI工作负载优化的领域特定架构。其主要优势在于消除了芯片间通信，而这在大规模训练中可能带来显著开销。
然而，WSE的尺寸和功耗（CS-2高达15千瓦）限制了其部署在具有足够冷却条件的数据中心。相比之下，AWS Trainium和谷歌的TPU以云服务形式提供，对许多组织而言可能更易获取。WSE还面临来自AMD的Instinct加速器和Intel的Gaudi处理器的竞争，这些产品设计更为传统，但受益于成熟的软件生态系统。
挑战与限制
WSE的主要挑战之一是良率。制造无缺陷的晶圆很困难，但Cerebras使用一种称为“冗余”的技术，通过禁用故障核心并重新路由通信来容忍缺陷。这种方法使公司能够使用原本会被丢弃的晶圆，但也意味着不同芯片之间的有效核心数量存在差异。
另一个限制是内存容量。虽然片上内存很大，但仍小于GPU上可用的高带宽内存。对于需要大型嵌入表或注意力矩阵的模型，WSE必须依赖外部内存，这会降低其性能优势。此外，软件生态系统不如CUDA成熟，一些研究人员报告在移植自定义内核时遇到困难。
CS-2系统的成本未公开披露，但估计在数百万美元级别，这使得许多小型研究团队难以负担。Cerebras通过自身数据中心以及与Oracle Cloud和Azure的合作提供云访问来解决这一问题。
未来方向
Cerebras继续迭代WSE架构。2024年发布的WSE-3旨在支持训练参数高达24万亿的模型，这需要多个CS-3系统组成的集群。该公司还在探索新的封装技术，例如小芯片，以进一步提高性能并降低成本。
2023年，Cerebras申请了IPO，但由于市场条件而推迟。该公司已从投资者处筹集超过7亿美元资金，包括OpenAI联合创始人Sam Altman（尽管并非以官方身份）和Benchmark Capital。截至2024年，WSE在AI硬件领域仍是一款小众但具有影响力的产品，不断推动单芯片计算可能性的边界。
反响与影响
WSE在AI社区中获得了褒贬不一的反应。支持者强调其在解决内存带宽问题上的创新方法，而怀疑者则质疑其相对于GPU集群的实用性和成本效益。独立研究表明，对于某些工作负载（如稀疏注意力和图处理），WSE可以显著优于GPU，但对于其他工作负载，优势则不那么明显。
尽管存在争议，WSE已影响了其他AI芯片的设计，特别是在片上内存和互连领域。其成功也验证了晶圆级集成的概念，而这一概念此前被认为不切实际。随着生成式AI模型规模持续增长，对WSE等专用硬件的需求可能会增加，尽管竞争格局仍然动态变化。
参见
参考文献
- Cerebras Systems. “晶圆级引擎：简介。” 2019年。
- Feldman, A. 等. “Cerebras晶圆级引擎。” IEEE Micro，2021年。
- Cerebras Systems. “CS-3系统概述。” 2024年。
- 桑迪亚国家实验室. “实时脉冲神经网络模拟。” 2022年。
- G42. “建造全球最大AI超级计算机。” 2021年。