Cerebras晶圆级引擎（WSE）是一款由Cerebras Systems开发的大规模人工智能处理器，该公司由Andrew Feldman等人于2015年创立。与传统从硅晶圆上切割出的芯片不同，WSE将整个晶圆用作单一芯片，集成了数十万个核心和巨大的片上内存。该设计旨在减少传统基于GPU的系统在机器学习和深度学习工作负载中常见的通信瓶颈和内存限制。
第一代WSE-1于2019年发布，包含1.2万亿个晶体管和40万个AI优化核心，是当时有史以来最大的芯片。第二代WSE-2于2021年发布，晶体管数量翻倍至2.6万亿，核心数量增至85万个，同时将片上内存提升至40GB。2024年，Cerebras推出了WSE-3，进一步提升了性能和效率，专注于训练大型语言模型及其他生成式AI应用。
架构与设计
WSE的架构与传统处理器根本不同。WSE不依赖少量强大核心，而是在单个晶圆上集成数十万个简单、节能的核心。这些核心通过网格网络互连，提供巨大带宽，使数据能在核心间快速移动。WSE还将大量静态随机存取存储器（SRAM）直接集成在芯片上，减少对外部内存的访问需求，而外部内存往往是AI工作负载中的性能瓶颈。
晶圆级设计消除了多芯片系统中常见的芯片封装和芯片间通信需求，从而降低了数据密集型任务的延迟并提高了吞吐量。WSE采用先进半导体工艺制造，其中WSE-2和WSE-3由台积电基于7纳米工艺生产。
软件与生态系统
Cerebras开发了一套软件栈来编程WSE，包括Cerebras软件平台（CSoft）。CSoft支持TensorFlow和PyTorch等流行深度学习框架，使开发者能以最小代码更改运行现有模型。该平台包含一个编译器，可将神经网络图映射到晶圆核心上，并优化性能和内存使用。
该公司还提供Cerebras晶圆级集群，这是一个结合多个WSE以扩展超大型模型训练的系统。该集群旨在处理具有数万亿参数的模型，这些模型在现代Transformer架构中很常见。
性能与应用
WSE在训练和推理方面均展现出显著性能优势。例如，2023年，Cerebras宣布其由WSE-2驱动的CS-2系统可使用简单的数据并行方法训练一个1750亿参数模型（规模类似于GPT-3），而无需复杂的模型并行。这是通过利用WSE的大片上内存和高带宽实现的。
推理性能同样强劲，据该公司称，WSE-3可为大型语言模型每秒生成超过1000个token。这使其适用于对话式AI和代码生成等实时应用。
WSE已被多个组织采用，包括政府机构和研究机构。例如，印度的巴巴原子研究中心使用Cerebras系统进行科学计算。此外，Cerebras已与g42（一家科技控股公司）合作，在中东建设AI超级计算机。
与其他AI芯片的比较
WSE与其他专用AI处理器竞争，例如来自亚马逊云服务的AWS Trainium、Groq的张量流处理器以及SambaNova的可重构数据流单元。与英伟达的GPU（未在提供列表中，但为主要竞争对手）不同，WSE专注于最大化片上内存并最小化数据移动。这种方法对某些工作负载可能更高效，但在制造良率和系统集成方面也带来挑战。
与Graphcore的IPU（智能处理单元）相比，WSE提供了不同的权衡：核心更多，但编程灵活性较低。WSE的晶圆级设计也使其区别于英特尔和AMD的产品，后者使用带多个芯片的传统封装。
挑战与限制
WSE的主要挑战之一是制造良率。由于整个晶圆用作单一芯片，晶圆上的任何缺陷都可能导致整个芯片无法使用。Cerebras通过实施冗余和缺陷规避技术（如绕过故障核心进行映射）来解决这一问题。然而，这仍限制了最大尺寸并增加了成本。
另一个限制是功耗和散热。WSE-2功耗高达15千瓦，需要专门的冷却解决方案。Cerebras使用定制液冷系统来有效散热。
软件兼容性也是一个问题。虽然CSoft支持流行框架，但某些高级功能或自定义操作可能未完全优化。该公司继续扩展其软件生态系统以改善可用性。
未来方向
Cerebras持续演进WSE架构。2024年发布的WSE-3旨在支持更大模型和更快训练时间。该公司还在探索AI之外的应用，如科学模拟和高性能计算。
2024年，Cerebras提交了首次公开募股（IPO）申请，表明其扩张计划。该公司旨在更直接地与AI硬件市场的成熟参与者竞争。
结论
Cerebras晶圆级引擎代表了对传统芯片设计的大胆突破，为AI工作负载提供了前所未有的规模和性能。尽管在制造和采用方面面临挑战，它已在高端AI计算市场占据一席之地。随着AI模型持续增长，WSE最大化片上资源的方法可能变得越来越重要。