Cerebras Systems Inc.总部位于加利福尼亚州桑尼维尔,开发半导体、超级计算机及相关软件,为人工智能深度学习应用(如推理引擎)提供支持。其产品包括晶圆级引擎(WSE)-3半导体、CS-3超级计算机,以及“AI推理云”和“AI训练云”API,允许用户无需购买其硬件即可访问公司的计算能力。该公司还使用其处理器和超级计算机建设数据中心,直接向客户提供云计算服务。
该公司的WSE-3半导体尺寸为215毫米(8.5英寸)见方,是目前有史以来最大的AI半导体。它们占据整个硅晶圆,并采用晶圆级集成和交换矩阵技术。与GPU集群相比,这减少了延迟和互连瓶颈。它们使用静态随机存取存储器,而非动态随机存取存储器。Cerebras半导体和计算机系统比竞争对手的产品强大得多;然而,它们也存在缺点,包括体积庞大、功耗达25千瓦,以及每个节点高达300万美元的成本。
创立与早期挑战
Cerebras Systems于2015年由Andrew Feldman、Gary Lauterbach、Michael James、Sean Lie和Jean-Philippe Fricker创立。这五位创始人曾在SeaMicro共事,该公司由Feldman和Lauterbach于2007年创立,并于2012年以3.34亿美元出售给AMD。创始人深知GPU并非高级流程的理想半导体。然而,他们必须设计独特的冷却方法,以防止“巨型”半导体在通电时烧毁;开发独特的软件来绕过常见的微观制造缺陷;并发明一种机器,能够同时将40颗螺丝钻入晶圆而不使其破裂。
该公司在解决集成电路封装问题方面遇到困难:将硅附着到主板上、接收电力、处理加热和冷却以及输送和返回数据的管道。它每月烧掉800万美元,并花费2亿美元试图解决这一问题。2019年7月,经过反复试验,该公司终于生产出可用的产品。
第一代产品
2019年8月,Cerebras发布了WSE-1,即其第一代晶圆级引擎(WSE)半导体,以及CS-1超级计算系统。CS-1是一款19英寸机架式设备,包含一个WSE主处理器,拥有40万个处理核心、1.2万亿个晶体管(十二个100千兆以太网连接)和18千兆字节内存。
该公司的首批客户是教育机构和生命科学公司,它们正在建设超级计算机,用于药物发现、计算流体动力学、遗传和基因组研究、预测药物反应以及COVID-19研究。早期客户包括葛兰素史克、阿斯利康、国家能源技术实验室、劳伦斯利弗莫尔国家实验室、匹兹堡超级计算中心和爱丁堡并行计算中心。
扩展与CS-2
2020年9月,该公司在日本开设办事处,并与东京电子合作。2021年4月,该公司发布了基于其WSE-2的CS-2系统,WSE-2拥有85万个核心。CS-2由台积电采用7纳米工艺制造,高26英寸(660毫米),仅占标准数据中心机架的三分之一。WSE-2拥有85万个核心和2.6万亿个晶体管,使单个系统能够支持超过120万亿参数的AI模型。WSE-2将片上SRAM扩展到40千兆字节,内存带宽扩展到每秒20拍字节,总交换带宽扩展到每秒220拍比特。客户包括道达尔能源、nference、国家超级计算应用中心(NCSA)和莱布尼茨超级计算中心。
2021年8月,Cerebras宣布与Peptilogics合作,开发用于肽治疗的AI。2022年6月,Cerebras创下了单设备训练最大AI模型的纪录,,一个配备单个Cerebras晶圆的CS-2系统训练了多达200亿参数的模型。Cerebras CS-2系统能够训练数十亿参数的自然语言处理(NLP)模型,包括GPT-3XL 13亿参数模型,以及GPT-J 6B、GPT-3 13B和GPT-NeoX 20B,同时降低了软件复杂性和基础设施需求。
认可与集群
2022年8月,位于加利福尼亚州山景城的计算机历史博物馆推出了一个名为“世界上最大的芯片”的新展品,展示WSE-2。同样在2022年8月,Cerebras在印度班加罗尔开设了办事处。2022年9月,Cerebras宣布可以将芯片拼接在一起,打造有史以来最大的AI计算集群。一个晶圆级集群最多可连接192个CS-2 AI系统,而16个CS-2 AI系统的集群可创建一个拥有1360万个核心的计算系统,用于自然语言处理。它使用数据并行性进行训练。
2022年10月,美国国家核安全管理局的桑迪亚国家实验室开始使用CS-2进行核库存管理计算,以确定核武器是否能按预期工作。2022年11月,Cerebras推出了Andromeda超级计算机,它将16个WSE-2芯片组合成一个集群,拥有1350万个AI优化核心,提供高达1艾弗洛普的AI计算能力,即每秒至少10^18次运算。整个系统消耗500千瓦,这远低于大致可比的GPU加速超级计算机的功耗。
合作伙伴关系与近期发展
2022年11月,Cerebras宣布与Cirrascale Cloud Services合作,为其Cerebras AI模型工作室提供固定费率的“按模型付费”计算时间。2022年11月,国家能源技术实验室(NETL)使用Cerebras产品取得了里程碑式进展。2022年11月,阿贡国家实验室通过使用CS-2以及Nvidia和惠普的产品,将大型语言模型用于分析和预测SARS-CoV-2变体,赢得了2022年戈登·贝尔COVID-19研究特别奖。
2023年7月,G42同意支付约1亿美元购买Cerebras的首台超级计算机,并可能最终购买多达九台。首台系统于2024年交付。该公司有四大主要客户:穆罕默德·本·扎耶德人工智能大学(占2025年收入的62%)、G42(占2025年收入的24%)、OpenAI(2026年签约)和亚马逊网络服务(2026年签约)。
制造与市场地位
Cerebras在桑尼维尔、圣地亚哥、多伦多和印度班加罗尔设有办事处。其半导体由台积电制造,目前台积电是唯一有能力制造Cerebras芯片的公司。该公司硬件的主要竞争对手是Nvidia、AMD、Intel和Broadcom,而其云计算服务的主要竞争对手是亚马逊网络服务、Microsoft Azure、Google Cloud Platform、Oracle Corporation和CoreWeave。
Cerebras的人工智能硬件方法偏离了许多竞争对手采用的以GPU为中心的模型。通过使用晶圆级集成,该公司旨在减少困扰多芯片系统的通信开销,这对于训练大型语言模型和其他深度学习工作负载尤为重要。该公司对机器学习基础设施的关注使其在更广泛的生成式AI生态系统中占据利基地位,应用范围从神经网络研究到商业云服务。
尽管具有技术优势,但Cerebras系统的高成本和功耗需求限制了其仅适用于专业用例。该公司对台积电制造的依赖,以及相对于Nvidia和AMD等巨头而言较小的客户群,凸显了在半导体行业竞争的挑战。然而,其与OpenAI和亚马逊网络服务等实体的合作伙伴关系表明,人们对AI计算替代架构的兴趣日益增长。