Graphcore Limited是一家英国半导体公司,专门设计用于人工智能和机器学习工作负载的加速器。该公司最知名的产品是智能处理单元(IPU),这是一种大规模并行处理器,与依赖外部存储器的传统图形处理单元(GPU)不同,它将整个机器学习模型保存在芯片内部。Graphcore的技术同时面向神经网络的训练和推理,旨在为AI计算提供GPU系统的替代方案。
Graphcore成立于2016年,通过多轮融资迅速发展,到2018年12月估值达到17亿美元。该公司的产品,包括Colossus GC2和GC200处理器,已用于云端和企业环境。2024年7月,软银集团同意以约5亿美元收购Graphcore,该交易在英国受到监管审查。
历史
Graphcore由西蒙·诺尔斯和奈杰尔·图恩于2016年创立,两人都是半导体行业的老手。诺尔斯此前曾共同创立了Icera,一家被NVIDIA收购的基带处理器公司,而图恩曾领导多家芯片初创公司。该公司致力于设计专门用于机器智能的处理器,而这一领域当时由GPU主导。
2016年秋季,Graphcore完成了首轮主要融资,由罗伯特·博世风险投资公司领投。其他投资者包括三星、Amadeus Capital Partners、C4 Ventures、Draper Esprit、Foundation Capital和Pitango。这笔早期资金使公司能够开始开发其IPU架构和软件栈。
随后在2017年7月进行了B轮融资,由Atomico领投,几个月后Sequoia Capital也提供了额外资金。到2018年12月,Graphcore完成了2亿美元的D轮融资,估值达到17亿美元,成为一家“独角兽”公司(估值超过10亿美元的私营公司)。此轮投资者包括微软、三星和戴尔科技。
2019年11月,Graphcore宣布其C2 IPU卡可在Microsoft Azure上进行预览,标志着一次重要的云端部署。公司继续扩展其产品线和合作伙伴关系,但也在由NVIDIA主导的竞争激烈的市场中面临挑战。
2023年初,Meta Platforms收购了Graphcore的AI网络技术团队,此举被视为战略性剥离。财务条款未披露,但这使Graphcore能够专注于其核心处理器业务。
2024年7月,软银集团同意以约5亿美元收购Graphcore。该交易正在接受英国商务部投资安全部门的审查,反映出半导体领域的国家安全担忧。此次收购预计将为Graphcore提供额外资源以继续其开发工作。
产品与技术
Graphcore的主要产品线基于智能处理单元(IPU),这是一种从头开始为AI工作负载设计的处理器。IPU架构与GPU有显著不同:它使用大规模并行核心阵列,每个核心都有自己的本地存储器,整个机器学习模型存储在芯片上。这种设计减少了对存储器与处理器之间数据移动的需求,而这是传统架构的主要瓶颈。
首款IPU芯片名为Colossus GC2,于2017年7月发布。它是一款16纳米的大规模并行、混合精度浮点处理器,于2018年投入使用。GC2以两个芯片封装在一块PCI Express卡上,称为Graphcore C2 IPU。该卡旨在与标准机器学习框架(如TensorFlow)配合使用时发挥与GPU相同的作用。该设备依赖暂存存储器而非传统缓存层级来实现其性能。
2020年7月,Graphcore推出了其第二代处理器GC200,采用台积电的7nm FinFET制造工艺。GC200是一款拥有590亿个晶体管、面积为823平方毫米的集成电路,包含1,472个计算核心和900兆字节的本地存储器。2022年,Graphcore与台积电展示了Bow IPU,这是一种3D封装,将GC200芯片与电源传输芯片面对面键合,从而在较低核心电压下实现更高时钟频率。
GC2和GC200芯片每个瓦片使用6个线程,分别总计7,296和8,832个线程。它们采用MIMD(多指令多数据)并行,并以分布式本地存储器作为设备上唯一的存储器形式(除寄存器外)。较老的GC2芯片每个瓦片拥有256 KiB,而较新的GC200每个瓦片约拥有630 KiB,排列成4个瓦片一组的小岛,然后排列成列。瓦片内的延迟最低。
IPU支持带随机舍入的IEEE FP16,以及性能较低的单精度FP32。本地执行的代码和数据必须适合一个瓦片,但通过消息传递,所有片上或片外存储器都可以使用。面向AI的软件使其透明地实现这一点,例如通过PyTorch支持。
软件栈
2016年,Graphcore宣布了全球首款专为机器智能设计的图工具链,称为Poplar软件栈。Poplar是一个完整的软件开发工具包,包括图编译器、运行时以及用于构建和部署AI模型的库。它抽象了IPU硬件的复杂性,使开发人员能够在TensorFlow和PyTorch等框架中编写高级代码。
Poplar的基于图的方法非常适合IPU的架构,该架构本身就是一个处理瓦片的图。编译器将神经网络的计算图映射到IPU的瓦片上,优化存储器和通信。运行时管理图在硬件上的执行,包括调度和数据移动。
软件栈还包括用于推理的PopART库和用于构建神经网络的PopNN库。这些工具旨在与现有AI框架互操作,使开发人员更容易采用IPU技术。
市场地位与竞争
Graphcore在高度竞争的AI加速器领域运营,其中NVIDIA历史上凭借其GPU占据主导地位。其他竞争对手包括AMD及其Instinct系列、Intel及其Gaudi处理器,以及Groq和SambaNova等初创公司。Graphcore的IPU通过专注于内存计算和大规模并行架构来实现差异化,这可能为某些类型的模型提供优势,尤其是那些具有较大内存占用量的模型。
该公司同时瞄准云和边缘市场。其处理器已通过与Microsoft Azure和Oracle Cloud等云提供商的合作部署在数据中心。Graphcore还与研究机构和企业在自然语言处理、计算机视觉和科学计算等领域合作加速AI工作负载。
尽管其技术创新,Graphcore在扩大业务规模方面面临挑战。AI加速器市场是资本密集型的,该公司一直在与NVIDIA的生态系统和软件成熟度竞争。软银的收购被视为提供财务稳定性和获取更广泛资源的一种方式。
未来方向
Graphcore表示其目标是构建一台“善思机器”,以英国数学家I·J·古德命名,他曾与艾伦·图灵合作。目标是实现参数数量超过人脑突触的AI模型,这需要在硬件和软件方面都取得重大进步。该公司继续开发其IPU架构,计划未来几代产品可能提供更高的性能和效率。
软银的收购预计将加速这些努力。软银有投资AI和半导体公司的历史,包括Arm Holdings,并可能为Graphcore提供扩大制造能力和全球覆盖范围所需的资金。该交易的监管批准仍在进行中,但如果完成,这可能标志着这家英国芯片设计公司的新篇章。