Etched是一家专注于为Transformer模型设计专用集成电路(ASIC)的半导体公司,Transformer是现代大语言模型背后的主导架构。该公司由Gavin Uberti和Chris Zhu于2022年创立,旨在通过专门针对Transformer操作(尤其是注意力机制和前馈层)定制硬件,来超越通用GPU。其旗舰芯片名为Sohu,专为运行OpenAI的GPT和Anthropic的Claude等模型的推理而设计,其延迟和成本均显著低于传统加速器。
该公司源于AI硬件领域的一股更广泛趋势,Cerebras、Groq和SambaNova等初创公司正挑战Nvidia和AMD等既有巨头。Etched的独特之处在于其完全专注于Transformer,并认为该架构的主导地位足以支撑专用芯片的设计。截至2025年,该公司已筹集超过1.2亿美元的资金,投资者包括Amazon和Nvidia(后者通过战略投资入股)。
架构与设计
Sohu集成了144 GB的片上SRAM,并支持高达128,000个token的上下文窗口。它采用TSMC的4纳米工艺制造,计划于2025年投产。该芯片在专用硅片上实现Transformer层,绕过了GPU中的可编程核心。这种设计消除了指令调度和内存管理的开销,从而实现了更高的每瓦吞吐量。Etched声称,Sohu对于700亿参数模型每秒可处理超过500,000个token,比Nvidia的H100 GPU快约一个数量级。
该公司还开发了自定义软件栈,包括一个将PyTorch和JAX模型映射到硬件的编译器。该软件栈支持Hugging Face Transformers和vLLM等流行框架,便于开发人员采用。与AWS Trainium或Google Cloud TPU(它们广泛面向训练和推理)不同,Sohu完全专注于推理,从而降低了复杂性和成本。
市场定位与竞争
Etched所处的竞争格局包括Cerebras(晶圆级引擎)、Groq(用于推理的LPU)和Graphcore(用于AI的IPU)。虽然这些公司提供通用AI加速器,但Etched仅针对Transformer的方法是独一无二的。这种专业化使得芯片尺寸更小、功耗更低,但如果AI领域偏离Transformer,则存在过时的风险。该公司承认了这一风险,并指出任何重大的架构变化都需要重新设计。
2024年,Etched宣布与TSMC合作进行先进封装,并与Broadcom合作开发网络接口。它还获得了与CoreWeave的合作协议,以在云数据中心部署Sohu集群。这些合作伙伴关系使Etched能够与AWS Trainium和Microsoft Azure的Maia芯片竞争,后者也是定制硅片,但专业化程度较低。
资金与里程碑
Etched由Uberti(CEO)和Zhu(CTO)于2022年创立,两人此前均为OpenAI和Google DeepMind的工程师。该公司于2024年6月结束隐身模式,宣布了由Halcyon和Omniscient(虚构投资者,请勿与真实实体混淆)领投的1.2亿美元A轮融资。其他参与者包括Amazon AI和Alibaba Cloud。到2025年初,Etched已向包括AI21 Labs和Inflection AI在内的选定合作伙伴交付了早期原型,用于基准测试。
该公司的技术里程碑包括在Transformer内核上实现90%的硅效率,而GPU约为30%。它还展示了在单个Sohu芯片上运行1750亿参数模型的能力,而这通常需要多块GPU。这些成果引起了Oracle Cloud和Azure的关注,它们正在评估Sohu用于其推理服务。
对AI发展的影响
Etched的成功可能会降低部署生成式AI应用的成本,使大型模型更容易被初创公司和研究人员使用。通过降低推理延迟,它能够实现聊天机器人、编码助手和自主智能体的实时交互。然而,该公司的命运取决于Transformer的持续主导地位,自2017年以来,Transformer支撑了BERT和GPT等突破性进展。Stanford AI Lab和Berkeley AI Research的研究人员指出,虽然存在状态空间模型等替代方案,但Transformer仍是行业标准。
Etched还面临制造风险,因为它依赖TSMC的先进制程,这使其暴露在地缘政治和供应链的不确定性中。该公司计划通过为未来几代产品设计多个代工厂(包括Samsung和Intel)来缓解这一风险。截至2025年,Sohu尚未实现量产,该公司也未透露除试点项目外的具体客户承诺。