Groq，Inc.是一家美国人工智能（AI）公司，致力于构建AI加速器专用集成电路（ASIC）。其架构最初以张量流处理器（TSP）的名称推出，但在ChatGPT取得突破后，随着大语言模型的广泛采用，该架构后来被重新命名为语言处理单元（LPU）。该公司还开发相关的计算机硬件和软件，以加速AI推理性能。在Groq的LPU上运行的AI工作负载类型示例包括：大语言模型（LLM）、图像分类和预测分析。Groq总部位于加利福尼亚州山景城，并在加利福尼亚州圣何塞、华盛顿州利伯蒂湖、加拿大多伦多、英国伦敦设有办公室，并在北美和欧洲各地拥有远程员工。
2025年12月，Nvidia和Groq宣布达成一项协议，据报道估值约为200亿美元，以授权Groq的AI推理技术，并将数名Groq高级高管转入Nvidia。Groq表示，它将继续作为独立公司运营。
历史
Groq于2016年由一群前谷歌工程师创立，由Jonathan Ross领导，他是张量处理单元（TPU，一种AI加速器ASIC）的设计者之一，以及Douglas Wightman，一位企业家和前谷歌X（即X Development）工程师，曾担任公司首任CEO。创始团队借鉴了来自DeepMind和其他AI研究小组的经验，旨在构建专门满足AI工作负载需求的硬件。
Groq从Social Capital的Chamath Palihapitiya获得了种子资金，2017年投资1000万美元，并很快获得了额外资金。2021年4月，Groq在由Tiger Global Management和D1 Capital Partners领投的C轮融资中筹集了3亿美元。当前投资者包括：Infinitum、The Spruce House Partnership、Addition、GCM Grosvenor、Xⁿ、Firebolt Ventures、General Global Capital和Tru Arrow Partners，以及来自Infinitum、TDK Ventures和XTX Ventures的后续投资。在Groq的C轮融资后，其估值超过10亿美元，使这家初创公司成为独角兽企业。
2022年3月1日，Groq收购了Maxeler Technologies，一家以数据流系统技术闻名的公司。据决定，Maxeler将保留其品牌，因为Oskar Mencer博士及其团队在该专业领域发表了研究，取得了长期成就。2023年8月16日，Groq选择三星电子在德克萨斯州泰勒市的代工厂来制造其下一代芯片，采用三星的4纳米（nm）工艺节点。这是这家新三星芯片工厂的首个订单。
2024年2月19日，Groq软启动了开发者平台GroqCloud™，以吸引开发者使用Groq API并租用其芯片的访问权限。2024年3月1日，Groq收购了Definitive Intelligence，一家以提供一系列面向企业的AI解决方案而闻名的初创公司，以帮助其云平台建设。2024年8月，Groq在由BlackRock Private Equity Partners领投的D轮融资中筹集了6.4亿美元，使公司估值达到28亿美元。
。
2025年2月10日，Groq宣布已从沙特阿拉伯王国获得15亿美元的承诺，以扩大其基于LPU的AI推理基础设施的交付，这与在沙特阿拉伯达曼新建的GroqCloud数据中心相关。截至2025年，Groq已在美国、加拿大、中东和欧洲建立了十几个数据中心，并采用其技术。
2025年12月，Nvidia同意以约200亿美元的价格从Groq购买资产，这对Nvidia来说是创纪录的。Groq将此描述为非排他性许可协议。作为交易的一部分，Groq创始人Ross和Groq总裁Sunny Madra将加入Nvidia。2026年5月，据报道Groq正在从现有投资者处筹集6.5亿美元，以资助其向AI推理云业务的转型，该轮融资结构为按比例配售，由投资者Disruptive和Infinitum提供支持。
语言处理单元
Groq最初为其ASIC命名为张量流处理器（TSP，代号“Alan”），但后来由Mark Heaps（品牌副总裁）和Jonathan Ross（CEO/创始人）将其从TSP重新命名为语言处理单元（LPU），以使处理器的性质更加明确。LPU专为大语言模型和其他AI模型的推理阶段设计，侧重于低延迟和高吞吐量。
LPU采用功能切片微架构，其中存储单元与向量和矩阵计算单元交错排列。这种设计有助于利用AI计算图中的数据流局部性，从而提高执行性能和效率。LPU的设计基于两个关键观察：AI工作负载表现出显著的数据并行性，这可以映射到专用硬件上，从而带来性能提升；以及确定性处理器设计，结合生产者-消费者编程模型，允许对硬件组件进行精确控制与推理，从而实现优化的性能和能效比。
除了功能切片微架构外，LPU还可以通过其单核、确定性架构来表征。LPU通过避免使用传统的反应式硬件组件（如分支预测器、仲裁器、重排序缓冲器、缓存）并让所有执行由编译器显式控制，从而确保LPU程序执行的确定性，从而实现确定性执行。这种确定性方法与许多CPU设计中使用的推测执行形成对比，后者可能会引入性能变化性。
第一代LPU（TSP）在其25×29毫米14nm芯片上，以900 MHz的标称时钟频率运行，提供了超过每平方毫米硅片1 TeraOp/s的计算密度。第二代LPU（LPU v2）将采用三星的4nm工艺节点制造。LPU的架构特别适合基于transformer的模型，这些模型主导着现代生成式AI应用领域。Groq托管在其LPU上运行的开源大语言模型，供公众访问。这些演示的访问可通过Groq的网站及其开发者游乐场获得。LPU的性能已与Nvidia GPU进行基准测试，在Llama和Mistral等模型的令牌生成方面显示出显著加速，尽管独立验证仍在进行中。
架构与设计
LPU的设计理念集中于消除通用处理器的开销。通过使用单核和大型软件管理内存，LPU避免了复杂缓存层次结构和一致性协议的需求。每个功能切片都包含自己的内存和计算单元，允许数据在它们之间直接流动，而无需通过共享总线传递。这在精神上类似于早期项目如Xerox PARC和MIT CSAIL探索的数据流架构，但应用于现代AI工作负载上。
编译器在LPU的运行中起着至关重要的作用。它提前调度所有指令和数据移动，确保硬件永远不会因等待数据而停滞。这种静态调度之所以可能，是因为AI推理图通常是预先已知的，这与交互式应用不同。其结果是实现了高利用率和可预测性能的处理器，这对于实时AI服务至关重要。LPU还支持一系列数值精度，包括FP32、BF16和INT8，允许开发者在精度和速度之间进行权衡。这种灵活性对于在不同硬件约束下部署模型非常重要，从边缘设备到云数据中心均可适用。
软件与生态系统
Groq提供了一套软件栈，包括编译器、运行时以及针对PyTorch和TensorFlow等流行框架的API接口。GroqWare套件包括用于模型优化、性能分析和部署的工具。该公司还与Hugging Face合作，在其平台上提供广泛的开源模型，使开发者能够轻松试验LPU加速技术。
GroqCloud于2024年推出，允许用户按需租用LPU容量，类似于AWS、Azure和Google Cloud的云服务。该平台支持交互式推理和批处理，并采用按需付费的定价模式。截至2025年，GroqCloud已拥有超过10万名开发者，并处理了数十亿次请求。
该公司还设有一个研究部门，与斯坦福AI实验室和伯克利AI研究等学术机构合作，探索AI的新架构领域。Groq的技术已应用于从国际象棋引擎到自动驾驶汽车的各种应用中，尽管主要焦点仍在于LLM推理上。
市场定位与竞争
Groq与SambaNova和Graphcore等其他AI芯片初创公司竞争，也与AMD和Intel等老牌厂商竞争。LPU的确定性设计使其在延迟敏感应用中具有优势，但它在训练任务方面缺乏GPU的灵活性。Groq已将自己定位为推理领域的专家，这是一个随着AI应用激增而快速增长的细分市场。
2025年，公司估值在D轮融资后达到28亿美元，而2025年12月的Nvidia交易进一步验证了其技术实力。该许可协议允许Nvidia将Groq的推理技术整合到其自身产品中，可能扩大基于LPU的解决方案的覆盖范围。
未来方向
展望未来，Groq计划发布LPU v2，采用三星的4nm工艺制造，预计将比第一代提供显著的性能提升。该公司还在探索新的内存技术，如HBM，以进一步提高带宽并降低延迟。Groq向AI推理云业务的转型，如2026年融资轮所示，表明其战略正从硬件销售转向服务提供。这与行业趋势一致，即计算正日益作为公用事业交付，类似于云计算的发展演变过程。
参见
- 中央处理器
- 图形处理器
- 张量处理单元
- AI加速器
参考文献
- Groq，Inc.官方网站
- Groq的新闻稿和公告
- 关于AI硬件的行业报告