Groq，Inc.是一家美国人工智能（AI）公司，致力于构建AI加速器专用集成电路（ASIC）。该架构最初以张量流处理器（TSP）之名推出，但在ChatGPT取得突破后，随着大语言模型的广泛采用，后来更名为语言处理单元（LPU）。该公司还开发相关的计算机硬件和软件，以加速AI推理性能。在Groq的LPU上运行的AI工作负载类型示例包括：大语言模型（LLM）、图像分类和预测分析。Groq总部位于加利福尼亚州山景城，并在加利福尼亚州圣何塞、华盛顿州利伯蒂湖、加拿大多伦多、英国伦敦设有办事处，同时在北美和欧洲拥有远程员工。
2025年12月，Nvidia和Groq宣布达成一项据报价值约200亿美元的协议，授权Groq的AI推理技术，并将数名Groq高级管理人员调至Nvidia。Groq表示，它将继续作为独立公司运营。
历史
Groq于2016年由一群前谷歌工程师创立，由乔纳森·罗斯（Jonathan Ross）领导，他是张量处理单元（TPU）的设计者之一，这是一种AI加速器ASIC，以及道格拉斯·怀特曼（Douglas Wightman），一位企业家和前谷歌X（称为X Development）工程师，曾担任公司首任CEO。创始团队借鉴了DeepMind和其他AI研究团队的经验，旨在构建专门满足AI工作负载需求的硬件。
Groq从Social Capital的查马斯·帕里哈皮蒂亚（Chamath Palihapitiya）处获得种子资金，2017年投资1000万美元，不久后获得了额外资金。2021年4月，Groq在由Tiger Global Management和D1 Capital Partners领投的C轮融资中筹集了3亿美元。当前投资者包括：Infinitum、The Spruce House Partnership、Addition、GCM Grosvenor、Xⁿ、Firebolt Ventures、General Global Capital和Tru Arrow Partners，以及Infinitum、TDK Ventures和XTX Ventures的后续投资。在Groq的C轮融资后，其估值超过10亿美元，使这家初创公司成为独角兽。
2022年3月1日，Groq收购了Maxeler Technologies，一家以数据流系统技术闻名的公司。由于奥斯卡·门瑟博士（Dr. Oskar Mencer）及其团队在其专业领域发表研究的长期成就，决定Maxeler保留其品牌。2023年8月16日，Groq选择三星电子在得克萨斯州泰勒市的代工厂，在其4纳米（nm）工艺节点上制造其下一代芯片。这是这家新三星芯片工厂的首笔订单。
2024年2月19日，Groq软启动了开发者平台GroqCloud™，以吸引开发者使用Groq API并租用其芯片访问权限。2024年3月1日，Groq收购了Definitive Intelligence，一家以提供一系列面向业务的AI解决方案闻名的初创公司，以帮助其云平台。2024年8月，Groq在由BlackRock Private Equity Partners领投的D轮融资中筹集了6.4亿美元，公司估值达28亿美元。
2025年2月10日，Groq宣布已从沙特阿拉伯王国获得15亿美元的承诺，以扩大其基于LPU的AI推理基础设施的交付，这与在沙特阿拉伯达曼新建的GroqCloud数据中心相关。截至2025年，Groq已在美国、加拿大、中东和欧洲建立了十几个数据中心，并采用其技术。
2025年12月，Nvidia同意以约200亿美元收购Groq的资产，这对Nvidia来说创下了纪录。Groq将此描述为非排他性许可协议。作为交易的一部分，Groq创始人罗斯和Groq总裁桑尼·马德拉（Sunny Madra）将加入Nvidia。2026年5月，据报道Groq正在从现有投资者处筹集6.5亿美元，以资助其向AI推理云业务的转型，该轮融资结构为按比例配售，由投资者Disruptive和Infinitum提供支持。
语言处理单元
Groq对其ASIC的最初名称是张量流处理器（TSP），代号为“Alan”，但后来由品牌副总裁马克·希普斯（Mark Heaps）和CEO/创始人乔纳森·罗斯将其从TSP更名为语言处理单元（LPU），以使处理器的性质更加明显。LPU专为大语言模型和其他AI模型的推理阶段设计，专注于低延迟和高吞吐量。
LPU采用功能切片微架构，其中存储单元与向量和矩阵计算单元交错排列。这种设计有助于利用AI计算图中的数据流局部性，提高执行性能和效率。LPU的设计基于两个关键观察：AI工作负载表现出显著的数据并行性，可以映射到专用硬件上，从而带来性能提升；以及确定性处理器设计，结合生产者-消费者编程模型，允许对硬件组件进行精确控制和分析，从而实现优化的性能和能效。
除了功能切片微架构外，LPU还可以通过其单核、确定性架构来表征。LPU通过避免使用传统的反应式硬件组件（分支预测器、仲裁器、重排序缓冲区、缓存）并让所有执行由编译器显式控制，从而实现确定性执行，从而保证LPU程序执行的确定性。这种确定性方法与许多CPU设计中使用的推测执行形成对比，后者可能引入性能变异性。
第一代LPU（TSP）在其25×29毫米14nm芯片上，以900 MHz的标称时钟频率运行，每平方毫米硅的计算密度超过1 TeraOp/s。第二代LPU（LPU v2）将采用三星的4nm工艺节点制造。LPU的架构特别适合transformer-based模型，这些模型主导着现代生成式AI应用。
Groq托管在其LPU上运行的开源大语言模型，供公众访问。这些演示的访问可通过Groq网站及其面向开发者的游乐场获得。LPU的性能已与Nvidia GPU进行基准测试，在Llama和Mistral等模型的令牌生成方面显示出显著加速，但独立验证仍在进行中。
架构与设计
LPU的设计理念集中于消除通用处理器的开销。通过使用带有大型软件管理存储器的单核，LPU避免了复杂缓存层次结构和一致性协议的需求。每个功能切片包含自己的存储器和计算单元，允许数据直接在其间流动，而无需通过共享总线。这在精神上类似于早期项目如Xerox PARC和MIT CSAIL探索的数据流架构，但应用于现代AI工作负载。
编译器在LPU的运行中起着关键作用。它提前调度所有指令和数据移动，确保硬件永远不会因等待数据而停滞。这种静态调度之所以可能，是因为AI推理图通常是预先已知的，这与交互式应用不同。结果是处理器实现了高利用率和可预测性能，这对实时AI服务至关重要。
LPU还支持一系列数值精度，包括FP32、BF16和INT8，允许开发者在精度和速度之间进行权衡。这种灵活性对于在不同硬件约束下部署模型（从边缘设备到云数据中心）非常重要。
软件与生态系统
Groq提供了一套软件栈，包括编译器、运行时以及PyTorch和TensorFlow等流行框架的API。GroqWare套件包括模型优化、性能分析和部署工具。该公司还与Hugging Face合作，在其平台上提供广泛的开源模型，使开发者能够轻松体验LPU加速。
GroqCloud于2024年推出，允许用户按需租用LPU容量，类似于AWS、Azure和Google Cloud的云服务。该平台支持交互式推理和批处理，采用按需付费的定价模式。截至2025年，GroqCloud拥有超过10万名开发者，并处理了数十亿次请求。
该公司还设有一个研究部门，与Stanford AI Lab和Berkeley AI Research等学术机构合作，探索AI的新架构。Groq的技术已应用于从国际象棋引擎到自动驾驶汽车的各种应用，但主要焦点仍在于LLM推理。
市场地位与竞争
Groq与SambaNova和Graphcore等其他AI芯片初创公司，以及AMD和Intel等老牌企业竞争。LPU的确定性设计使其在延迟敏感应用中具有优势，但在训练任务方面缺乏GPU的灵活性。Groq已将自己定位为推理领域的专家，随着AI应用的普及，这一市场正在快速增长。
2025年，该公司在D轮融资后估值达到28亿美元，2025年12月的Nvidia交易进一步验证了其技术。许可协议允许Nvidia将Groq的推理技术整合到其自身产品中，可能扩大基于LPU的解决方案的覆盖范围。
未来方向
展望未来，Groq计划发布采用三星4nm工艺制造的LPU v2，预计将比第一代提供显著的性能改进。该公司还在探索新的存储技术，如HBM，以增加带宽并进一步降低延迟。
Groq向AI推理云业务的转型，如2026年融资轮所示，表明其战略从硬件销售转向服务提供。这与行业趋势一致，即计算日益作为公用事业交付，类似于云计算的演变。
另见
- 中央处理器
- 图形处理器
- 张量处理单元
- AI加速器
参考文献
- Groq，Inc.官方网站
- Groq的新闻稿和公告
- 关于AI硬件的行业报告