d-Matrix是一家专注于构建人工智能推理计算系统的半导体初创公司，尤其针对大型语言模型。该公司开发了一种将内存与计算相结合的芯片架构，旨在降低运行已训练神经网络相关的能耗和延迟。d-Matrix成立于2019年，已在竞争激烈的AI加速器领域占据一席之地，其目标是在推理工作负载占主导地位的数据中心部署中发挥作用。
d-Matrix产品的核心技术是数字内存计算（DIMC），这与将处理单元与内存分离的传统冯·诺依曼架构不同。通过直接在内存阵列内执行乘加运算，该设计旨在最大限度地减少数据移动，而数据移动是AI推理中的主要瓶颈。该公司首款商用芯片Nighthawk于2024年发布，其后续产品Corsair计划于2025年推出。
创始与早期历史
d-Matrix由Sid Sheth（曾在Intel和AMD工作）和Sudeep Bhoja（Broadcom前工程师）于2019年创立。两人在高性能互连领域共事时相识，并认识到高效推理硬件的需求日益增长。该公司最初以隐身模式运营，从包括Wing Venture Capital和Microsoft风险基金M12在内的风险投资公司获得了种子资金。
2021年，d-Matrix以4400万美元的A轮融资公开亮相，由Playground Global领投。该轮融资还包括主要内存制造商SK海力士的参与，这表明内存行业对内存计算技术的兴趣。到2023年，该公司又筹集了1.1亿美元的B轮融资，投资者包括Temasek和Innovation Endeavors，使总融资额超过1.54亿美元。
公司早期的重点是开发能够处理基于Transformer模型特定需求的芯片，这类模型已成为自然语言处理和生成式AI中的主导架构。创始人认为，传统GPU虽然擅长训练，但由于其高内存带宽需求，在推理方面效率较低。
技术：数字内存计算
d-Matrix的根本创新在于其数字内存计算架构。与使用电阻或电容等物理属性进行计算的模拟内存计算方法不同，d-Matrix在内存单元内嵌入数字逻辑。这种方法旨在将减少数据移动的优势与数字计算的精度和可靠性相结合。
在传统的神经网络推理中，权重存储在内存中，每次操作都必须将其获取到单独的计算单元。这种持续的数据传输消耗大量能量和时间。d-Matrix的DIMC架构将计算元件直接放置在内存阵列中或与其相邻，使得乘加运算可以在数据所在位置进行。这减少了对大量数据移动的需求，可能降低延迟和功耗。
该公司的芯片旨在支持大型语言模型推理，包括具有数十亿参数的模型。该架构针对Transformer模型中占主导地位的矩阵乘法运算进行了优化，而Transformer模型是OpenAI的GPT系列和Anthropic的Claude等系统的基础。d-Matrix声称其方法相比传统加速器可以实现更高的每瓦吞吐量，不过截至2025年，独立基准测试仍然有限。
产品线：Nighthawk和Corsair
d-Matrix于2024年3月发布了其首款产品Nighthawk。Nighthawk是一款专为推理加速设计的PCIe卡，具有32 GB的片上内存，单卡支持高达700亿参数的模型。该卡采用台积电的5纳米工艺构建，台积电是一家领先的半导体代工厂。Nighthawk旨在用于服务器，其中可以组合多张卡来处理更大的模型。
2024年10月，d-Matrix推出了其第二代芯片Corsair，预计将于2025年出货。Corsair旨在提供比Nighthawk更高的性能，具有改进的内存容量和计算密度。该公司表示，Corsair将支持单卡超过1000亿参数的模型，面向企业部署生成式AI应用。
两款芯片均配有名为d-Matrix Compiler的软件栈，该软件栈将PyTorch等框架中的模型转换为针对硬件优化的代码。该软件支持常见的模型架构，包括Transformer和残差网络变体，旨在简化开发人员的部署过程。
市场定位与竞争
d-Matrix在拥挤的AI推理加速器市场中运营。主要竞争对手包括Groq（提供针对顺序工作负载优化的语言处理单元（LPU））和SambaNova（采用可重构数据流架构）。像Nvidia这样的老牌企业主导着更广泛的AI加速器市场，而AMD和Intel也推出了针对推理的产品。
该公司通过其对内存计算的关注来实现差异化，它认为这比依赖高带宽内存（HBM）的方法（如Nvidia GPU使用的方法）更高效。d-Matrix的技术尤其旨在降低服务大型模型的每令牌成本，这是云服务提供商和企业的一个关键指标。
截至2025年，d-Matrix尚未披露主要公共客户，但已宣布与Amazon Web Services合作，可能集成到其云产品中。该公司还与Oracle Cloud和Azure合作探索部署选项，尽管这些关系尚处于早期阶段。
资金与投资者
d-Matrix已通过多轮融资筹集了总计1.54亿美元的资金。种子轮规模未公开，随后是2021年的4400万美元A轮融资和2023年的1.1亿美元B轮融资。主要投资者包括Playground Global、Wing Venture Capital、M12、Temasek和Innovation Endeavors。内存芯片制造商SK海力士的参与因其内存计算重点而引人注目。
这些资金已用于开发硬件和软件栈，以及招聘工程人才。截至2025年，该公司约有100名员工，在加利福尼亚州圣克拉拉和印度班加罗尔设有办事处。班加罗尔办事处专注于软件开发与编译器优化。
应用与用例
d-Matrix的主要目标市场是大型语言模型的数据中心推理。这些应用包括聊天机器人、代码生成和文档摘要，企业越来越多地部署这些应用。该公司的硬件旨在处理同时服务许多用户的高吞吐量需求，这是云环境中的常见场景。
除了语言模型，d-Matrix的芯片还可以加速其他深度学习工作负载，包括计算机视觉和推荐系统。该架构足够通用，可以支持各种神经网络类型，尽管公司的营销重点强调基于Transformer的模型。内存计算的低延迟可能有利于自动驾驶等实时应用，尽管d-Matrix尚未宣布在该领域的合作伙伴关系。
该公司还针对功耗效率至关重要的边缘推理场景。然而，其当前产品是为服务器环境设计的，边缘部署需要进一步小型化和降低功耗。
挑战与未来展望
AI加速器市场竞争激烈，技术进步迅速，资本需求巨大。d-Matrix在扩大生产规模和说服客户采用新架构方面面临挑战。该公司还必须与Nvidia CUDA平台的生态系统和软件成熟度竞争，该平台已成为行业标准。
在规模上证明内存计算的可靠性和性能方面仍存在技术障碍。虽然数字方法缓解了模拟计算的一些问题，如噪声和精度损失，但仍需要与现有服务器基础设施进行仔细集成。Corsair芯片在2025年的成功将是对该公司技术的关键考验。
展望未来，d-Matrix旨在扩展其产品线，并可能进入训练市场，尽管训练计算强度更高，可能无法从内存计算技术中获益太多。该公司还在探索与台积电在先进制造方面的合作，以及与Arm Holdings在ARM服务器集成方面的潜在合作。截至2025年，d-Matrix仍是一家私营公司，没有宣布IPO计划。
领导层与团队
首席执行官Sid Sheth在半导体行业拥有二十多年的经验，曾在Intel和AMD担任工程和管理职务。首席技术官Sudeep Bhoja曾在Broadcom从事高速互连技术工作。领导团队包括来自Qualcomm和Samsung Electronics等公司的资深人士，带来了芯片设计和制造方面的专业知识。
公司的技术顾问委员会包括机器学习和计算机架构领域的学者和行业专家，不过具体姓名尚未公开披露。该团队已发表多篇关于内存计算技术的论文，为更广泛的研究社区做出了贡献。