AI基础设施巷是一个术语，用于描述一批为人工智能提供专门基础设施的初创公司，包括计算硬件、编排平台和存储系统。这一群体在2020年代中期出现，当时由于大型语言模型和生成式AI的快速采用，对AI计算的需求激增。这些初创公司旨在为主流云提供商和芯片制造商提供替代方案，专注于面向AI特定工作负载的效率、成本和灵活性。
AI基础设施巷中的公司通常开发硬件加速器、用于管理AI训练和推理的软件，以及针对机器学习流水线优化的数据存储。它们通常面向需要高性能计算但又不愿承担构建定制基础设施开销的企业和研究实验室。这一群体的特点是学术界密切合作，并注重开放标准和互操作性。
起源与增长
AI基础设施巷的概念在2024年左右获得关注，当时风险投资资金涌入解决AI计算瓶颈的初创公司。早期知名参与者包括开发了用于快速推理的语言处理单元（LPU）的Groq，以及提供集成硬件和软件用于AI的SambaNova Systems。这些公司由来自Google DeepMind、OpenAI和Anthropic的资深人士创立，并利用了深度学习和神经网络研究的进展。
到2025年，这一群体扩展至包括以智能处理单元（IPU）闻名的Graphcore，以及多家专注于模型剪枝和数据增强以减少计算需求的初创公司。其增长受到Transformer (architecture)模型日益复杂以及对专门多头注意力机制需求的推动。
关键技术
AI基础设施巷的初创公司通常通过专有硬件实现差异化。例如，Groq的LPU专为低延迟推理设计，而SambaNova的可重构数据流架构则同时支持训练和推理。这些芯片针对矩阵乘法和注意力机制等操作进行了优化，这些操作是大型语言模型的核心。
在软件方面，这些公司提供编排工具，用于管理跨数千个GPU的分布式训练。它们还提供处理机器学习中使用的海量数据集的存储解决方案，具有高吞吐量数据加载和版本控制等功能。许多产品与PyTorch和TensorFlow等流行框架集成，并支持梯度裁剪和学习率调度等技术。
市场地位与竞争
AI基础设施巷与Amazon Web Services、Azure和Google Cloud等成熟云提供商竞争，这些提供商提供自己的AI基础设施，包括AWS Trainium芯片。这些初创公司通常瞄准细分用例，如自动驾驶汽车的实时推理或移动设备的边缘AI。它们还与AMD、Intel和Arm Holdings等半导体巨头合作，以优化其软件在现有硬件上的运行。
尽管存在竞争，这一群体仍吸引了大量投资，到2025年有几家公司达到独角兽地位。它们的成功部分归因于对生成式AI应用日益增长的需求，这些应用需要大量计算资源。然而，它们面临来自NVIDIA主导地位和芯片制造高成本的挑战，后者通常需要与TSMC等代工厂合作。
影响与未来展望
AI基础设施巷通过向较小组织提供可访问的高性能基础设施，促进了AI的民主化。它们在硬件和软件方面的创新推动了人工智能可能性的边界，使神经网络训练更高效，大型语言模型推理更快。
展望未来，这一群体预计将进一步增长，受到量子计算和边缘AI进展的推动。截至2025年，几家初创公司正在探索模型剪枝和量化以减少AI的环境影响。AI基础设施巷的未来可能涉及与云计算和边缘设备的更紧密集成，以及联邦学习等新范式。
知名公司与人物
AI基础设施巷中的杰出人物包括Jakob Uszkoreit，他是transformer的共同发明者，共同创立了一家专注于高效推理的初创公司。另一位transformer共同作者Llion Jones也参与了基础设施相关企业。Groq和SambaNova等公司吸引了来自Google DeepMind和OpenAI的人才，并与Stanford AI Lab和Berkeley AI Research等学术实验室合作。
这些初创公司经常发表关于批归一化和丢弃等主题的研究，以提高硬件效率。它们还参与开源计划，为ONNX和MLIR等框架做出贡献。随着领域的发展，AI基础设施巷很可能继续成为AI生态系统的关键组成部分，弥合前沿研究与实际部署之间的差距。