在人工智能的语境中，算力指用于训练、微调和部署机器学习模型的总处理能力、内存带宽及硬件基础设施。该术语随着深度学习的兴起而受到重视，因为计算规模往往决定模型能力。算力不仅涵盖原始处理器速度，还包括数据移动的效率、并行化程度以及持续运行所需的能耗。
自2010年代初以来，对算力的需求呈指数级增长，这得益于神经网络规模的扩大和训练数据量的增加。这一增长影响了硬件设计、云服务产品以及主要科技公司的战略重点。因此，算力已成为讨论AI进展、成本和环境影响的核心指标。
历史背景
AI中的算力概念早于现代深度学习。早期的国际象棋计算机和专家系统相对于当代标准仅需适度的处理能力。1950年代和1960年代的感知机时代使用简单的算术运算，但硬件的局限阻碍了进展。1980年代神经网络的复兴，由杰弗里·辛顿和扬·勒昆等研究者引领，需要更大量的计算资源，尽管仍远低于当今水平。
关键的转变发生在2012年前后，当时一个在NVIDIA GPU上训练的深度卷积网络在图像识别上取得了突破。这证明了并行处理可将训练速度提升数个数量级。此后，GPU的采用成为标准，'算力'一词开始作为分配给AI任务的总体硬件能力的简称。
硬件与基础设施
算力通过多种硬件类别提供。中央处理单元（CPU）处理通用任务，但对深度学习核心的矩阵运算效率较低。GPU最初为图形设计，擅长并行工作负载，成为训练的主导选择。AMD和英特尔等公司开发了竞争性加速器，而Arm架构的设计则出现在边缘设备中。
专用AI芯片已出现以优化特定工作负载。谷歌DeepMind和谷歌云使用张量处理单元（TPU），这是为神经网络推理和训练定制的ASIC。AWS Trainium在亚马逊网络服务中扮演类似角色。Groq和SambaNova等初创公司提供替代架构，而Graphcore开发了智能处理单元（IPU），后在2024年被软银收购。
基础设施还包括内存、存储和网络。高带宽内存（HBM）对于向处理器提供数据至关重要，而NVLink和InfiniBand等快速互连支持多芯片扩展。微软Azure、甲骨文云和阿里云等云提供商提供按需计算实例，使研究人员无需拥有硬件即可访问大型集群。
规模扩展与训练
算力与模型性能之间的关系通常由缩放定律描述。OpenAI在2020年的研究表明，损失随算力、数据集规模和模型参数的增加而可预测地下降。这一实证发现鼓励了构建更大规模的模型，例如具有数千亿参数的大型语言模型。训练此类模型需要数千个加速器运行数周或数月。
例如，GPT-4由OpenAI于2023年3月发布，估计使用了数万个GPU，尽管确切数字未公开。Anthropic的Claude模型和谷歌的Gemini同样依赖庞大的算力预算。2017年引入的Transformer架构被证明高度可并行化，非常适合跨多设备进行分布式训练。
算力也影响推理，即从训练模型中生成输出的过程。虽然训练是一次性成本，但推理是持续性的，且通常需要低延迟。模型剪枝、量化和蒸馏等技术可降低部署时的算力需求，使AI能够在苹果和三星电子等公司的智能手机和嵌入式设备上运行。
经济与战略影响
算力成本已成为AI研究的准入壁垒。训练前沿模型可能耗资数千万美元，将参与限制在大型企业和资金充足的实验室。这引发了对权力集中的担忧，因为只有少数组织能负担必要的基础设施。政府也注意到这一点，对先进芯片的出口管制影响了全球供应链。
作为回应，算力民主化的努力包括开源模型、联邦学习和效率研究。迈克尔·乔丹等人倡导更易获取的AI，而开放小组等倡议旨在提供共享资源。经济影响延伸至半导体制造商；台积电和博通受益于激增的需求，而NVIDIA在2024年曾短暂成为全球市值最高的公司。
未来方向
算力增长面临物理限制，包括能耗和散热。数据中心已占全球电力使用的显著份额，促使研究更高效的算法和硬件。D-Wave等公司探索的量子计算仍处于实验阶段，但未来可能为特定问题提供优势。
受生物大脑启发的神经形态计算等替代范式旨在降低能耗。MIT CSAIL和斯坦福AI实验室的研究人员正在探索这些途径。与此同时，更大模型的趋势仍在继续，有人预测未来几年算力需求将增长10到100倍，这由生成式AI和多模态系统的进步驱动。
算力仍是AI的基础资源，决定技术上的可能性和经济上的可行性。其演变可能反映计算的更广泛轨迹，在性能、成本和可持续性之间寻求平衡。