摩尔定律是英特尔联合创始人戈登·摩尔在1965年提出的观察,即集成电路上的晶体管数量大约每两年翻一番,这一经验法则在四十多年间保持了惊人的一致性,并成为计算能力指数增长的一般代名词。在人工智能领域,“摩尔定律”常被宽泛地用来描述一个相关但不同的趋势:用于训练和运行AI模型的计算能力快速增长,有时其速度甚至超过经典的晶体管缩放。
传统的晶体管密度摩尔定律在2010年代开始显著放缓,因为芯片制造商接近了微型化的物理极限,促使半导体行业更多依赖专用架构、芯片堆叠和更大的裸片,而非纯粹依靠密度提升。
AI中的计算扩展
OpenAI在2018年发布的一份被广泛引用的分析报告《AI与计算》发现,2012年至2018年间,最大规模AI训练运行所使用的计算量大约每3.4个月翻一番,远超摩尔定律经典的两年翻倍速度,这主要得益于研究人员越来越愿意在更大规模的训练运行上投入,而非仅仅依靠芯片改进。这种计算增长支撑了经验性的缩放定律,该定律描述了随着参数、数据和计算量共同增加,模型性能如何可预测地提升。
曲线背后的硬件
通用GPU最初为图形渲染而设计,因其并行架构适合神经网络核心的矩阵乘法运算,成为AI训练的主导硬件。英伟达于2006年推出的CUDA软件平台,在2012年AlexNet成果之后深度学习兴起时,为其提供了持久的优势。谷歌定制的TPU加速器于2016年首次部署,提供了专门针对神经网络工作负载优化的替代路径,并已用于训练Gemini等模型。英伟达首席执行官黄仁勋认为,AI计算中硬件和软件的综合进步现已超越历史上的摩尔定律,这一说法是英伟达在2020年代中期崛起为全球最有价值公司之一的核心因素。
限制与质疑
不断上升的功耗、芯片制造成本和数据中心建设已成为与晶体管密度本身不同的约束条件。2025年1月的DeepSeek冲击等事件中,一个具有竞争力的模型据称以远低于预期的成本完成训练,重新引发了关于原始计算扩展是否是提升AI唯一途径的辩论,混合专家和量化等技术被提出作为从每单位计算中提取更多能力的方法,而非简单地增加计算投入。