缩放定律，在机器学习语境下，描述的是经验性关系，即随着三个量（模型中的参数数量、模型训练所看到的数据量，以及训练所花费的总计算量）的增加，模型性能会以可预测的、大致呈幂律的方式提升。该术语并非指单一法则，而是指一系列研究，这些研究确立了在留出数据上的损失会随着这些量共同扩展而平滑、可预测地下降，这使得研究人员能够在训练一个更大的模型之前，预测其性能。
Kaplan 等人，2020 年
基础性论文《神经语言模型的缩放定律》由 杰瑞德·卡普兰 及其在 OpenAI 的合作者于 2020 年 1 月发表。该论文发现，语言模型的损失与模型规模、数据集规模和计算量呈幂律关系，这在很大程度上与网络深度或宽度等具体架构细节无关，并且，在相同数据量上训练的更大模型始终具有更高的样本效率。当时一个被广泛引用的推论是，在固定计算预算下，训练非常大的模型并配以相对适中的数据量，优于将较小模型训练至收敛，这一结论塑造了诸如 GPT-3 等模型的设计。
Chinchilla，2022 年
2022 年，Hoffmann 及其在 Google DeepMind 的同事发表了一篇论文，引入了名为 Chinchilla 的模型，修正了这一图景。通过训练大量不同规模、使用不同数据量的模型，并在相同计算预算下进行比较，作者发现，原始的缩放定律低估了模型相对于其参数数量所需的数据量；在这种框架下，许多当代大型模型相对于其规模而言训练不足。Chinchilla 论文提出的计算最优方案建议模型规模与训练数据量大致按比例扩展，这成为各实验室在后续 预训练 运行中分配计算资源时具有影响力的参考点。
后果与争论
缩放定律为支撑 基础模型 发展所需的巨额资本投入提供了合理性依据，因为计算量与性能之间的可预测关系，为投资者和实验室预测在规模更大的 训练 运行上的回报提供了基础。它们也引发了这样一个问题：鉴于高质量训练数据的有限性，以及非正式地通过 摩尔定律 向 AI 计算增长延伸所描述的物理和财务限制，缩放能否无限期地持续下去。对易于获取的高质量文本数据可能耗尽的担忧（有时被称为“数据墙”），推动了研究向 合成数据 以及预训练之外的新缩放维度发展，包括 测试时计算，即在推理时投入更多计算以提升特定问题的输出质量，而非仅仅扩展模型本身。原始缩放与质的新能力之间的关系仍存争议，并与关于 涌现能力 的研究密切相关，后者探讨的是某些能力是否会在特定规模下突然出现，而非随损失一起平滑提升。