混合精度训练是一种在Deep learning中使用的技术，在训练神经网络时采用多种数值精度，以提高计算效率并减少内存占用，同时不牺牲模型质量。该方法不是对所有张量使用单一的高精度格式（如32位浮点数FP32），而是选择性地在可接受降低精度的操作中使用较低精度格式，如16位浮点数（FP16）或bfloat16（BF16），同时保留FP32格式的权重主副本以保持准确性。这一方法已成为训练大规模模型（包括大型语言模型）的标准实践，因为它能够加速现代硬件上的训练，并在相同内存限制下支持更大的批量大小或模型尺寸。
其核心思想源于观察到许多神经网络操作对降低数值精度具有容忍性，尤其是在前向和反向传播过程中，只要梯度累积和权重更新等关键组件得到妥善处理。通过利用硬件对低精度算术的支持，混合精度训练可以在GPU和专用加速器上实现显著加速，使其成为Artificial intelligence领域的重要工具。
历史发展
在神经网络训练中使用降低精度的概念可以追溯到2010年代初，当时研究人员尝试了定点格式和16位格式。然而，直到2017年，NVIDIA（虽然不在提供的列表中，但该技术由NVIDIA推广）和baidu-research（也不在列表中）的研究人员引入了系统性框架。2018年，Paulius Micikevicius等人发表的里程碑式论文“Mixed Precision Training”确立了关键组件：保持FP32主权重、使用FP16进行前向和反向计算，以及采用损失缩放以防止下溢。这项工作为PyTorch和TensorFlow等框架中的广泛采用奠定了基础。
此后，随着Google DeepMind和Google引入bfloat16，混合精度训练不断发展，该格式比FP16具有更大的动态范围，减少了对损失缩放的需求。来自AMD、Intel和Arm Holdings的现代硬件日益支持这些格式，进一步将混合精度集成到主流训练流程中。
技术基础
混合精度训练依赖于存储精度和计算精度之间的区别。在典型实现中，权重以FP32格式存储作为主副本，但在每次前向和反向传播中，会创建FP16或BF16副本。激活和梯度以较低精度计算，这减少了内存带宽和算术成本。然而，为避免梯度下溢（尤其是在FP16中），在反向传播前对损失应用损失缩放因子，并在权重更新前对梯度进行缩放。主权重以FP32格式更新，以确保小的梯度更新不会丢失。
另一个关键方面是使用向量化操作和张量核心，这些是GPU中的专用硬件单元，可高速执行混合精度矩阵乘法。例如，NVIDIA的Volta及后续架构引入了张量核心，能够处理FP16输入并以FP32累积结果，提供了显著的吞吐量优势。同样，AMD和Intel在其加速器中加入了类似功能。
技术基础
混合精度训练依赖于存储精度和计算精度之间的区别。在典型实现中，权重以FP32存储为主副本，但在每次前向和反向传播时，会创建FP16或BF16副本。激活和梯度以较低精度计算，从而减少内存带宽和算术成本。然而，为避免梯度下溢（尤其是在FP16中），在反向传播前对损失应用损失缩放因子，并在权重更新前对梯度进行反缩放。主权重以FP32更新，以确保微小的梯度更新不会丢失。
另一个关键方面是使用向量化操作和张量核心，这是GPU中的专用硬件单元，可高速执行混合精度矩阵乘法。例如，NVIDIA的Volta及后续架构引入了张量核心，能够处理FP16输入并以FP32累积结果，提供了显著的吞吐量优势。同样，AMD和Intel也在其加速器中加入了类似功能。
优势与权衡
混合精度训练的主要优势是减少内存使用。与FP32相比，使用FP16或BF16处理激活和梯度可将所需内存减半，从而支持更大的批量大小、更高分辨率的输入或更深的模型。这对于训练拥有数十亿参数的大型语言模型尤其有价值，因为内存往往是主要瓶颈。
在速度方面，混合精度在兼容硬件上可将训练加速2-3倍，因为低精度算术更快并减少了内存流量。这种加速对于迭代实验和减少生产环境的部署时间至关重要。
然而，也存在权衡。降低精度可能导致数值不稳定，尤其是在梯度幅度较小的模型中。损失缩放可以缓解下溢问题，但增加了复杂性。此外，并非所有操作都受益于低精度；某些层（如批归一化）可能需要FP32精度。因此，混合精度训练通常涉及选择性精度分配，将某些层保持在高精度。
在深度学习框架中的实现
现代深度学习框架已将混合精度训练作为一等公民集成。PyTorch（不在列表中，但广泛使用）中的torch.cuda.amp模块提供了自动混合精度（AMP）功能，并附带用于损失缩放的GradScaler。类似地，TensorFlow（也不在列表中）提供了tf.keras.mixed_precisionAPI。这些工具自动将安全操作转换为较低精度，减轻了开发者的负担。
例如，在PyTorch中，启用混合精度只需几行代码：使用torch.cuda.amp.autocast()包装前向传播，并使用GradScaler进行损失缩放。这种易用性促进了混合精度在研究和工业中的广泛采用。
在大规模AI中的应用
混合精度训练对于训练Transformer和大型语言模型等最先进模型不可或缺。像OpenAI、Anthropic和Google DeepMind这样的公司依赖混合精度来训练拥有数千亿参数的模型。例如，如果没有混合精度，训练类似GPT-3的模型将因内存和计算限制而不可行。
除了语言模型，混合精度还用于计算机视觉、语音识别和强化学习。它也是在使用AWS Trainium和Cerebras等专用硬件上训练的关键推动力，这些系统在设计时就考虑了混合精度。
硬件支持与优化
硬件供应商在支持混合精度方面投入了大量资源。NVIDIA的张量核心（2017年随Volta架构推出）是一个典型例子。AMD在其CDNA架构中引入了类似功能，Intel在其Xe GPU中增加了支持。Google Cloud和其他云提供商提供支持这些功能的实例，使混合精度对更广泛的用户群体可用。
此外，TSMC等半导体制造商优化了芯片设计，以高效处理低精度算术，进一步提升性能。硬件与软件之间的协作对于实现混合精度的优势至关重要。
挑战与未来方向
尽管有其优势，混合精度训练仍面临挑战。一个问题是需要仔细调整损失缩放因子，这在不同模型和数据集之间可能有所不同。另一个是某些架构（如具有循环连接或对精度敏感的注意力机制）可能出现精度下降。
研究正在开发自适应精度技术，根据训练阶段或梯度统计动态调整精度。此外，新格式如FP8也在探索中，以求更高效的性能，NVIDIA和AMD的硬件已提供早期支持。随着模型规模持续增长，混合精度仍将是Machine learning领域创新的关键方向。
结论
混合精度训练彻底改变了深度学习模型的训练方式，在不牺牲准确性的前提下实现了更快、更高效的训练。通过在現代硬件上利用低精度算术，它已成为大规模AI开发的基石。随着硬件和软件的持续发展，混合精度技术可能会变得更加复杂，进一步推动Artificial intelligence的可能性边界。
参考文献
- Micikevicius, P. et al. (2018). Mixed Precision Training. International Conference on Learning Representations.
- NVIDIA开发者博客。(2017)。Mixed-Precision Training of Deep Neural Networks。
- Google AI Blog. (2019). bfloat16: The Secret to High Performance on Cloud TPUs.