模型剪枝是一种深度学习技术，涉及从现有的人工神经网络中移除参数。其主要目标是减少网络的规模（以参数数量衡量）以及运行所需的计算资源，同时尽可能保持准确性。这一过程常被比作生物突触修剪，后者发生在哺乳动物大脑发育期间，通过消除未使用的神经连接来提高效率。
剪枝是部署大型模型（例如用于大型语言模型的模型）到内存或计算能力有限的设备（如智能手机或边缘设备）上的重要工具。这些方法在人工智能开发的多个领域以及主要云服务提供商和消费硬件厂商中受到关注。
剪枝类型：结构化与非结构化
最常见的剪枝类型是结构化和非结构化剪枝。非结构化剪枝（也称为边缘剪枝或权重剪枝）侧重于将单个权重设为零。决定删除哪个权重基于其重要性度量；更常见的是使用权重幅度，或结合权重幅度与梯度信息。一种基本算法通常先评估每个参数的重要性，对它们进行排序，然后移除最不重要的参数。这可以在局部（单个层内）或全局（整个网络范围内）进行。相比之下，结构化剪枝移除更大的组件，即神经网络中的节点（神经元）。类似的过程会判断哪些神经元是重要的或不重要的，然后将其整体丢弃。
剪枝时机
剪枝可以在模型生命周期的不同阶段进行：训练前、训练中或训练后。如果在训练后进行剪枝，通常需要对模型进行微调（使用额外的训练轮次）以恢复部分性能损失。训练前剪枝（有时称为稀疏初始化）旨在找到一个可以从零开始训练的子网络结构，这有时能意外地减少训练时间。训练中剪枝则采用动态机制，在模型学习过程中自适应地调整网络拓扑结构。每种方法都在最终精度、重新训练的计算成本以及剪枝后立即获得的推理速度之间进行权衡。
重要性度量
如何识别要剪除的参数或神经元是关键问题。常见方法包括测量权重的幅度，假设较小的权重值对模型输出的贡献较小；或者结合权重值和训练过程中的梯度信息，以近似损失函数。将梯度与权重相结合的方法衍生出了一类著名的二阶方法，这些方法可能使用海森矩阵的近似。其他方法则测量某个神经元在数据集上的激活程度，或者评估将该神经元输出设为零所产生的影响。
与模型量化和蒸馏的关系
剪枝常与其他压缩技术结合使用。剪枝减少的是非零参数的数量，而量化则减少每个参数所占的比特数--例如，将权重从32位浮点数存储为8位整数。这些技术是互补的，都旨在提高推理效率。另一种相关的模型压缩方法是知识蒸馏，即训练一个更小的紧凑模型来模仿原始模型的输出，这种方法无需移除参数即可获得高质量的小模型。剪枝通常针对给定的架构进行，并保持该架构结构不变；而蒸馏则有效地创建了一个新的（通常更小的）模型结构。
现代剪枝研究与实务
当前对剪枝的研究非常活跃，不仅涉及提高计算吞吐量，还包括解释剪枝后模型的能力。非结构化剪枝通常难以在标准GPU和CPU上加速，因为优化的线性代数内核处理稀疏张量乘法的效率低于密集乘法。相反，结构化剪枝理论上可以带来更大的加速，因为它移除了完整的矩阵行或列，使得权重布局重新变得密集，从而可以高效地进行矩阵乘法运算。现代实践还包括使用专门的硬件加速器。近期工作，尤其是来自斯坦福AI实验室、麻省理工学院等学术机构的研究，经常发表关于如何在底层融合内存使用与质量损失之间的权衡，以及某些大型语言模型（LLM）能否在质量下降极小的情况下实现高度稀疏化的成果。
硬件与软件支持
剪枝并非仅仅是一种实验性技术，它已走向消费级硬件的规模化应用。由于大型模型推理消耗大量内存和能量，主要芯片制造商和公司已积极将稀疏性支持集成到硬件和软件方案中。例如，NVIDIA和AMD设计的GPU提供了跳过零值计算的方法，从而加速稀疏矩阵乘法。云服务提供商提供专用的AI加速器，如AWS Trainium，这是一种定制ASIC，有助于加速训练和部署。不同的硬件平台可能支持不同类型的稀疏模式，有时需要将零值以块状或结构化方式排列才能获得实际的硬件加速收益。三星电子、苹果和高通等移动设备公司也在系统层面进行优化，以在设备端更高效地运行推理引擎。此外，包括微软Azure和谷歌云在内的主要云服务商的软件栈也集成了剪枝功能，以降低服务大型语言模型的运营成本。
历史与全球研究背景
神经网络剪枝的想法已存在数十年，早在1980年代，Yann LeCun等研究者就曾从事“最优脑损伤”相关的工作。这一实践从生物神经发育中汲取灵感--人类大脑在发育过程中会通过突触修剪来消除多余的连接。如今，深度学习从业者普遍认识到，典型的模型（例如标准Transformer）是高度参数化的，其中大量参数在训练后是冗余的。基于幅度、能量或梯度等启发式方法，可以移除这些冗余参数，而几乎不影响模型输出。类似的思想也出现在神经科学领域，如“神经达尔文主义”。全球范围内，从伯克利的AI研究实验室到多伦多大学等机构，研究者们持续探索剪枝的理论极限，并将其与重新训练、持续学习等技术相结合。
相关框架与生态系统
许多机器学习框架都提供了剪枝支持。PyTorch通过`torch.nn.utils.prune`模块提供了功能丰富的剪枝工具。TensorFlow（谷歌的框架）也包含多个剪枝库。一些高级API和工具可以直接暴露剪枝功能。Kubernetes等系统常与模型优化工具链结合使用，以简化部署流程。在实践中，工程师通常需要决定剪枝比例（稀疏度）、选择在剪枝后是否以及如何进行微调、确定损失函数和训练计划，并根据特定下游推理速度要求，在内存受限和计算受限的环境中积极进行验证。
理论未来潜力
剪枝、量化与稀疏计算技术之间的相互作用是一个非常活跃的前沿领域。人们期待未来能出现从一开始就为处理稀疏性而设计的新型芯片，从而进一步支持在约束条件下训练模型并部署。稀疏内存访问模式可能会被强制应用于内存缓冲区和缓存，从而显著降低每次推理查询的能量消耗。
参见
- 知识蒸馏
- 神经达尔文主义