在深度学习的语境下，剪枝是指从现有的人工神经网络中移除参数的做法。其主要目标是减小网络的规模（以参数数量衡量），并相应地减少运行网络所需的计算资源，同时尽可能保持准确性。这一过程与生物神经突触修剪存在概念上的类比，后者发生在哺乳动物大脑发育期间，用于消除较弱的神经连接并提高效率。
剪枝技术大致分为两类：结构化剪枝和非结构化剪枝。结构化剪枝移除整个结构单元，如神经元（节点）或层，从而产生物理上更小且更易于在标准硬件上加速的网络。相比之下，非结构化剪枝将单个权重（边）置零，而不改变网络架构，产生稀疏网络，这需要专门的软件或硬件来利用其稀疏性实现速度提升。这两种方法之间的选择涉及准确性保持、硬件兼容性和实现复杂性之间的权衡。
节点（神经元）剪枝
节点剪枝是结构化剪枝的一种形式，它从神经网络中移除整个神经元。该过程的基本算法包括几个步骤。首先，使用选定的度量标准评估每个神经元的重要性，例如其传出权重的幅度或其在验证数据集上的激活模式。其次，假设存在明确定义的度量，则根据重要性对神经元进行排序。第三，移除最不重要的神经元。最后，检查由用户确定的终止条件，以决定是否继续剪枝。该条件可能是目标准确性阈值、允许的最大准确性下降或期望的最终网络规模。节点剪枝直接减少了参数数量和矩阵乘法的计算成本，使其成为在资源受限设备上部署的实用选择。
边（权重）剪枝
大多数关于神经网络剪枝的研究和实际工作都集中在非结构化剪枝上，即通过将单个权重的值设为零来移除它们。这种方法可以全局执行，即比较网络所有层中的权重，也可以局部执行，即分别比较每层内的权重。全局剪枝往往更积极地移除具有许多冗余参数的层中的权重，而局部剪枝则确保各层之间更均匀的稀疏性分布。
各种度量标准用于衡量每个权重的重要性。权重幅度是一种常见且简单的度量，其中绝对值较小的权重被认为不太重要。更复杂的度量将权重幅度与梯度信息相结合，例如权重与梯度的乘积，这近似于损失函数对该权重的敏感性。该领域的早期工作，如最优脑损伤和最优脑外科医生方法，建议不仅移除权重，还调整剩余权重的值以补偿移除，从而保持更高的准确性。
何时剪枝神经网络？
剪枝可以在神经网络生命周期的三个不同阶段应用：训练前、训练中或训练后。每种方法在准确性和计算成本之间涉及不同的权衡。
- 训练前：在任何训练发生之前剪枝网络架构，通常基于随机或启发式标准，可以减小初始模型规模。然而，这种方法可能导致次优的准确性，因为网络尚未学习哪些参数是重要的。
- 训练中：剪枝可以集成到训练过程中，随着网络学习逐步移除参数。这种方法有时称为稀疏训练，可以在减小最终模型规模的同时保持准确性，但它需要仔细的调度，并可能增加训练复杂性。
- 训练后：最常见的方法是先完全训练一个密集网络，然后对其进行剪枝，随后对剪枝后的网络进行微调以恢复任何损失的准确性。当在训练期间或训练后进行剪枝时，通常需要额外的微调轮次。微调允许剩余权重适应参数的移除，通常能将准确性恢复到接近原始密集模型。
对模型压缩和效率的影响
剪枝的主要动机是模型压缩和效率。减少参数数量导致更小的内存占用，这对于在智能手机和嵌入式系统等边缘设备上部署模型至关重要。它还减少了推理所需的浮点运算次数（FLOPs），从而实现更快的执行和更低的能耗。在大型语言模型的背景下，这些模型可能有数十亿个参数，剪枝是一个活跃的研究领域，旨在使这些模型在实际应用中更加实用。
与其他技术的关系
剪枝通常与其他模型压缩技术结合使用，如量化和知识蒸馏。量化降低了权重的精度（例如，从32位浮点数到8位整数），而知识蒸馏训练一个较小的学生模型来模仿较大教师模型的输出。剪枝可以在这些技术之前或之后应用，以实现更大的压缩。例如，剪枝后的模型可以被量化以进一步减小其规模，或者剪枝后的教师模型可用于将知识蒸馏到更小的学生模型中。
挑战与考虑因素
尽管剪枝有诸多好处，但它也带来了一些挑战。一个主要问题是准确性下降，尤其是在激进剪枝率下。微调通常是必要的，但可能无法完全恢复原始准确性。另一个挑战是稀疏模型的硬件支持。虽然非结构化剪枝可以实现高稀疏性，但标准硬件和深度学习框架通常针对密集计算进行了优化，限制了加速效果。另一方面，结构化剪枝更易于硬件实现，但在给定准确性目标下可能导致较低的压缩比。此外，重要性度量和剪枝调度的选择会显著影响最终模型质量，需要仔细调整。
应用与未来方向
剪枝广泛用于在生产环境中部署神经网络，特别是在移动和嵌入式应用中。像苹果、三星电子和高通这样的公司利用剪枝将模型适配到其设备的有限内存和功耗预算中。在人工智能领域，剪枝也被研究为理解神经网络行为的一种手段，因为移除参数可以揭示网络的哪些部分对特定任务至关重要。未来的研究方向包括开发更有原则的重要性度量、自适应剪枝调度以及硬件-软件协同设计，以更好地利用稀疏性。随着模型规模持续增长，剪枝仍将是使其高效和可访问的关键工具。