模型剪枝是一种深度学习技术，涉及从现有的人工神经网络中移除参数。其主要目标是在尽可能保持准确率的前提下，减少网络的规模（以参数数量衡量）以及运行所需的计算资源。这一过程常被比作生物突触修剪，后者发生在哺乳动物大脑发育期间，通过消除未使用的神经连接来提高效率。
剪枝是将大型模型（例如用于大型语言模型的模型）部署到内存或计算资源有限的设备（如智能手机或边缘设备）上的重要工具。这些方法在人工智能开发的许多领域受到关注，涉及主要云服务提供商和消费硬件厂商。
剪枝类型：结构化与非结构化
最常见的剪枝类型是结构化和非结构化剪枝。非结构化剪枝，也称为边或权重剪枝，侧重于将单个权重设为零。决定删除哪个权重基于其重要性指标，通常是权重幅度或权重与梯度信息的组合。一个基本的算法通常从评估每个参数的重要性开始，对其进行排序，然后移除最不重要的参数。这可以在单个层内局部进行，也可以在整个网络范围内全局进行。相比之下，结构化剪枝移除的是更大的组件，即神经网络中的节点（神经元）。类似的过程会确定哪些神经元是重要的或不重要的，并将其整体丢弃。
剪枝时机
剪枝可以在模型生命周期的不同阶段进行：训练前、训练中或训练后。如果在训练后进行，通常需要对模型进行额外的微调（增加训练轮次）以恢复部分性能损失。训练前剪枝，有时称为稀疏初始化，旨在找到一个可以从头开始训练的子网络结构，这有时能意外地缩短训练时间。训练中剪枝则采用动态机制，在模型学习过程中调整网络拓扑结构。每种方法都在最终准确率、重新训练的计算成本以及剪枝后的推理速度之间进行权衡。
重要性指标
如何识别要剪除的参数或神经元是一个关键问题。常见的方法包括测量权重的幅度，假设权重值较小的参数对模型输出的贡献较小；或者结合权重值和训练过程中的梯度信息，以近似损失函数。结合梯度和权重的方法衍生出了一类著名的二阶方法，这些方法可能会使用Hessian矩阵的近似。其他方法则测量特定神经元在数据集上的激活情况，或者评估将某个神经元输出设为零所产生的影响。
与模型量化和蒸馏的关系
剪枝常与其他压缩技术结合使用。剪枝减少了非零参数的数量，而量化则减少了每个参数所需的比特数、、例如，将一个权重从32位浮点数存储为8位整数。这些技术相辅相成，共同旨在提高推理效率。另一种相关的模型压缩方法是知识蒸馏，即训练一个较小的紧凑模型来模仿原始模型的输出，这种方法无需移除参数即可获得高质量的结果。剪枝通常针对给定的架构进行，并保持该架构结构不变，而蒸馏则有效地创建了一个新的（通常更小的）模型结构。
现代剪枝研究与实务
当前对剪枝的研究非常活跃，不仅涉及提高计算吞吐量，还包括解释剪枝后语言模型的能力。非结构化剪枝通常难以在标准的GPU和CPU上加速，因为经过优化的线性代数内核处理稀疏张量乘法的效率不如密集乘法。相反，结构化剪枝在理论上可以带来更大的加速，因为它移除了整个矩阵行或列，这些可以从矩阵乘法运算中完全消除，而剩余的权重布局仍然是密集的。当前实践中也包括为稀疏计算设计的专用硬件加速器。最近的研究，特别是来自斯坦福大学AI实验室、麻省理工学院和其他学术团体的工作，经常发表关于如何在底层融合内存使用与质量损失之间的权衡，以及某些LLM（大型语言模型）能否在质量损失极小的情况下实现稀疏化的成果。
硬件与软件支持
剪枝不仅仅是一种实验性技术，其在消费级硬件上的大规模应用也受到关注。鉴于大型模型在运行时消耗大量内存和能量，主要的芯片制造商和公司都在积极地将稀疏性支持集成到硬件和软件方案中。例如，NVIDIA和AMD设计的GPU就包含了专门用于跳过零值计算、加速稀疏矩阵乘法的功能。云服务提供商也提供了专用的AI加速器，如AWS Trainium，这是一种定制的ASIC（专用集成电路），旨在帮助训练和部署。不同的平台可能支持不同类型的稀疏模式，有时需要采用“块状稀疏”结构，即在矩阵中系统地插入零块，以便在硬件上获得实际收益。像三星电子、苹果和高通这样的公司也在系统层面探索更高效的方法，以在设备端（如手机）运行推理引擎。此外，包括微软Azure和谷歌云在内的主要云服务提供商的软件栈也集成了剪枝功能，以加速LLM服务，节省运营成本。
历史与全球研究背景
神经网络剪枝的想法已经存在了几十年，早在1980年代，像Yann LeCun等研究人员就在“最优脑损伤”等工作中进行了探索。这一概念与生物神经发育有相似之处，即人脑在发育过程中会通过突触修剪来消除未使用的连接。如今，深度学习从业者普遍认识到，典型的模型是高度过参数化的。例如，一个标准的现代Transformer模型通常包含大量冗余参数，这些参数在训练后可以被移除，而不会显著影响性能。基于幅度、梯度或能量等启发式方法的选择，以及剪枝后是否需要重新训练，都是研究的主题。从加州大学伯克利分校到多伦多大学等学术机构，研究人员持续探索剪枝的基本原理和极限，并将其与其他技术（如量化）结合，以实现最佳效果。
相关框架与生态系统
许多机器学习框架都提供了剪枝支持。例如，PyTorch通过其`torch.nn.utils.prune`模块提供了内置的剪枝功能。TensorFlow（谷歌的框架）也包含了多种剪枝库。一些高级API和工作流工具允许开发者直接应用剪枝。Kubernetes等系统常与模型优化包结合使用，以简化部署流程。在实际操作中，从业者通常需要决定剪枝比例（稀疏度水平），确定是否在剪枝后进行微调，选择合适的损失函数和训练计划，并根据特定的下游推理速度要求，在内存受限和计算受限的环境中积极进行验证。
理论未来潜力
剪枝、量化和稀疏计算技术之间的相互作用是一个非常活跃的研究前沿。人们对于从头开始设计能够原生处理稀疏性的新型芯片抱有希望，这类芯片可以在训练时就施加稀疏性约束，并最终用于部署。稀疏内存访问模式可能会被强制应用于内存缓冲区和缓存设计中，从而显著降低每次推理查询的能耗。
参见
- 知识蒸馏
- 神经达尔文主义