AWQ（Activation-aware Weight Quantization）是一种面向大型语言模型（LLM）的模型压缩方法，旨在减少推理过程中的内存占用和计算成本，而无需进行完整的模型重新训练。该方法由MIT CSAIL和Carnegie Mellon University的研究人员于2023年开发，通过分析激活统计信息而非仅依赖权重幅度，来识别神经网络中最重要的权重，并以较高精度保留这些关键权重，同时将其他权重量化为较低位宽。这种方法使得LLM能够在消费级硬件、移动设备和边缘计算平台上运行，且输出质量下降极小。
AWQ的原理基于一个事实：在训练好的神经网络中，并非所有权重对模型性能的贡献都相同。通过观察代表性输入数据激活的权重，该方法确定一个逐通道缩放因子，以保护重要权重免受量化误差的影响。与依赖穷举搜索或基于梯度的优化的先前量化技术不同，AWQ采用了一种简单而有效的无数据或校准数据驱动过程，使其计算效率高，且易于集成到现有推理流水线中。
技术基础
AWQ的核心创新在于利用激活统计信息来指导权重量化。传统的训练后量化方法（如舍入到最近值（RTN））对所有权重一视同仁，这通常会导致低位宽下的显著精度损失。AWQ则通过小型校准数据集（通常为几百个样本）计算每个权重通道的激活幅度，并推导出一个缩放因子，以放大关键通道的重要性。该缩放在量化前应用，并在反量化后应用逆缩放，确保模型的输出分布保持稳定。
该方法支持多种位宽，包括4位和3位量化，并可与其他压缩技术（如剪枝和知识蒸馏）结合使用。在LLaMA和OPT等模型的基准测试中，AWQ在4位精度下实现了近乎无损的性能，困惑度增加不到0.1，与全精度基线相比。在3位精度下，退化更为明显，但仍与其他最先进方法具有竞争力。
开发与发布
AWQ在一篇题为“AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration”的论文中提出，作者包括Ji Lin、Jiaming Tang、Haotian Tang、Shang Yang、Wei-Ming Chen、Wei-Chen Wang、Guangxuan Xiao、Xingyu Dang、Chuang Gan和Song Han，并于2024年机器学习与系统会议（MLSys）上展示。该研究在MIT CSAIL和Carnegie Mellon University进行，并得到了Samsung Research及其他机构的贡献。作者发布了开源实现，包括一个名为awq的库，以及与vLLM和Hugging Face Transformers等流行推理框架的集成。
该项目迅速在机器学习社区中获得关注，GitHub仓库在数月内积累了数千颗星。该方法被多家硬件和软件供应商采用，包括AMD、Intel和Qualcomm，他们已将AWQ纳入其面向边缘和数据中心部署的模型优化工具包中。
应用与影响
AWQ已被广泛用于在资源受限设备上部署LLM。例如，Apple和Samsung Electronics已探索将AWQ用于设备端生成式AI应用，如文本摘要和代码补全，这些场景中内存和电池限制至关重要。云服务提供商，包括Amazon Web Services和Google Cloud，已将AWQ集成到其模型服务平台中，以降低推理成本并提高吞吐量。
该技术还使得原本需要高端GPU的模型能够在消费级硬件上运行。一个70亿参数的模型通过AWQ量化为4位精度后，可在配备8 GB RAM的笔记本电脑上运行，从而使大型语言模型的研究和实验对个人开发者和小型组织更加可及。
与其他方法的比较
AWQ常与GPTQ（GPT量化）进行比较，后者是另一种流行的训练后量化方法。GPTQ利用二阶信息来最小化量化误差，而AWQ依赖激活统计信息，这些信息计算成本更低，且所需校准数据更少。在实践中，AWQ通常应用速度更快，且对校准数据集的变化更具鲁棒性，而GPTQ在某些模型上有时能实现略低的困惑度。这两种方法互补，可结合使用，其中AWQ可作为GPTQ之前的预处理步骤。
另一种相关方法是SmoothQuant，它将量化难度从激活迁移到权重。AWQ的不同之处在于仅专注于权重量化，使其实现更简单，且更适合缺乏混合精度激活支持的硬件加速器。
未来方向
随着LLM规模的持续增长，高效推理仍是一个关键挑战。AWQ的原理已扩展到其他模态，包括视觉语言模型和扩散模型，并取得了有前景的结果。研究人员还在探索自适应量化方案，根据输入复杂度动态调整位宽，以及利用Arm Holdings和TSMC制造的芯片中专门指令的硬件感知实现。
AWQ的开源特性促进了工具和基准测试的活跃生态系统，现已成为许多模型优化工作流的标准组件。其成功激发了进一步研究激活感知技术在剪枝、蒸馏和架构搜索中的应用，巩固了其作为高效深度学习推理基础性贡献的地位。