GPTQ是一种训练后量化技术，旨在通过降低权重的数值精度来压缩大型语言模型（LLM）。该技术由Elias Frantar、Saleh Ashkboos、Torsten Hoefler和Dan Alistarh等研究人员于2022年开发，使得拥有数十亿参数的模型能够在内存有限的消费级硬件上运行。这一方法在开源AI生态系统中被广泛采用，用于在本地设备上部署LLaMA和Mistral等模型。
与量化感知训练不同，GPTQ不需要重新训练或访问原始训练数据集。它在训练后运行，使用小型校准数据集调整权重，以最小化低精度表示引入的误差。这使得它对于全面重新训练在计算上不可行的大型模型非常实用。GPTQ通常将权重压缩为4位整数，实现内存使用量减少四倍，同时保留模型大部分原始预测性能。
技术方法
GPTQ基于近似二阶信息，具体来说是损失函数的Hessian矩阵，以确定哪些权重扰动对输出的影响最小。它逐层处理，量化权重矩阵的列，同时更新剩余权重以补偿量化误差。这种迭代方法源自最优脑量化框架，使用贪心选择要量化的权重，并应用闭式更新来减少累积误差。
该方法支持多种位宽，包括3位和2位，但4位最为常见，因为它在压缩和精度之间取得了平衡。GPTQ还结合了分组量化，其中权重被分成组，每组有自己的缩放因子，从而提高了对异常值密集分布的准确性。该实现针对GPU加速进行了优化，利用CUDA内核在推理期间进行高效矩阵运算。
性能与准确性
实证评估表明，GPTQ可以将OPT-175B等模型压缩到4位精度，在语言建模困惑度和下游任务等标准基准上几乎没有精度下降。例如，一个1750亿参数的模型压缩到4位后，内存需求约为87.5 GB，而32位浮点格式为350 GB，从而可以在单个高端GPU上部署。在某些情况下，3位量化会引入稍大的误差，但仍可用于许多应用。
精度损失因模型架构和校准数据大小而异。使用训练分布中的几百个样本通常就足够了。该方法对基于Transformer的模型特别有效，这些模型主导了现代大型语言模型。与早期的四舍五入量化等技术相比，GPTQ持续减少误差，尤其是对于权重分布极端的模型。
采用与生态系统
GPTQ已成为开源机器学习社区中的标准工具。它集成到Hugging Face Transformers和AutoGPTQ包等流行库中，后者提供了用户友好的界面来量化和加载模型。许多预量化模型检查点可在Hugging Face Hub等平台上获得，允许用户下载流行模型的4位版本，而无需自行执行量化。
该方法补充了其他压缩技术，如剪枝和知识蒸馏，并常与llama.cpp项目中的运行时优化结合使用，用于CPU推理。其流行源于简单性和有效性，使大型模型对计算资源有限的爱好者和研究人员变得可访问。提供云服务的公司，包括AWS和Google Cloud，也已将GPTQ量化模型集成到其生成式AI产品中。
局限性与替代方案
GPTQ有一些局限性。校准过程需要代表性数据集，校准不佳可能导致精度损失。它主要针对权重量化，将激活保留在更高精度，这限制了超长序列的内存节省。此外，该方法对于1位等极低位宽效果较差，此时需要更激进的技术。
其他训练后量化方法包括AWQ（激活感知权重量化），它根据激活幅度保护重要权重，以及llama.cpp中使用的GGUF量化，提供多种位宽选项。这些方法通常产生可比的结果，选择取决于目标硬件和部署场景。研究继续改进量化效率，新方法探索混合精度和自适应方案。
影响与未来方向
GPTQ显著降低了在边缘设备和个人计算机上部署大型语言模型的障碍。它影响了后续模型压缩工作，并在学术文献中被频繁引用。未来发展可能集中在权重和激活的联合量化、针对AMD和Intel处理器的硬件特定优化，以及与超越标准Transformer设计的新兴神经网络架构的集成。