1.58位大语言模型（也称为三元LLM）是一种为计算效率而设计的大语言模型。与将权重存储为16位浮点数（如FP16或BF16）的传统模型不同，1.58位模型将每个权重限制为三个值之一：−1、0或+1。这种三元表示将内存占用减少约一个数量级，并用更简单的加法取代昂贵的乘法运算，从而加速推理和训练。该名称源于信息论事实，即三态值携带约log₂3 ≈ 1.58位信息。这些模型有时被粗略地称为1位LLM，尽管该术语也可以指仅具有−1和+1权重的真正二元模型。
研究表明，对于高达数十亿参数的模型，1.58位LLM在一系列任务上实现了与全精度模型相当的性能。这种效率可以使强大的AI在不太专业、低功耗的硬件上运行，从而解决边缘和移动应用中的能源需求。该方法引起了学术界和工业界研究人员的关注，其中微软是突出的贡献者。
BitNet与原生训练
2024年，由马树铭和魏富伟领导的微软研究团队推出了BitNet b1.58，这是一种1.58位LLM，在相似规模下展示了与16位Llama 2模型相当的性能。关键创新并非训练后量化，而是一种新的BitLinear变换，取代了Transformer (architecture)架构中的标准nn.Linear层。这使得模型能够以三元精度进行原生训练，避免了通常与量化预训练模型相关的精度损失。该论文题为“1位LLM的时代”，认为此类模型可以开启高效AI的新时代。
2025年，微软研究人员发布了一个名为BitNet b1.58 2B4T的开放权重和开放推理代码模型，该模型具有20亿参数，并在4万亿个令牌上训练。该模型在性能上与类似规模的全精度模型竞争，进一步验证了该方法。此次发布包括高效推理的代码，使其可供更广泛的社区使用。
训练后量化与微调
虽然BitNet以1.58位精度进行原生训练，但许多现有模型以全精度训练，事后转换它们以节省成本是可取的。2024年，Transformers (Hugging Face)的研究人员报告了一种方法，在现有模型的微调期间逐步提升1.58位量化，最终达到三元权重。这种方法允许从业者将预训练模型适应低比特精度，而无需从头开始，尽管它仍然需要微调步骤。
性能与缩放定律
实证研究表明，对于高达数十亿参数的模型，1.58位LLM在语言建模和下游任务等基准上表现与全精度模型相当。然而，情况是微妙的。关于缩放定律的研究表明，低比特量化对于训练不足的模型（即训练令牌较少的模型）最为有利。随着训练令牌数量的增加，低比特精度的局限性变得更加明显，可能导致更大的性能差距。这对未来模型的设计具有影响，因为训练数据量持续增长。
硬件与能源效率
1.58位LLM的主要动机是降低运行大型模型的计算和能源成本。通过消除乘法，这些模型可以在CPU和低功耗边缘设备上运行，可能实现设备端AI应用。减少的内存占用还允许更大的模型适应有限的内存，这对于移动和嵌入式系统至关重要。来自ieee-spectrum和其他媒体的报道强调了解决AI能源需求的潜力，尽管实际部署取决于对三元运算的硬件支持。
批评与局限性
一些研究人员指出，1.58位量化的好处可能不会无限扩展。随着训练令牌数量的增加，低比特权重的缺陷会显现，导致相对于全精度模型的性能下降。这对于在大型数据集上训练的非常大的模型尤其相关。此外，三元表示可能限制模型表示细粒度信息的能力，这可能影响需要高精度的任务。关于精度缩放定律的争论仍然活跃，诸如“精度缩放定律”和“低比特量化有利于训练不足的LLM”等研究提供了相互冲突或互补的见解。
未来方向
关于1.58位LLM的研究正在进行中，重点在于改进训练技术、开发更好的量化方法以及探索硬件加速。微软对BitNet模型的开放发布激发了社区实验。截至2025年，该方法被视为使大语言模型更易访问和可持续的有前景途径，尽管它还不是全精度模型的普遍替代品。未来的工作可能会解决缩放限制，并将三元模型扩展到更大的参数数量。
参见
参考文献
- Ma, Shuming; et al. (2024). “The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits.” arXiv:2402.17764.
- Ma, Shuming; et al. (2025). “BitNet b1.58 2B4T Technical Report.” arXiv:2504.12285.
- Wang, Hongyu; et al. (2023). “BitNet: Scaling 1-bit Transformers for Large Language Models.” arXiv:2310.11453.
- Kumar, Tanishq; et al. (2024). “Scaling Laws for Precision.” arXiv:2411.04330.
- Ouyang, Xu; et al. (2024). “Low-Bit Quantization Favors Undertrained LLMs.” arXiv:2411.17691.
- Hutson, Matthew (2024). “1-bit LLMs Could Solve AI's Energy Demands.” IEEE Spectrum.
- Morales, Jowi (2025). “Microsoft researchers build 1-bit AI LLM with 2B parameters.” Tom's Hardware.