1.58ビット大規模言語モデル（ternary LLMとも呼ばれる）は、計算効率を目的として設計された大規模言語モデルの一種である。重みを16ビット浮動小数点数（FP16やBF16など）として格納する従来のモデルとは異なり、1.58ビットモデルは各重みを−1、0、+1の3つの値のいずれかに制限する。この三値表現により、メモリ使用量はおよそ一桁削減され、高コストな乗算演算がより単純な加算に置き換えられ、推論とトレーニングの両方が高速化される。この名称は、三状態の値が約log₂3 ≈ 1.58ビットの情報を運ぶという情報理論的な事実に由来する。これらのモデルは1ビットLLMと緩く呼ばれることもあるが、その用語は−1と+1のみの重みを持つ真の二値モデルを指す場合もある。
研究により、数十億パラメータまでのモデルにおいて、1.58ビットLLMは様々なタスクで全精度のモデルに匹敵する性能を達成することが示されている。この効率性により、強力なAIがより特殊化されていない低電力ハードウェア上で動作し、エッジやモバイルアプリケーションにおけるエネルギー需要に対処できる可能性がある。このアプローチは学界と産業界の両方の研究者から注目を集めており、マイクロソフトが主要な貢献者となっている。
BitNetとネイティブトレーニング
2024年、Shuming MaとFuru Weiが率いるマイクロソフトの研究チームは、同規模の16ビットLlama 2モデルに匹敵する性能を示す1.58ビットLLMであるBitNet b1.58を発表した。重要な革新は、トレーニング後の量子化ではなく、トランスフォーマーアーキテクチャの標準的なnn.Linear層を置き換える新しいBitLinear変換であった。これにより、モデルを三値精度でネイティブにトレーニングでき、事前トレーニング済みモデルを量子化する際に通常伴う精度低下を回避できた。「The Era of 1-bit LLMs」と題された論文は、そのようなモデルが効率的なAIの新時代を切り開く可能性があると主張した。
2025年、マイクロソフトの研究者は、20億パラメータを4兆トークンでトレーニングしたBitNet b1.58 2B4Tというオープンウェイトかつオープン推論コードのモデルをリリースした。このモデルは、同規模の全精度モデルと競争力のある性能を示し、このアプローチをさらに検証した。リリースには効率的な推論のためのコードが含まれており、より広範なコミュニティが利用できるようになった。
トレーニング後の量子化とファインチューニング
BitNetは1.58ビット精度でネイティブにトレーニングされる一方、多くの既存モデルは全精度でトレーニングされており、コスト削減のために事後的に変換することが望ましい。2024年、Hugging Face Transformersの研究者は、既存モデルのファインチューニング中に1.58ビット量子化を段階的に強化し、最終的に三値重みに到達する方法を報告した。このアプローチにより、実務者はゼロから始めることなく事前トレーニング済みモデルを低ビット精度に適応させることができるが、依然としてファインチューニングのステップが必要である。
性能とスケーリング則
実証研究によると、数十億パラメータまでのモデルにおいて、1.58ビットLLMは言語モデリングや下流タスクなどのベンチマークで全精度モデルに匹敵する性能を発揮する。しかし、状況は複雑である。スケーリング則に関する研究は、低ビット量子化が未トレーニングのモデル、すなわち少数のトークンでトレーニングされたモデルに最も有利であることを示唆している。トレーニングトークン数が増加するにつれて、低ビット精度の限界がより顕著になり、性能差が拡大する可能性がある。これは、トレーニングデータ量が増え続ける中で、将来のモデル設計に影響を与える。
ハードウェアとエネルギー効率
1.58ビットLLMの主な動機は、大規模モデルの実行にかかる計算コストとエネルギーコストを削減することである。乗算を排除することで、これらのモデルはCPUや低電力エッジデバイス上で動作でき、オンデバイスAIアプリケーションを可能にする可能性がある。メモリ使用量の削減により、限られたメモリ内でより大きなモデルを収容することも可能になり、モバイルや組み込みシステムにとって重要である。ieee-spectrumや他のメディアの報道は、AIのエネルギー需要に対処する可能性を強調しているが、実用的な展開は三値演算のハードウェアサポートに依存する。
批判と限界
一部の研究者は、1.58ビット量子化の利点が無制限にスケールしない可能性を指摘している。トレーニングトークン数が増加するにつれて、低ビット重みの欠陥が表面化し、全精度モデルと比較して性能が低下する。これは、大規模なデータセットでトレーニングされた非常に大きなモデルに特に関連する。さらに、三値表現はモデルの細かい情報を表現する能力を制限する可能性があり、高精度を必要とするタスクに影響を与えるかもしれない。精度に関するスケーリング則の議論は依然として活発であり、「Scaling Laws for Precision」や「Low-Bit Quantization Favors Undertrained LLMs」などの研究は、矛盾するまたは補完的な洞察を提供している。
今後の方向性
1.58ビットLLMの研究は進行中であり、トレーニング技術の改善、より良い量子化手法の開発、ハードウェアアクセラレーションの探求に焦点が当てられている。マイクロソフトによるBitNetモデルのオープンリリースは、コミュニティの実験を促進した。2025年時点で、このアプローチは大規模言語モデルをよりアクセスしやすく持続可能にする有望な道と見なされているが、全精度モデルの普遍的な代替品ではない。将来の研究は、スケーリングの限界に対処し、三値モデルをさらに大きなパラメータ数に拡張する可能性がある。
関連項目
参考文献
- Ma, Shuming; et al. (2024). "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits." arXiv:2402.17764.
- Ma, Shuming; et al. (2025). "BitNet b1.58 2B4T Technical Report." arXiv:2504.12285.
- Wang, Hongyu; et al. (2023). "BitNet: Scaling 1-bit Transformers for Large Language Models." arXiv:2310.11453.
- Kumar, Tanishq; et al. (2024). "Scaling Laws for Precision." arXiv:2411.04330.
- Ouyang, Xu; et al. (2024). "Low-Bit Quantization Favors Undertrained LLMs." arXiv:2411.17691.
- Hutson, Matthew (2024). "1-bit LLMs Could Solve AI's Energy Demands." IEEE Spectrum.
- Morales, Jowi (2025). "Microsoft researchers build 1-bit AI LLM with 2B parameters." Tom's Hardware.