1.58비트 대규모 언어 모델(3진 LLM이라고도 함)은 계산 효율성을 위해 설계된 대규모 언어 모델의 한 유형이다. 가중치를 16비트 부동 소수점 숫자(예: FP16 또는 BF16)로 저장하는 기존 모델과 달리, 1.58비트 모델은 각 가중치를 -1, 0, 또는 +1의 세 값 중 하나로 제한한다. 이러한 3진 표현은 메모리 사용량을 약 10분의 1 수준으로 줄이고, 비용이 많이 드는 곱셈 연산을 더 간단한 덧셈으로 대체하여 추론과 학습 속도를 높인다. 이 이름은 세 가지 상태의 값이 약 log₂3 ≈ 1.58비트의 정보를 전달한다는 정보 이론적 사실에서 유래한다. 이러한 모델은 때때로 1비트 LLM이라고도 불리지만, 이 용어는 -1과 +1 가중치만 있는 진정한 이진 모델을 가리킬 수도 있다.
연구에 따르면 수십억 개의 매개변수까지의 모델에서 1.58비트 LLM은 다양한 작업에서 완전 정밀도 모델과 유사한 성능을 달성한다. 이러한 효율성은 강력한 AI가 덜 특수화되고 저전력 하드웨어에서 실행될 수 있게 하여 엣지 및 모바일 애플리케이션의 에너지 수요를 해결할 수 있다. 이 접근 방식은 학계와 산업계 연구자 모두의 관심을 끌었으며, 마이크로소프트가 주요 기여자로 활동하고 있다.
BitNet과 네이티브 학습
2024년, Shuming Ma와 Furu Wei가 이끄는 마이크로소프트 연구팀은 비슷한 규모의 16비트 Llama-2 모델과 비교 가능한 성능을 보여준 1.58비트 LLM인 BitNet b1.58을 소개했다. 핵심 혁신은 학습 후 양자화가 아니라 트랜스포머 아키텍처의 표준 nn.Linear 계층을 대체한 새로운 BitLinear 변환이었다. 이를 통해 모델을 3진 정밀도로 네이티브하게 학습할 수 있었고, 사전 학습된 모델을 양자화할 때 일반적으로 발생하는 정확도 손실을 피할 수 있었다. "1비트 LLM의 시대"라는 제목의 이 논문은 이러한 모델이 효율적인 AI의 새로운 시대를 열 수 있다고 주장했다.
2025년, 마이크로소프트 연구자들은 40억 개의 토큰으로 학습된 20억 개의 매개변수를 가진 BitNet b1.58 2B4T라는 오픈 가중치 및 오픈 추론 코드 모델을 출시했다. 이 모델은 비슷한 크기의 완전 정밀도 모델과 경쟁력 있는 성능을 보여주며 접근 방식을 더욱 검증했다. 이 출시에는 효율적인 추론을 위한 코드가 포함되어 더 넓은 커뮤니티가 접근할 수 있게 했다.
학습 후 양자화와 미세 조정
BitNet은 1.58비트 정밀도로 네이티브하게 학습되지만, 많은 기존 모델은 완전 정밀도로 학습되며, 비용 절감을 위해 사후 변환이 바람직하다. 2024년, Hugging Face Transformers 연구자들은 기존 모델의 미세 조정 중에 1.58비트 양자화를 점진적으로 강화하여 결국 3진 가중치에 도달하는 방법을 보고했다. 이 접근 방식은 실무자가 처음부터 시작하지 않고 사전 학습된 모델을 저비트 정밀도로 적응시킬 수 있게 하지만, 여전히 미세 조정 단계가 필요하다.
성능 및 스케일링 법칙
경험적 연구에 따르면 수십억 개의 매개변수까지의 모델에서 1.58비트 LLM은 언어 모델링 및 하위 작업과 같은 벤치마크에서 완전 정밀도 모델과 비슷하게 수행된다. 그러나 상황은 미묘하다. 스케일링 법칙에 대한 연구는 저비트 양자화가 덜 학습된 모델, 즉 더 적은 토큰으로 학습된 모델에 가장 유리하다는 것을 시사한다. 학습 토큰 수가 증가함에 따라 저비트 정밀도의 한계가 더 분명해지며, 잠재적으로 더 큰 성능 격차로 이어질 수 있다. 이는 학습 데이터 양이 계속 증가함에 따라 향후 모델 설계에 영향을 미친다.
하드웨어 및 에너지 효율성
1.58비트 LLM의 주요 동기는 대규모 모델 실행의 계산 및 에너지 비용을 줄이는 것이다. 곱셈을 제거함으로써 이러한 모델은 CPU와 저전력 엣지 장치에서 실행될 수 있으며, 잠재적으로 온디바이스 AI 애플리케이션을 가능하게 한다. 메모리 사용량 감소는 더 큰 모델이 제한된 메모리에 맞게 하여 모바일 및 임베디드 시스템에 중요하다. ieee-spectrum 및 기타 매체의 보고서는 AI의 에너지 수요를 해결할 가능성을 강조했지만, 실제 배포는 3진 연산을 위한 하드웨어 지원에 달려 있다.
비판 및 한계
일부 연구자들은 1.58비트 양자화의 이점이 무한정 확장되지 않을 수 있다고 지적한다. 학습 토큰 수가 증가함에 따라 저비트 가중치의 결함이 표면화되어 완전 정밀도 모델 대비 성능 저하로 이어진다. 이는 대규모 데이터 세트로 학습된 매우 큰 모델에서 특히 관련이 있다. 또한 3진 표현은 미세한 정보를 표현하는 모델의 용량을 제한할 수 있으며, 이는 높은 정밀도가 필요한 작업에 영향을 줄 수 있다. 정밀도에 대한 스케일링 법칙에 대한 논쟁은 여전히 활발하며, "정밀도에 대한 스케일링 법칙" 및 "저비트 양자화는 덜 학습된 LLM에 유리함"과 같은 연구는 상충되거나 보완적인 통찰력을 제공한다.
향후 방향
1.58비트 LLM에 대한 연구는 진행 중이며, 학습 기술 개선, 더 나은 양자화 방법 개발, 하드웨어 가속 탐색에 초점을 맞추고 있다. 마이크로소프트의 BitNet 모델 오픈 출시는 커뮤니티 실험을 촉진했다. 2025년 기준으로 이 접근 방식은 대규모 언어 모델을 더 접근 가능하고 지속 가능하게 만드는 유망한 방안으로 간주되지만, 완전 정밀도 모델의 보편적인 대체재는 아니다. 향후 작업은 스케일링 한계를 해결하고 3진 모델을 더 큰 매개변수 수로 확장할 수 있다.
같이 보기
참고 문헌
- Ma, Shuming; et al. (2024). "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits." arXiv:2402.17764.
- Ma, Shuming; et al. (2025). "BitNet b1.58 2B4T Technical Report." arXiv:2504.12285.
- Wang, Hongyu; et al. (2023). "BitNet: Scaling 1-bit Transformers for Large Language Models." arXiv:2310.11453.
- Kumar, Tanishq; et al. (2024). "Scaling Laws for Precision." arXiv:2411.04330.
- Ouyang, Xu; et al. (2024). "Low-Bit Quantization Favors Undertrained LLMs." arXiv:2411.17691.
- Hutson, Matthew (2024). "1-bit LLMs Could Solve AI's Energy Demands." IEEE Spectrum.
- Morales, Jowi (2025). "Microsoft researchers build 1-bit AI LLM with 2B parameters." Tom's Hardware.