bitsandbytes는 Machine learning 모델을 양자화하고 GPU(그래픽 처리 장치)에서 더 낮은 수치 정밀도로 실행하기 위한 경량 래퍼를 제공하는 오픈소스 Python 라이브러리입니다. 이는 Deep learning 워크로드, 특히 Large language model 훈련, 미세 조정, 및 추론에서 효율적인 메모리 사용과 더 빠른 계산을 가능하게 합니다. 이 라이브러리는 Artificial intelligence 생태계에서 널리 채택되었으며, Hugging Face Transformers 및 PyTorch와 같은 인기 프레임워크와 자주 통합됩니다.
이 프로젝트는 8비트 옵티마이저 및 양자화 기법에 대한 연구에서 시작되었으며, 2021년에 당시 워싱턴 대학교 연구원이었던 Tim Dettmers에 의해 처음 출시되었습니다. 이는 가중치와 활성화를 8비트 정수(int8) 및 4비트 부동소수점(nf4)과 같은 더 낮은 정밀도 형식으로 표현하여 GPU 메모리 요구 사항을 줄임으로써, 소비자 하드웨어에서 대형 모델을 실행하기 위한 실용적인 도구로 두각을 나타냈습니다.
핵심 기능
bitsandbytes는 몇 가지 주요 구성 요소를 제공합니다. 8비트 옵티마이저(Adam 및 SGD 변형 포함)는 훈련 중 옵티마이저 상태 메모리를 줄입니다. 이 라이브러리는 또한 모델 가중치를 32비트 부동소수점(fp32)에서 8비트 또는 4비트 형식으로 변환하는 양자화 함수를 제공하며, 계산을 위한 역양자화를 포함합니다. 주목할 만한 기능은 LLM.int8() 메서드로, 혼합 정밀도 분해를 사용하여 Transformer (architecture) 기반 아키텍처와 같은 대형 모델의 추론을 최소한의 성능 저하로 가능하게 합니다: 이상치 특징은 fp16에서 처리되는 반면, 대부분의 행렬 곱셈은 int8을 사용합니다.
4비트 양자화의 경우, bitsandbytes는 정규 분포 가중치를 위해 설계된 NormalFloat(NF4) 데이터 형식을 구현하며, 단일 GPU에서 대형 모델을 미세 조정하는 기법인 QLoRA(양자화 저랭크 적응)를 지원합니다. QLoRA는 4비트 기본 모델 양자화를저랭크 어댑터와 결합하여, 효율적인 매개변수 효율적 미세 조정을 가능하게 합니다.
통합 및 사용
이 라이브러리는 PyTorch와 원활하게 통합되며, 최소한의 코드 변경만 필요로 합니다. 사용자는 transformers 라이브러리를 통해 load_in_8bit=True 또는 load_in_4bit=True를 전달하여 모델을8비트 또는 4비트 정밀도로 로드할 수 있습니다. 또한 CPU 오프로딩을 지원하여, GPU 메모리보다 큰 모델을 레이어를 시스템 RAM으로 전송하여 실행할 수 있게 합니다. bitsandbytes는 컴퓨트 능력 7.5 이상의 NVIDIA GPU(예: Turing, Ampere, Ada Lovelace 아키텍처)와 호환됩니다.
2024년 기준, 이 라이브러리는 ROCm을 통한 최근 AMD GPU를 포함한 다양한 하드웨어를 지원하며, 실험적 빌드에서 Metal Performance Shaders를 통해 Apple 실리콘에서 테스트되었습니다. 또한 GPU 인스턴스가 일반적인 Amazon Web Services, Microsoft Azure, 및 Google Cloud와 같은 클라우드 환경에서도 사용됩니다.
모델 배포에 미치는 영향
bitsandbytes는 대형 모델 실행의 장벽을 낮추었습니다. 예를 들어, fp16에서 140GB 이상의 메모리가 필요한 700억 매개변수 모델은, 약 35GB를 사용하는 4비트 정밀도로 로드되어 NVIDIA A100 또는 RTX 4090과 같은 단일 고급 GPU에 맞출 수 있습니다. 이 기능은 연구자와 애호가가 대형 클러스터에 접근하지 않고도 최첨단 모델을 실험할 수 있게 했습니다.
이 라이브러리는 오픈소스 AI 커뮤니티의 초석이며, GitHub의 수천 개 프로젝트가 이에 의존하고 있습니다. 이는 수많은 학술 논문에서 인용되었으며, 단일 48GB GPU에서 650억 매개변수 모델을 미세 조정하는 것을 입증한 QLoRA 논문(2023)을 포함합니다.
개발 및 커뮤니티
bitsandbytes는 소규모 기여자 팀에 의해 유지 관리되며, Tim Dettmers가 주요 저자입니다. 이는 MIT 라이선스로 출시되어, 상업적 및 학술적 사용을 자유롭게 허용합니다. 프로젝트 개발은 커뮤니티 기여로 지원되며, 새로운 GPU 아키텍처 및 양자화 방법을 지원하기 위해 자주 업데이트됩니다. 2025년 기준, 이 라이브러리는 GitHub에서 10,000개 이상의 별을 보유하고 있으며, 많은 Generative AI 파이프라인에서 표준 도구입니다.
제한 사항 및 고려 사항
양자화는 메모리를 줄이지만, 특히 매우 큰 모델이나 높은 수치 정밀도가 필요한 작업에서 약간의 정확도 손실을 도입할 수 있습니다. 라이브러리의 성능은 GPU 지원에 따라 달라지며; 텐서 코어 지원이 없는 오래된 GPU는 더 느린 속도를 볼 수 있습니다. 또한 특정 주의 메커니즘과 같은 일부 연산은 양자화 모드에서 완전히 최적화되지 않을 수 있어, 더 높은 정밀도로의 폴백이 필요할 수 있습니다.
이러한 제한에도 불구하고, bitsandbytes는 가지치기 및 증류와 같은 다른 최적화 기법을 보완하는 효율적인 AI를 위한 중요한 인프라 구성 요소로 남아 있습니다. 그 지속적인 진화는 Neural network 모델을 더 접근 가능하고 지속 가능하게 만드는 더 넓은 추세를 반영합니다.