bitsandbytesは、グラフィックス処理ユニット（GPU）上で数値精度を低減して機械学習モデルを量子化・実行するための軽量ラッパーを提供するオープンソースのPythonライブラリである。これにより、深層学習ワークロード、特に大規模言語モデルのトレーニング、ファインチューニング、推論において、効率的なメモリ使用と高速な計算が可能になる。このライブラリは人工知能エコシステムで広く採用されており、Hugging Face TransformersやPyTorchなどの一般的なフレームワークと統合されることが多い。
このプロジェクトは、8ビット最適化手法と量子化技術に関する研究に端を発し、2021年に当時ワシントン大学の研究者であったTim Dettmersによって初めてリリースされた。重みとアクティベーションを8ビット整数（int8）や4ビット浮動小数点（nf4）などの低精度形式で表現することでGPUメモリ要件を削減し、コンシューマ向けハードウェアで大規模モデルを実行するための実用的なツールとして注目を集めた。
コア機能
bitsandbytesは、いくつかの主要コンポーネントを提供する。AdamやSGDの変種を含む8ビット最適化手法は、トレーニング中の最適化手法の状態メモリを削減する。また、このライブラリは、モデルの重みを32ビット浮動小数点（fp32）から8ビットまたは4ビット形式に変換する量子化関数と、計算のための逆量子化を提供する。注目すべき機能としてLLM.int8()メソッドがあり、これは混合精度分解を使用することで、トランスフォーマーベースのアーキテクチャのような大規模モデルの推論を、性能低下を最小限に抑えて可能にする。外れ値の特徴はfp16で処理され、行列乗算の大部分はint8を使用する。
4ビット量子化では、bitsandbytesは正規分布する重み向けに設計されたNormalFloat（NF4）データ型を実装し、単一GPUでの大規模モデルのファインチューニング手法であるQLoRA（量子化低ランク適応）をサポートする。QLoRAは、4ビットのベースモデル量子化と低ランクアダプターを組み合わせ、効率的なパラメータ効率的ファインチューニングを可能にする。
統合と使用法
このライブラリはPyTorchとシームレスに統合され、コードの変更は最小限で済む。ユーザーはtransformersライブラリを介してload_in_8bit=Trueまたはload_in_4bit=Trueを渡すことで、8ビットまたは4ビット精度でモデルを読み込むことができる。また、CPUオフロードもサポートしており、GPUメモリより大きいモデルをレイヤーをシステムRAMに転送することで実行できる。bitsandbytesは、コンピュートケーパビリティ7.5以上のNVIDIA GPU（例：Turing、Ampere、Ada Lovelaceアーキテクチャ）と互換性がある。
2024年時点で、このライブラリは、ROCmを介した最近のAMD GPUを含むさまざまなハードウェアをサポートし、実験的なビルドではMetal Performance Shadersを介したAppleシリコンでもテストされている。また、GPUインスタンスが一般的なAmazon Web Services、Azure、Google Cloudなどのクラウド環境でも使用されている。
モデル展開への影響
bitsandbytesは、大規模モデルを実行するための障壁を低くした。例えば、fp16で140GB以上のメモリを必要とする700億パラメータのモデルは、4ビット精度で約35GBを使用して読み込むことができ、NVIDIA A100やRTX 4090のような単一の高性能GPUに収まる。この機能により、研究者や愛好家は、大規模なクラスターを利用せずに最先端のモデルを実験できるようになった。
このライブラリはオープンソースAIコミュニティの基盤であり、GitHub上の数千のプロジェクトがこれに依存している。また、単一の48GB GPUで650億パラメータのモデルのファインチューニングを実証したQLoRA論文（2023年）を含む、多数の学術論文で引用されている。
開発とコミュニティ
bitsandbytesは、Tim Dettmersを主著者とする小規模なコントリビューターのチームによって保守されている。MITライセンスの下でリリースされており、商用および学術用途での自由な使用が可能である。プロジェクトの開発はコミュニティの貢献によって支えられており、新しいGPUアーキテクチャや量子化手法をサポートするために頻繁に更新されている。2025年時点で、このライブラリはGitHubで10,000以上のスターを獲得しており、多くの生成AIパイプラインで標準的なツールとなっている。
制限と考慮事項
量子化はメモリを削減する一方で、特に非常に大規模なモデルや高い数値精度を必要とするタスクでは、わずかな精度低下を引き起こす可能性がある。ライブラリの性能はGPUサポートに依存しており、テンソルコアをサポートしない古いGPUでは速度が遅くなる可能性がある。さらに、特定のアテンションメカニズムなどの一部の操作は、量子化モードで完全に最適化されていない場合があり、高精度へのフォールバックが必要になることがある。
これらの制限にもかかわらず、bitsandbytesは、プルーニングや蒸留などの他の最適化技術を補完する、効率的なAIのための重要なインフラストラクチャであり続けている。その継続的な進化は、ニューラルネットワークモデルをよりアクセスしやすく持続可能なものにするという広範なトレンドを反映している。