bitsandbytes é uma biblioteca Python de código aberto que fornece wrappers leves para quantizar e executar modelos de Machine learning com precisão numérica reduzida em unidades de processamento gráfico (GPUs). Ela permite uso eficiente de memória e computação mais rápida para cargas de trabalho de Deep learning, particularmente para treinamento, ajuste fino e inferência de Large language model. A biblioteca é amplamente adotada no ecossistema de Artificial intelligence, frequentemente integrada a frameworks populares como Hugging Face Transformers e PyTorch.
O projeto originou-se de pesquisas sobre otimizadores de 8 bits e técnicas de quantização, lançado pela primeira vez em 2021 por Tim Dettmers, pesquisador então na Universidade de Washington. Ganhou destaque como ferramenta prática para executar modelos grandes em hardware de consumo, reduzindo os requisitos de memória da GPU ao representar pesos e ativações em formatos de precisão mais baixa, como inteiros de 8 bits (int8) e ponto flutuante de 4 bits (nf4).
Funcionalidade Principal
bitsandbytes fornece vários componentes-chave. Seus otimizadores de 8 bits, incluindo variantes de Adam e SGD, reduzem a memória do estado do otimizador durante o treinamento. A biblioteca também oferece funções de quantização que convertem pesos de modelos de ponto flutuante de 32 bits (fp32) para formatos de 8 ou 4 bits, com dequantização para computação. Um recurso notável é o método LLM.int8(), que permite inferência de modelos grandes como arquiteturas baseadas em Transformer (architecture) com degradação mínima de desempenho, usando decomposição de precisão mista: características discrepantes são processadas em fp16 enquanto a maioria das multiplicações de matrizes usa int8.
Para quantização de 4 bits, bitsandbytes implementa o tipo de dados NormalFloat (NF4), projetado para pesos com distribuição normal, e suporta QLoRA (Quantized Low-Rank Adaptation), uma técnica para ajuste fino de modelos grandes em uma única GPU. QLoRA combina quantização de modelo base de 4 bits com adaptadores de baixo posto, permitindo ajuste fino eficiente em termos de parâmetros.
Integração e Uso
A biblioteca integra-se perfeitamente com PyTorch, exigindo mudanças mínimas no código. Os usuários podem carregar modelos em precisão de 8 ou 4 bits por meio da biblioteca transformers, passando load_in_8bit=True ou load_in_4bit=True. Ela também suporta descarregamento para CPU, permitindo que modelos maiores que a memória da GPU sejam executados transferindo camadas para a RAM do sistema. bitsandbytes é compatível com GPUs NVIDIA com capacidade de computação 7.5 ou superior (por exemplo, arquiteturas Turing, Ampere, Ada Lovelace).
A partir de 2024, a biblioteca suporta uma variedade de hardware, incluindo GPUs AMD recentes por meio de ROCm, e foi testada em silício Apple via Metal Performance Shaders em builds experimentais. Também é usada em ambientes de nuvem como Amazon Web Services, Microsoft Azure e Google Cloud, onde instâncias de GPU são comuns.
Impacto na Implantação de Modelos
bitsandbytes reduziu a barreira para executar modelos grandes. Por exemplo, um modelo de 70 bilhões de parâmetros que exigiria mais de 140 GB de memória em fp16 pode ser carregado em precisão de 4 bits usando aproximadamente 35 GB, cabendo em uma única GPU de alto desempenho como uma NVIDIA A100 ou RTX 4090. Essa capacidade permitiu que pesquisadores e entusiastas experimentassem modelos de ponta sem acesso a grandes clusters.
A biblioteca é uma pedra angular da comunidade de IA de código aberto, com milhares de projetos no GitHub dependendo dela. Foi citada em inúmeros artigos acadêmicos, incluindo o artigo QLoRA (2023), que demonstrou o ajuste fino de um modelo de 65 bilhões de parâmetros em uma única GPU de 48 GB.
Desenvolvimento e Comunidade
bitsandbytes é mantida por uma pequena equipe de contribuidores, com Tim Dettmers como autor principal. É lançada sob a licença MIT, permitindo uso comercial e acadêmico gratuito. O desenvolvimento do projeto é apoiado por contribuições da comunidade, e é frequentemente atualizada para suportar novas arquiteturas de GPU e métodos de quantização. A partir de 2025, a biblioteca tem mais de 10.000 estrelas no GitHub e é uma ferramenta padrão em muitos pipelines de Generative AI.
Limitações e Considerações
Embora a quantização reduza a memória, ela pode introduzir ligeira perda de precisão, particularmente para modelos muito grandes ou tarefas que exigem alta precisão numérica. O desempenho da biblioteca depende do suporte da GPU; GPUs mais antigas sem suporte a tensor cores podem ver velocidades mais lentas. Além disso, algumas operações, como certos mecanismos de atenção, podem não ser totalmente otimizadas em modo quantizado, exigindo fallbacks para maior precisão.
Apesar dessas limitações, bitsandbytes permanece uma peça crítica de infraestrutura para IA eficiente, complementando outras técnicas de otimização como poda e destilação. Sua evolução contínua reflete a tendência mais ampla de tornar modelos de Neural network mais acessíveis e sustentáveis.