bitsandbytes es una biblioteca de Python de código abierto que proporciona envoltorios ligeros para cuantizar y ejecutar modelos de Machine learning con precisión numérica reducida en unidades de procesamiento gráfico (GPU). Permite un uso eficiente de la memoria y un cálculo más rápido para cargas de trabajo de Deep learning, particularmente para el entrenamiento, ajuste fino e inferencia de Large language model. La biblioteca es ampliamente adoptada en el ecosistema de Artificial intelligence, y a menudo se integra con marcos populares como Hugging Face Transformers y PyTorch.
El proyecto se originó a partir de investigaciones sobre optimizadores de 8 bits y técnicas de cuantización, y fue lanzado por primera vez en 2021 por Tim Dettmers, un investigador que entonces estaba en la Universidad de Washington. Ganó prominencia como una herramienta práctica para ejecutar modelos grandes en hardware de consumo, reduciendo los requisitos de memoria de la GPU al representar pesos y activaciones en formatos de menor precisión, como enteros de 8 bits (int8) y punto flotante de 4 bits (nf4).
Funcionalidad Principal
bitsandbytes proporciona varios componentes clave. Sus optimizadores de 8 bits, incluidas variantes de Adam y SGD, reducen la memoria del estado del optimizador durante el entrenamiento. La biblioteca también ofrece funciones de cuantización que convierten los pesos del modelo de punto flotante de 32 bits (fp32) a formatos de 8 o 4 bits, con de-cuantización para el cálculo. Una característica notable es el método LLM.int8(), que permite la inferencia de modelos grandes como arquitecturas basadas en Transformer (architecture) con una degradación mínima del rendimiento mediante el uso de descomposición de precisión mixta: las características atípicas se procesan en fp16 mientras que la mayoría de las multiplicaciones de matrices usan int8.
Para la cuantización de 4 bits, bitsandbytes implementa el tipo de datos NormalFloat (NF4), diseñado para pesos distribuidos normalmente, y admite QLoRA (Adaptación de Bajo Rango Cuantizada), una técnica para ajustar finamente modelos grandes en una sola GPU. QLoRA combina la cuantización del modelo base de 4 bits con adaptadores de bajo rango, permitiendo un ajuste fino eficiente en parámetros.
Integración y Uso
La biblioteca se integra perfectamente con PyTorch, requiriendo cambios mínimos en el código. Los usuarios pueden cargar modelos con precisión de 8 o 4 bits a través de la biblioteca transformers pasando load_in_8bit=True o load_in_4bit=True. También admite la descarga a la CPU, lo que permite ejecutar modelos más grandes que la memoria de la GPU al transferir capas a la RAM del sistema. bitsandbytes es compatible con GPU NVIDIA con capacidad de cómputo 7.5 o superior (por ejemplo, arquitecturas Turing, Ampere, Ada Lovelace).
A partir de 2024, la biblioteca admite una variedad de hardware, incluidas GPU recientes de AMD a través de ROCm, y ha sido probada en silicio de Apple mediante Metal Performance Shaders en compilaciones experimentales. También se utiliza en entornos de nube como Amazon Web Services, Microsoft Azure y Google Cloud, donde las instancias de GPU son comunes.
Impacto en el Despliegue de Modelos
bitsandbytes ha reducido la barrera para ejecutar modelos grandes. Por ejemplo, un modelo de 70 mil millones de parámetros que requeriría más de 140 GB de memoria en fp16 puede cargarse con precisión de 4 bits usando aproximadamente 35 GB, cabiendo en una sola GPU de gama alta como una NVIDIA A100 o RTX 4090. Esta capacidad ha permitido a investigadores y aficionados experimentar con modelos de última generación sin acceso a grandes clústeres.
La biblioteca es una piedra angular de la comunidad de IA de código abierto, con miles de proyectos en GitHub que dependen de ella. Ha sido citada en numerosos artículos académicos, incluido el artículo de QLoRA (2023), que demostró el ajuste fino de un modelo de 65 mil millones de parámetros en una sola GPU de 48 GB.
Desarrollo y Comunidad
bitsandbytes es mantenida por un pequeño equipo de contribuyentes, con Tim Dettmers como autor principal. Se publica bajo la licencia MIT, permitiendo uso comercial y académico gratuito. El desarrollo del proyecto cuenta con el apoyo de contribuciones de la comunidad, y se actualiza con frecuencia para admitir nuevas arquitecturas de GPU y métodos de cuantización. A partir de 2025, la biblioteca tiene más de 10,000 estrellas en GitHub y es una herramienta estándar en muchos flujos de trabajo de Generative AI.
Limitaciones y Consideraciones
Si bien la cuantización reduce la memoria, puede introducir una ligera pérdida de precisión, particularmente para modelos muy grandes o tareas que requieren alta precisión numérica. El rendimiento de la biblioteca depende del soporte de la GPU; las GPU más antiguas sin soporte de núcleos tensoriales pueden ver velocidades más lentas. Además, algunas operaciones, como ciertos mecanismos de atención, pueden no estar completamente optimizadas en modo cuantizado, requiriendo alternativas de mayor precisión.
A pesar de estas limitaciones, bitsandbytes sigue siendo una pieza crítica de infraestructura para una IA eficiente, complementando otras técnicas de optimización como la poda y la destilación. Su evolución continua refleja la tendencia más amplia hacia hacer que los modelos de Neural network sean más accesibles y sostenibles.