Un modelo de lenguaje grande de 1.58 bits (también conocido como LLM ternario) es un tipo de modelo de lenguaje grande diseñado para la eficiencia computacional. A diferencia de los modelos convencionales que almacenan los pesos como números de punto flotante de 16 bits (como FP16 o BF16), un modelo de 1.58 bits restringe cada peso a uno de tres valores: −1, 0 o +1. Esta representación ternaria reduce la huella de memoria en aproximadamente un orden de magnitud y reemplaza las costosas operaciones de multiplicación con sumas más simples, acelerando tanto la inferencia como el entrenamiento. El nombre deriva del hecho informático-teórico de que un valor de tres estados lleva aproximadamente log₂3 ≈ 1.58 bits de información. Estos modelos a veces se denominan de manera laxa LLM de 1 bit, aunque ese término también puede referirse a modelos binarios verdaderos con solo pesos de −1 y +1.
La investigación ha demostrado que, para modelos de hasta varios miles de millones de parámetros, los LLM de 1.58 bits logran un rendimiento comparable al de sus contrapartes de precisión completa en una variedad de tareas. Esta eficiencia podría permitir que una IA potente se ejecute en hardware menos especializado y de menor potencia, abordando las demandas energéticas en aplicaciones de borde y móviles. El enfoque ha atraído la atención tanto de investigadores académicos como industriales, siendo Microsoft un contribuyente destacado.
BitNet y Entrenamiento Nativo
En 2024, un equipo de investigadores en Microsoft liderado por Shuming Ma y Furu Wei presentó BitNet b1.58, un LLM de 1.58 bits que demostró un rendimiento comparable al modelo Llama 2 de 16 bits a escala similar. La innovación clave no fue la cuantización posterior al entrenamiento, sino un nuevo transformador BitLinear que reemplazó la capa estándar nn.Linear en la arquitectura transformador. Esto permitió que el modelo se entrenara de manera nativa en precisión ternaria, evitando la pérdida de precisión típicamente asociada con la cuantización de un modelo preentrenado. El artículo, titulado "The Era of 1-bit LLMs", argumentó que tales modelos podrían abrir una nueva era de IA eficiente.
En 2025, los investigadores de Microsoft lanzaron un modelo de pesos abiertos y código de inferencia abierto llamado BitNet b1.58 2B4T, con 2 mil millones de parámetros entrenados en 4 billones de tokens. Este modelo mostró un rendimiento competitivo con modelos de precisión completa de tamaño similar, validando aún más el enfoque. El lanzamiento incluyó código para una inferencia eficiente, haciéndolo accesible a la comunidad en general.
Cuantización Posterior al Entrenamiento y Ajuste Fino
Mientras que BitNet se entrena de manera nativa en precisión de 1.58 bits, muchos modelos existentes se entrenan en precisión completa, y convertirlos a posteriori es deseable para ahorrar costos. En 2024, investigadores en Hugging Face Transformers informaron un método para aumentar gradualmente la cuantización de 1.58 bits durante el ajuste fino de un modelo existente, alcanzando eventualmente pesos ternarios. Este enfoque permite a los profesionales adaptar modelos preentrenados a precisión de bits bajos sin empezar desde cero, aunque aún requiere un paso de ajuste fino.
Rendimiento y Leyes de Escalado
Los estudios empíricos indican que, para modelos de hasta varios miles de millones de parámetros, los LLM de 1.58 bits se desempeñan de manera comparable a los modelos de precisión completa en puntos de referencia como modelado de lenguaje y tareas posteriores. Sin embargo, la imagen es matizada. La investigación sobre leyes de escalado sugiere que la cuantización de bits bajos es más favorable para modelos subentrenados, es decir, aquellos entrenados con menos tokens. A medida que aumenta el número de tokens de entrenamiento, las limitaciones de la precisión de bits bajos se vuelven más evidentes, lo que potencialmente conduce a mayores brechas de rendimiento. Esto tiene implicaciones para el diseño de modelos futuros, ya que los volúmenes de datos de entrenamiento continúan creciendo.
Hardware y Eficiencia Energética
La motivación principal para los LLM de 1.58 bits es reducir los costos computacionales y energéticos de ejecutar modelos grandes. Al eliminar las multiplicaciones, estos modelos pueden ejecutarse en CPU y dispositivos de borde de baja potencia, lo que potencialmente permite aplicaciones de IA en el dispositivo. La huella de memoria reducida también permite que modelos más grandes quepan en memoria limitada, lo cual es crítico para sistemas móviles y embebidos. Informes de IEEE Spectrum y otros medios han destacado el potencial para abordar las demandas energéticas de la IA, aunque el despliegue práctico depende del soporte de hardware para operaciones ternarias.
Crítica y Limitaciones
Algunos investigadores han señalado que los beneficios de la cuantización de 1.58 bits pueden no escalar indefinidamente. A medida que aumentan los recuentos de tokens de entrenamiento, las deficiencias de los pesos de bits bajos salen a la superficie, lo que lleva a un rendimiento degradado en relación con los modelos de precisión completa. Esto es particularmente relevante para modelos muy grandes entrenados en conjuntos de datos masivos. Además, la representación ternaria puede limitar la capacidad del modelo para representar información de grano fino, lo que puede afectar tareas que requieren alta precisión. El debate sobre las leyes de escalado para la precisión sigue activo, con estudios como "Scaling Laws for Precision" y "Low-Bit Quantization Favors Undertrained LLMs" que proporcionan ideas conflictivas o complementarias.
Direcciones Futuras
La investigación sobre LLM de 1.58 bits está en curso, con esfuerzos centrados en mejorar las técnicas de entrenamiento, desarrollar mejores métodos de cuantización y explorar la aceleración de hardware. El lanzamiento abierto de los modelos BitNet por parte de Microsoft ha estimulado la experimentación comunitaria. A partir de 2025, el enfoque se ve como una vía prometedora para hacer que los modelos de lenguaje grandes sean más accesibles y sostenibles, aunque aún no es un reemplazo universal para los modelos de precisión completa. El trabajo futuro puede abordar las limitaciones de escalado y extender los modelos ternarios a recuentos de parámetros aún mayores.
Véase También
Referencias
- Ma, Shuming; et al. (2024). "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits." arXiv:2402.17764.
- Ma, Shuming; et al. (2025). "BitNet b1.58 2B4T Technical Report." arXiv:2504.12285.
- Wang, Hongyu; et al. (2023). "BitNet: Scaling 1-bit Transformers for Large Language Models." arXiv:2310.11453.
- Kumar, Tanishq; et al. (2024). "Scaling Laws for Precision." arXiv:2411.04330.
- Ouyang, Xu; et al. (2024). "Low-Bit Quantization Favors Undertrained LLMs." arXiv:2411.17691.
- Hutson, Matthew (2024). "1-bit LLMs Could Solve AI's Energy Demands." IEEE Spectrum.
- Morales, Jowi (2025). "Microsoft researchers build 1-bit AI LLM with 2B parameters." Tom's Hardware.