Um modelo de linguagem grande de 1,58 bits (também conhecido como LLM ternário) é um tipo de modelo de linguagem grande projetado para eficiência computacional. Ao contrário dos modelos convencionais que armazenam pesos como números de ponto flutuante de 16 bits (como FP16 ou BF16), um modelo de 1,58 bits restringe cada peso a um de três valores: −1, 0 ou +1. Essa representação ternária reduz a pegada de memória em aproximadamente uma ordem de grandeza e substitui operações de multiplicação caras por adições mais simples, acelerando tanto a inferência quanto o treinamento. O nome deriva do fato da teoria da informação de que um valor de três estados carrega aproximadamente log₂3 ≈ 1,58 bits de informação. Esses modelos às vezes são chamados informalmente de LLMs de 1 bit, embora esse termo também possa se referir a modelos binários verdadeiros com apenas pesos −1 e +1.
Pesquisas mostraram que, para modelos de até vários bilhões de parâmetros, LLMs de 1,58 bits alcançam desempenho comparável aos seus equivalentes de precisão total em uma variedade de tarefas. Essa eficiência pode permitir que IA poderosa seja executada em hardware menos especializado e de menor consumo, atendendo às demandas de energia em aplicações de borda e móveis. A abordagem atraiu atenção de pesquisadores acadêmicos e industriais, com a Microsoft sendo uma contribuinte proeminente.
BitNet e Treinamento Nativo
Em 2024, uma equipe de pesquisadores da Microsoft liderada por Shuming Ma e Furu Wei introduziu o BitNet b1.58, um LLM de 1,58 bits que demonstrou desempenho comparável ao modelo de 16 bits Llama 2 em escala semelhante. A principal inovação não foi a quantização pós-treinamento, mas sim uma nova transformação BitLinear que substituiu a camada padrão nn.Linear na arquitetura transformador. Isso permitiu que o modelo fosse treinado nativamente em precisão ternária, evitando a perda de precisão tipicamente associada à quantização de um modelo pré-treinado. O artigo, intitulado "The Era of 1-bit LLMs", argumentou que tais modelos poderiam abrir uma nova era de IA eficiente.
Em 2025, pesquisadores da Microsoft lançaram um modelo de pesos abertos e código de inferência aberto chamado BitNet b1.58 2B4T, com 2 bilhões de parâmetros treinados em 4 trilhões de tokens. Este modelo mostrou desempenho competitivo com modelos de precisão total de tamanho semelhante, validando ainda mais a abordagem. O lançamento incluiu código para inferência eficiente, tornando-o acessível à comunidade em geral.
Quantização Pós-Treinamento e Ajuste Fino
Embora o BitNet seja treinado nativamente em precisão de 1,58 bits, muitos modelos existentes são treinados em precisão total, e convertê-los posteriormente é desejável para economizar custos. Em 2024, pesquisadores da Hugging Face Transformers relataram um método para aumentar gradualmente a quantização de 1,58 bits durante o ajuste fino de um modelo existente, eventualmente alcançando pesos ternários. Essa abordagem permite que profissionais adaptem modelos pré-treinados para precisão de baixo bit sem começar do zero, embora ainda exija uma etapa de ajuste fino.
Desempenho e Leis de Escala
Estudos empíricos indicam que, para modelos de até vários bilhões de parâmetros, LLMs de 1,58 bits têm desempenho comparável aos modelos de precisão total em benchmarks como modelagem de linguagem e tarefas downstream. No entanto, o cenário é matizado. Pesquisas sobre leis de escala sugerem que a quantização de baixo bit é mais favorável para modelos subtreinados, ou seja, aqueles treinados com menos tokens. À medida que o número de tokens de treinamento aumenta, as limitações da precisão de baixo bit se tornam mais aparentes, potencialmente levando a lacunas de desempenho maiores. Isso tem implicações para o design de modelos futuros, à medida que os volumes de dados de treinamento continuam a crescer.
Hardware e Eficiência Energética
A principal motivação para LLMs de 1,58 bits é reduzir os custos computacionais e energéticos de executar modelos grandes. Ao eliminar multiplicações, esses modelos podem ser executados em CPUs e dispositivos de borda de baixo consumo, potencialmente permitindo aplicações de IA no dispositivo. A pegada de memória reduzida também permite que modelos maiores caibam em memória limitada, o que é crítico para sistemas móveis e embarcados. Relatos do IEEE Spectrum e outros veículos destacaram o potencial para abordar as demandas energéticas da IA, embora a implantação prática dependa do suporte de hardware para operações ternárias.
Críticas e Limitações
Alguns pesquisadores apontaram que os benefícios da quantização de 1,58 bits podem não escalar indefinidamente. À medida que as contagens de tokens de treinamento aumentam, as deficiências dos pesos de baixo bit surgem, levando a um desempenho degradado em relação aos modelos de precisão total. Isso é particularmente relevante para modelos muito grandes treinados em conjuntos de dados massivos. Além disso, a representação ternária pode limitar a capacidade do modelo de representar informações de granulação fina, o que pode afetar tarefas que exigem alta precisão. O debate sobre as leis de escala para precisão permanece ativo, com estudos como "Scaling Laws for Precision" e "Low-Bit Quantization Favors Undertrained LLMs" fornecendo insights conflitantes ou complementares.
Direções Futuras
A pesquisa sobre LLMs de 1,58 bits está em andamento, com esforços focados em melhorar técnicas de treinamento, desenvolver melhores métodos de quantização e explorar aceleração de hardware. O lançamento aberto dos modelos BitNet pela Microsoft estimulou experimentação comunitária. Em 2025, a abordagem é vista como um caminho promissor para tornar os modelos de linguagem grandes mais acessíveis e sustentáveis, embora ainda não seja um substituto universal para modelos de precisão total. Trabalhos futuros podem abordar as limitações de escala e estender modelos ternários para contagens de parâmetros ainda maiores.
Ver Também
Referências
- Ma, Shuming; et al. (2024). "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits." arXiv:2402.17764.
- Ma, Shuming; et al. (2025). "BitNet b1.58 2B4T Technical Report." arXiv:2504.12285.
- Wang, Hongyu; et al. (2023). "BitNet: Scaling 1-bit Transformers for Large Language Models." arXiv:2310.11453.
- Kumar, Tanishq; et al. (2024). "Scaling Laws for Precision." arXiv:2411.04330.
- Ouyang, Xu; et al. (2024). "Low-Bit Quantization Favors Undertrained LLMs." arXiv:2411.17691.
- Hutson, Matthew (2024). "1-bit LLMs Could Solve AI's Energy Demands." IEEE Spectrum.
- Morales, Jowi (2025). "Microsoft researchers build 1-bit AI LLM with 2B parameters." Tom's Hardware.