Un modèle de langage de grande taille à 1,58 bits (également connu sous le nom de LLM ternaire) est un type de modèle de langage de grande taille conçu pour l'efficacité computationnelle. Contrairement aux modèles conventionnels qui stockent les poids sous forme de nombres à virgule flottante sur 16 bits (tels que FP16 ou BF16), un modèle à 1,58 bits restreint chaque poids à l'une de trois valeurs : −1, 0 ou +1. Cette représentation ternaire réduit l'empreinte mémoire d'environ un ordre de grandeur et remplace les opérations de multiplication coûteuses par des additions plus simples, accélérant à la fois l'inférence et l'entraînement. Le nom dérive du fait théorique de l'information qu'une valeur à trois états transporte environ log₂3 ≈ 1,58 bits d'information. Ces modèles sont parfois appelés de manière approximative LLM à 1 bit, bien que ce terme puisse également désigner de véritables modèles binaires avec uniquement des poids de −1 et +1.
La recherche a montré que pour des modèles allant jusqu'à plusieurs milliards de paramètres, les LLM à 1,58 bits atteignent des performances comparables à leurs homologues en pleine précision sur une gamme de tâches. Cette efficacité pourrait permettre à une IA puissante de fonctionner sur du matériel moins spécialisé et moins énergivore, répondant aux demandes énergétiques dans les applications de périphérie et mobiles. Cette approche a attiré l'attention des chercheurs universitaires et industriels, Microsoft étant un contributeur de premier plan.
BitNet et entraînement natif
En 2024, une équipe de chercheurs chez Microsoft dirigée par Shuming Ma et Furu Wei a introduit BitNet b1.58, un LLM à 1,58 bits qui a démontré des performances comparables au modèle Llama 2 sur 16 bits à une échelle similaire. L'innovation clé n'était pas la quantification post-entraînement, mais une nouvelle transformée BitLinear remplaçant la couche standard nn.Linear dans l'architecture transformeur. Cela a permis au modèle d'être entraîné nativement en précision ternaire, évitant la perte de précision généralement associée à la quantification d'un modèle pré-entraîné. L'article, intitulé « The Era of 1-bit LLMs », a soutenu que de tels modèles pourraient ouvrir une nouvelle ère d'IA efficace.
En 2025, les chercheurs de Microsoft ont publié un modèle à poids ouverts et code d'inférence ouvert appelé BitNet b1.58 2B4T, avec 2 milliards de paramètres entraînés sur 4 billions de jetons. Ce modèle a montré des performances compétitives avec des modèles en pleine précision de taille similaire, validant davantage l'approche. La publication incluait un code pour une inférence efficace, le rendant accessible à la communauté plus large.
Quantification post-entraînement et ajustement fin
Bien que BitNet soit entraîné nativement en précision 1,58 bits, de nombreux modèles existants sont entraînés en pleine précision, et leur conversion a posteriori est souhaitable pour réduire les coûts. En 2024, des chercheurs chez Hugging Face Transformers ont rapporté une méthode pour augmenter progressivement la quantification 1,58 bits pendant l'ajustement fin d'un modèle existant, atteignant éventuellement des poids ternaires. Cette approche permet aux praticiens d'adapter des modèles pré-entraînés à une précision à faible bit sans repartir de zéro, bien qu'elle nécessite toujours une étape d'ajustement fin.
Performance et lois d'échelle
Des études empiriques indiquent que pour des modèles allant jusqu'à plusieurs milliards de paramètres, les LLM à 1,58 bits se comportent de manière comparable aux modèles en pleine précision sur des références telles que la modélisation du langage et des tâches en aval. Cependant, le tableau est nuancé. La recherche sur les lois d'échelle suggère que la quantification à faible bit est la plus favorable pour les modèles sous-entraînés, c'est-à-dire ceux entraînés sur moins de jetons. À mesure que le nombre de jetons d'entraînement augmente, les limites de la précision à faible bit deviennent plus apparentes, pouvant conduire à des écarts de performance plus importants. Cela a des implications pour la conception de futurs modèles, car les volumes de données d'entraînement continuent de croître.
Matériel et efficacité énergétique
La motivation principale des LLM à 1,58 bits est de réduire les coûts computationnels et énergétiques de l'exécution de grands modèles. En éliminant les multiplications, ces modèles peuvent fonctionner sur des CPU et des appareils de périphérie à faible consommation, permettant potentiellement des applications d'IA sur appareil. L'empreinte mémoire réduite permet également à de plus grands modèles de tenir dans une mémoire limitée, ce qui est crucial pour les systèmes mobiles et embarqués. Des rapports de ieee-spectrum et d'autres médias ont souligné le potentiel pour répondre aux demandes énergétiques de l'IA, bien que le déploiement pratique dépende du support matériel pour les opérations ternaires.
Critique et limites
Certains chercheurs ont souligné que les avantages de la quantification 1,58 bits pourraient ne pas évoluer indéfiniment. À mesure que les nombres de jetons d'entraînement augmentent, les déficiences des poids à faible bit apparaissent, conduisant à des performances dégradées par rapport aux modèles en pleine précision. Cela est particulièrement pertinent pour les très grands modèles entraînés sur des ensembles de données massifs. De plus, la représentation ternaire peut limiter la capacité du modèle à représenter des informations à grain fin, ce qui peut affecter les tâches nécessitant une haute précision. Le débat sur les lois d'échelle pour la précision reste actif, avec des études telles que « Scaling Laws for Precision » et « Low-Bit Quantization Favors Undertrained LLMs » fournissant des perspectives contradictoires ou complémentaires.
Directions futures
La recherche sur les LLM à 1,58 bits est en cours, avec des efforts concentrés sur l'amélioration des techniques d'entraînement, le développement de meilleures méthodes de quantification et l'exploration de l'accélération matérielle. La publication ouverte des modèles BitNet par Microsoft a stimulé l'expérimentation communautaire. En 2025, l'approche est considérée comme une voie prometteuse pour rendre les modèles de langage de grande taille plus accessibles et durables, bien qu'elle ne soit pas encore un remplacement universel pour les modèles en pleine précision. Les travaux futurs pourraient aborder les limites d'échelle et étendre les modèles ternaires à des nombres de paramètres encore plus grands.
Voir aussi
Références
- Ma, Shuming; et al. (2024). « The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits. » arXiv:2402.17764.
- Ma, Shuming; et al. (2025). « BitNet b1.58 2B4T Technical Report. » arXiv:2504.12285.
- Wang, Hongyu; et al. (2023). « BitNet: Scaling 1-bit Transformers for Large Language Models. » arXiv:2310.11453.
- Kumar, Tanishq; et al. (2024). « Scaling Laws for Precision. » arXiv:2411.04330.
- Ouyang, Xu; et al. (2024). « Low-Bit Quantization Favors Undertrained LLMs. » arXiv:2411.17691.
- Hutson, Matthew (2024). « 1-bit LLMs Could Solve AI's Energy Demands. » IEEE Spectrum.
- Morales, Jowi (2025). « Microsoft researchers build 1-bit AI LLM with 2B parameters. » Tom's Hardware.