Ein 1,58-Bit-LLM (auch als ternäres LLM bekannt) ist eine Art von Large-Language-Modell, das auf Recheneffizienz ausgelegt ist. Im Gegensatz zu herkömmlichen Modellen, die Gewichte als 16-Bit-Gleitkommazahlen (wie FP16 oder BF16) speichern, beschränkt ein 1,58-Bit-Modell jedes Gewicht auf einen von drei Werten: −1, 0 oder +1. Diese ternäre Darstellung reduziert den Speicherbedarf um etwa eine Größenordnung und ersetzt teure Multiplikationsoperationen durch einfachere Additionen, was sowohl Inferenz als auch Training beschleunigt. Der Name leitet sich aus der informationstheoretischen Tatsache ab, dass ein Drei-Zustand-Wert etwa log₂3 ≈ 1,58 Bit an Informationen trägt. Diese Modelle werden manchmal lose als 1-Bit-LLMs bezeichnet, obwohl dieser Begriff auch echte binäre Modelle mit nur −1- und +1-Gewichten umfassen kann.
Die Forschung hat gezeigt, dass 1,58-Bit-LLMs bei Modellen mit bis zu mehreren Milliarden Parametern eine mit ihren vollpräzisen Gegenstücken vergleichbare Leistung bei einer Reihe von Aufgaben erzielen. Diese Effizienz könnte es ermöglichen, leistungsstarke KI auf weniger spezialisierter, energieärmerer Hardware auszuführen und so den Energiebedarf in Edge- und Mobilgeräteanwendungen zu decken. Der Ansatz hat sowohl bei akademischen als auch bei industriellen Forschern Aufmerksamkeit erregt, wobei Microsoft ein prominenter Beitragender ist.
BitNet und natives Training
Im Jahr 2024 stellte ein Forscherteam bei Microsoft unter der Leitung von Shuming Ma und Furu Wei BitNet b1.58 vor, ein 1,58-Bit-LLM, das eine mit dem 16-Bit-Llama-2-Modell vergleichbare Leistung bei ähnlicher Größe zeigte. Die wichtigste Neuerung war nicht die Quantisierung nach dem Training, sondern eine neue BitLinear-Transformation, die die standardmäßige nn.Linear-Schicht in der Transformer-Architektur ersetzte. Dies ermöglichte es, das Modell nativ in ternärer Präzision zu trainieren und so den Genauigkeitsverlust zu vermeiden, der typischerweise mit der Quantisierung eines vortrainierten Modells verbunden ist. Das Papier mit dem Titel „The Era of 1-bit LLMs“ argumentierte, dass solche Modelle eine neue Ära effizienter KI einläuten könnten.
Im Jahr 2025 veröffentlichten Microsoft-Forscher ein Modell mit offenen Gewichten und offenem Inferenzcode namens BitNet b1.58 2B4T mit 2 Milliarden Parametern, die auf 4 Billionen Token trainiert wurden. Dieses Modell zeigte eine wettbewerbsfähige Leistung im Vergleich zu vollpräzisen Modellen ähnlicher Größe und bestätigte den Ansatz weiter. Die Veröffentlichung umfasste Code für effiziente Inferenz und machte ihn der breiteren Gemeinschaft zugänglich.
Post-Training-Quantisierung und Feintuning
Während BitNet nativ in 1,58-Bit-Präzision trainiert wird, werden viele bestehende Modelle in voller Präzision trainiert, und ihre nachträgliche Umwandlung ist wünschenswert, um Kosten zu sparen. Im Jahr 2024 berichteten Forscher bei Hugging Face Transformers über eine Methode, die 1,58-Bit-Quantisierung während des Feintunings eines bestehenden Modells schrittweise zu erhöhen, bis schließlich ternäre Gewichte erreicht werden. Dieser Ansatz ermöglicht es Praktikern, vortrainierte Modelle an eine niedrige Bit-Präzision anzupassen, ohne von Grund auf zu beginnen, erfordert jedoch weiterhin einen Feintuning-Schritt.
Leistung und Skalierungsgesetze
Empirische Studien deuten darauf hin, dass 1,58-Bit-LLMs bei Modellen mit bis zu mehreren Milliarden Parametern bei Benchmarks wie Sprachmodellierung und nachgelagerten Aufgaben vergleichbar mit vollpräzisen Modellen abschneiden. Das Bild ist jedoch nuanciert. Die Forschung zu Skalierungsgesetzen legt nahe, dass eine Quantisierung mit niedriger Bitrate am günstigsten für untertrainierte Modelle ist, d. h. solche, die mit weniger Token trainiert wurden. Mit zunehmender Anzahl der Trainingstoken werden die Einschränkungen der niedrigen Bit-Präzision deutlicher, was möglicherweise zu größeren Leistungslücken führt. Dies hat Auswirkungen auf das Design zukünftiger Modelle, da die Trainingsdatenmengen weiter wachsen.
Hardware und Energieeffizienz
Die Hauptmotivation für 1,58-Bit-LLMs ist die Reduzierung der Rechen- und Energiekosten für den Betrieb großer Modelle. Durch die Eliminierung von Multiplikationen können diese Modelle auf CPUs und energiearmen Edge-Geräten ausgeführt werden, was möglicherweise On-Device-KI-Anwendungen ermöglicht. Der reduzierte Speicherbedarf ermöglicht es auch, größere Modelle in begrenztem Speicher unterzubringen, was für mobile und eingebettete Systeme entscheidend ist. Berichte von ieee-spectrum und anderen Medien haben das Potenzial hervorgehoben, den Energiebedarf der KI zu decken, obwohl die praktische Bereitstellung von Hardwareunterstützung für ternäre Operationen abhängt.
Kritik und Einschränkungen
Einige Forscher haben darauf hingewiesen, dass die Vorteile der 1,58-Bit-Quantisierung möglicherweise nicht unbegrenzt skalieren. Mit zunehmender Anzahl der Trainingstoken treten die Defizite von Gewichten mit niedriger Bitrate auf, was zu einer verschlechterten Leistung im Vergleich zu vollpräzisen Modellen führt. Dies ist besonders relevant für sehr große Modelle, die auf massiven Datensätzen trainiert werden. Darüber hinaus kann die ternäre Darstellung die Fähigkeit des Modells einschränken, feinkörnige Informationen darzustellen, was Aufgaben beeinträchtigen kann, die hohe Präzision erfordern. Die Debatte über Skalierungsgesetze für Präzision bleibt aktiv, wobei Studien wie „Scaling Laws for Precision“ und „Low-Bit Quantization Favors Undertrained LLMs“ widersprüchliche oder ergänzende Erkenntnisse liefern.
Zukünftige Richtungen
Die Forschung zu 1,58-Bit-LLMs ist im Gange, mit Bemühungen, die sich auf die Verbesserung von Trainingstechniken, die Entwicklung besserer Quantisierungsmethoden und die Erforschung von Hardwarebeschleunigung konzentrieren. Die offene Veröffentlichung von BitNet-Modellen durch Microsoft hat Gemeinschaftsexperimente angeregt. Ab 2025 wird der Ansatz als vielversprechender Weg angesehen, um große Sprachmodelle zugänglicher und nachhaltiger zu machen, obwohl er noch kein universeller Ersatz für vollpräzise Modelle ist. Zukünftige Arbeiten könnten die Skalierungsbeschränkungen angehen und ternäre Modelle auf noch größere Parameterzahlen ausdehnen.
Siehe auch
Referenzen
- Ma, Shuming; et al. (2024). „The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits.“ arXiv:2402.17764.
- Ma, Shuming; et al. (2025). „BitNet b1.58 2B4T Technical Report.“ arXiv:2504.12285.
- Wang, Hongyu; et al. (2023). „BitNet: Scaling 1-bit Transformers for Large Language Models.“ arXiv:2310.11453.
- Kumar, Tanishq; et al. (2024). „Scaling Laws for Precision.“ arXiv:2411.04330.
- Ouyang, Xu; et al. (2024). „Low-Bit Quantization Favors Undertrained LLMs.“ arXiv:2411.17691.
- Hutson, Matthew (2024). „1-bit LLMs Could Solve AI's Energy Demands.“ IEEE Spectrum.
- Morales, Jowi (2025). „Microsoft researchers build 1-bit AI LLM with 2B parameters.“ Tom's Hardware.