Quantization ist eine Technik zur Reduzierung der numerischen Präzision, mit der die Gewichte eines neuronalen Netzes und in einigen Fällen auch seine Aktivierungen dargestellt werden, um die Modellgröße zu verkleinern und den für den Betrieb erforderlichen Rechenaufwand zu reduzieren. Neuronale Netze werden typischerweise mit 32-Bit- oder 16-Bit-Gleitkommazahlen trainiert, aber viele der Werte, die ein trainiertes Modell tatsächlich gut darstellen muss, können mit Formaten mit viel geringerer Präzision, wie 8-Bit- oder sogar 4-Bit-Ganzzahlen, mit nur einem kleinen, oft akzeptablen Genauigkeitsverlust angenähert werden. Angewandt auf ein Large Language Model kann Quantization den Speicherbedarf eines Modells um den Faktor vier oder mehr im Vergleich zu seiner ursprünglichen Trainingspräzision reduzieren, was es ermöglicht, Modelle auf Hardware mit weit weniger Speicher auszuführen, als andernfalls erforderlich wäre.
Quantization als allgemeine Technik in der digitalen Signalverarbeitung und Informatik existiert lange vor Deep Learning, aber ihre Anwendung auf neuronale Netze und speziell auf große Sprachmodelle wurde ab den frühen 2020er Jahren weit verbreitet praktiziert, als die Modellgrößen auf zig und hunderte Milliarden Parameter anwuchsen, was die Bereitstellung in voller Präzision für viele Nutzer unerschwinglich teuer machte. Die Veröffentlichung großer offener Modelle wie Llama im Jahr 2023 löste einen Anstieg des Community-Interesses speziell an Quantization aus, da sie es Einzelpersonen ermöglichte, Modelle mit zig Milliarden Parametern auf einer einzelnen Consumer-GPU oder sogar einem Laptop auszuführen, was in voller Präzision andernfalls nicht machbar wäre.
Funktionsweise
Quantization bildet einen kontinuierlichen oder hochpräzisen Bereich von Gewichtswerten auf eine kleinere, diskrete Menge von Werten mit geringerer Präzision ab, typischerweise durch Skalierung der ursprünglichen Werte in den darstellbaren Bereich des Zielformats und Rundung. Post-Training-Quantization wendet diese Umwandlung auf ein bereits trainiertes Modell ohne weiteres Training an und ist der häufigste und kostengünstigste Ansatz; sie kann so einfach sein wie die unabhängige Umwandlung jedes Gewichts oder ausgefeilter, indem Kalibrierungsdaten verwendet werden, um Skalierungsfaktoren zu wählen, die den für das spezifische Modell eingeführten Fehler minimieren, und manchmal pro Schicht oder pro Gruppe von Gewichten. Quantization-aware Training integriert stattdessen die Auswirkungen reduzierter Präzision während des Trainingsprozesses selbst, was im Allgemeinen mehr Genauigkeit bei sehr niedrigen Bitbreiten bewahrt, aber Zugang zu Trainingsinfrastruktur und -daten erfordert, die die meisten Nutzer eines vortrainierten Modells nicht haben. Häufige Zielformate Mitte der 2020er Jahre umfassten 8-Bit-Ganzzahl-Quantization, die normalerweise einen vernachlässigbaren Qualitätsverlust erzeugt, und aggressivere 4-Bit- und manchmal niedrigere Formate, die einen größeren, wenn auch oft noch moderaten Qualitätsverlust gegen eine erheblich kleinere Modellgröße eintauschen.
Anwendungen
Quantization ist eine der primären Techniken, neben Distillation und architektonischen Ansätzen wie Mixture of Experts, die verwendet werden, um große Modelle praktisch außerhalb von Rechenzentren mit reichlich GPU-Speicher bereitzustellen. Sie liegt den meisten lokalen und Edge-AI-Bereitstellungen von Sprachmodellen zugrunde, sodass offene Modelle auf Consumer-Hardware, einzelnen Beschleunigerkarten oder sogar mobilen Geräten laufen können. Sie wird auch in Produktions-Serving-Infrastrukturen großer KI-Labore verwendet, um die Kosten der Inferenz in großem Maßstab zu senken, da Berechnungen mit geringerer Präzision auf modernen Beschleunigern wie GPU-Hardware mit dedizierten Arithmetik-Einheiten für niedrige Präzision im Allgemeinen schneller und billiger sind. Beliebte Open-Source-Werkzeuge zur Quantisierung und zum lokalen Ausführen großer Modelle, einschließlich Formaten und Bibliotheken, die um effiziente Ganzzahl- und Low-Bit-Inferenz herum aufgebaut sind, wurden weit verbreitete Teile des Open-Weights-Ökosystems neben Repositories wie Hugging Face.
Abwägungen und Grenzen
Der zentrale Kompromiss bei Quantization ist das Gleichgewicht zwischen Größen- und Geschwindigkeitsgewinnen gegenüber Genauigkeitsverlust, und dieser Verlust ist nicht einheitlich: Einige Aufgaben, insbesondere solche, die präzise Arithmetik oder feinkörniges Denken erfordern, neigen dazu, unter aggressiver Quantization stärker zu degradieren als offene Textgenerierung. Extrem niedrige Bitbreiten, wie 2-Bit oder niedriger, erzeugen im Allgemeinen einen erheblichen und oft inakzeptablen Qualitätsabfall für die meisten Anwendungsfälle ohne spezialisierte Techniken zum Ausgleich. Da Quantization typischerweise nach dem Training angewendet wird und vergleichsweise billig und schnell durchzuführen ist, ist sie oft der erste und einfachste Hebel, den Praktiker nutzen, wenn ein Modell unter strengeren Speicher- oder Latenzbeschränkungen laufen muss, als die ursprüngliche Vollpräzisionsversion erlaubt, häufig zusammen mit LoRA-basierten Fine-Tuning-Techniken wie QLoRA, die quantisierte Basisgewichte mit einem kleinen Satz trainierbarer Low-Rank-Adapter kombinieren.