Quantisierung im Kontext von neuronalen Netzen bezeichnet den Prozess der Reduzierung der numerischen Präzision der Parameter (Gewichte) und Zwischenwerte (Aktivierungen), die in einem Modell verwendet werden. Im Standard-Deep-Learning werden Modelle typischerweise mit 32-Bit-Gleitkommazahlen (FP32) trainiert, die eine hohe Präzision bieten, aber erheblichen Speicher und Rechenleistung verbrauchen. Die Quantisierung bildet diese Werte auf Formate mit geringerer Präzision ab, wie 8-Bit-Ganzzahlen (INT8) oder 4-Bit-Ganzzahlen (INT4), wodurch die Modellgröße schrumpft und die Inferenz auf Hardware, die Ganzzahlarithmetik unterstützt, beschleunigt wird. Diese Technik ist für die Bereitstellung großer Systeme der künstlichen Intelligenz unverzichtbar geworden, insbesondere auf Edge-Geräten und in Rechenzentren, wo Effizienz von größter Bedeutung ist.
Das Konzept der Quantisierung stammt aus der digitalen Signalverarbeitung, wo es als Abbildung von Eingabewerten aus einer großen (oft kontinuierlichen) Menge auf eine kleinere, abzählbare Menge definiert ist. In neuronalen Netzen führt diese Abbildung zu Quantisierungsfehlern, auch bekannt als Quantisierungsrauschen, die die Modellgenauigkeit beeinträchtigen können, wenn sie nicht sorgfältig behandelt werden. Moderne Quantisierungsmethoden zielen jedoch darauf ab, diesen Fehler durch Kalibrierung, Feinabstimmung oder fortschrittliche Algorithmen zu minimieren, sodass Modelle mit reduzierter Präzision bei minimalem Leistungsverlust arbeiten können.
Historischer Hintergrund
Die Anwendung der Quantisierung auf neuronale Netze reicht bis in die Anfänge der Maschinenlernforschung zurück, als Hardwarebeschränkungen die Verwendung von Arithmetik mit geringer Präzision motivierten. In den 1980er und 1990er Jahren erforschten Wissenschaftler binäre und ternäre Gewichtsnetzwerke, um die Rechenkomplexität zu reduzieren, aber diese frühen Bemühungen wurden weitgehend durch den Mangel an geeigneter Hardware und den bescheidenen Umfang der Modelle begrenzt. Das Wiederaufleben des Deep Learnings in den 2010er Jahren, angetrieben durch Grafikprozessoren und große Datensätze, begünstigte zunächst das Training mit hoher Präzision. Als Modelle jedoch größer wurden und auf Mobiltelefonen und eingebetteten Systemen eingesetzt wurden, trat die Quantisierung als kritische Optimierung wieder in den Vordergrund.
Ein bedeutender Meilenstein war 2015 die Veröffentlichung von "BinaryConnect", das zeigte, dass binäre Gewichte auf kleinen Datensätzen eine wettbewerbsfähige Genauigkeit erreichen können. Es folgten Arbeiten zu ternären Gewichtsnetzwerken und später zu Post-Training-Quantisierungsmethoden (PTQ), die kein erneutes Training erforderten. In den späten 2010er Jahren integrierten Frameworks wie TensorFlow und PyTorch Quantisierungswerkzeuge, wodurch die Technik für Praktiker zugänglich wurde. Der Aufstieg von großen Sprachmodellen in den 2020er Jahren, wie sie von OpenAI und Anthropic entwickelt wurden, beschleunigte das Interesse an der Quantisierung weiter, da diese Modelle oft einen Speicherbedarf von mehreren hundert Gigabyte überschreiten.
Mathematische Grundlagen
Die Quantisierung in neuronalen Netzen folgt denselben grundlegenden Prinzipien wie in der Signalverarbeitung. Ein Quantisierer bildet einen Eingabewert \(x\) auf einen Ausgabewert \(Q(x)\) aus einer endlichen Menge ab. Für einen gleichmäßigen Quantisierer mit Schrittweite \(\Delta\) wird die Abbildung oft ausgedrückt als:
\[ Q(x) = \Delta \cdot \left\lfloor \frac{x}{\Delta} + \frac{1}{2} \right\rfloor \]
wobei \(\lfloor \cdot \rfloor\) die Abrundungsfunktion bezeichnet. Dies ist ein Mid-Tread-Quantisierer, der auf das nächste ganzzahlige Vielfache von \(\Delta\) rundet. Der Quantisierungsfehler ist die Differenz zwischen Eingabe und Ausgabe, und für kleine Schrittweiten beträgt der mittlere quadratische Fehler ungefähr \(\Delta^2/12\). Das Hinzufügen eines Bits zum Quantisierer halbiert \(\Delta\), wodurch die Rauschleistung um den Faktor vier reduziert wird, was etwa -6 dB entspricht.
In neuronalen Netzen wird die Quantisierung typischerweise auf Tensoren angewendet, die mehrdimensionale Arrays sind. Der Prozess kann in zwei Stufen zerlegt werden: Vorwärtsquantisierung, die jeden Wert auf einen ganzzahligen Index abbildet, und Rekonstruktion, die den Index zurück auf einen repräsentativen Wert abbildet. Beispielsweise wird bei der INT8-Quantisierung ein Gleitkommawert \(x\) mit einem Skalierungsfaktor \(s\) und einem Nullpunkt \(z\) skaliert, um eine Ganzzahl \(q\) zu erzeugen:
\[ q = \text{round}(\frac{x}{s} + z) \]
und der dequantisierte Wert ist \(\hat{x} = s(q - z)\). Der Skalierungsfaktor \(s\) wird basierend auf dem Wertebereich gewählt, der oft durch Kalibrierung an einem Validierungsdatensatz bestimmt wird.
Arten der Quantisierung
Quantisierungsmethoden können grob in zwei Typen eingeteilt werden: Post-Training-Quantisierung (PTQ) und quantisierungsbewusstes Training (QAT). PTQ wird nach dem Training eines Modells angewendet und erfordert keine zusätzlichen Trainingsdaten. Es ist einfach und schnell, kann aber zu Genauigkeitsverlusten führen, insbesondere bei sehr geringer Präzision. QAT hingegen simuliert die Quantisierung während des Trainings, sodass sich das Modell an die reduzierte Präzision anpassen kann. Dies führt oft zu besserer Genauigkeit, erfordert jedoch mehr Rechenressourcen.
Eine weitere Unterscheidung besteht zwischen gleichmäßiger und ungleichmäßiger Quantisierung. Die gleichmäßige Quantisierung verwendet äquidistante Stufen, was auf Hardware einfach zu implementieren ist. Die ungleichmäßige Quantisierung, wie logarithmische oder auf k-Means-Clustering basierende Verfahren, weist Regionen mit höherer Wertedichte mehr Stufen zu, was den Fehler potenziell reduziert, aber die Hardwareunterstützung erschwert. Darüber hinaus kann die Quantisierung nur auf Gewichte, nur auf Aktivierungen oder auf beide angewendet werden. Die Gewichtsquantisierung ist bei der Modellkompression üblich, während die Aktivierungsquantisierung für vollständige Ganzzahl-Inferenz erforderlich ist.
Hardwareunterstützung und Bereitstellung
Die Quantisierung ist besonders effektiv auf Hardware, die Arithmetik mit geringer Präzision unterstützt. Intel und AMD haben INT8-Befehle in ihre CPUs integriert, während NVIDIA-GPUs (obwohl nicht in der bereitgestellten Liste, weit verbreitet) und spezialisierte Beschleuniger wie AWS Trainium und Groq für quantisierte Inferenz optimiert sind. Mobile und eingebettete Prozessoren von Qualcomm und Arm Holdings profitieren ebenfalls von reduzierter Speicherbandbreite und geringerem Stromverbrauch. Beispielsweise nutzen Apples Neural Engine und Samsung Electronics' Exynos-Chips die Quantisierung, um KI-Aufgaben auf dem Gerät effizient auszuführen.
In Cloud-Umgebungen bieten Amazon Web Services, Google Cloud und Microsoft Azure Dienste an, die quantisierte Modelle verwenden, um Latenz und Kosten zu reduzieren. TSMC und Broadcom fertigen Chips, die Arithmetik mit gemischter Präzision unterstützen, was eine flexible Bereitstellung ermöglicht. Der Trend zur Quantisierung hat auch das Design von Transformer-basierten Modellen beeinflusst, bei denen Aufmerksamkeitsschichten quantisiert werden können, um den Speicherverbrauch ohne signifikanten Qualitätsverlust zu reduzieren.
Auswirkungen auf große Sprachmodelle
Große Sprachmodelle (LLMs) sind zu einem Haupttreiber der Quantisierungsforschung geworden. Modelle wie GPT-3 mit 175 Milliarden Parametern benötigen in FP32 mehrere hundert Gigabyte Speicher, was die Bereitstellung unpraktisch macht. Die Quantisierung auf 8-Bit oder 4-Bit kann den Speicherbedarf um das 4- bis 8-fache reduzieren, sodass diese Modelle auf Consumer-Hardware laufen oder effizient in Rechenzentren bereitgestellt werden können. Techniken wie GPTQ und AWQ wurden entwickelt, um LLMs auf 4-Bit zu quantisieren und dabei die meisten ihrer Fähigkeiten zu erhalten.
LLMs stellen jedoch besondere Herausforderungen dar, da Ausreißer in den Aktivierungswerten die Quantisierungsbereiche verzerren können. Forscher haben Schemata mit gemischter Präzision vorgeschlagen, die kritische Schichten in höherer Präzision halten, sowie dynamische Quantisierungsmethoden, die sich an Eingabeverteilungen anpassen. Unternehmen wie Google DeepMind und meta (nicht in der Liste) haben umfangreiche Studien zur Quantisierung für LLMs veröffentlicht, und Open-Source-Tools wie die Transformers-Bibliothek von Hugging Face (nicht in der Liste) integrieren Quantisierungsunterstützung.
Herausforderungen und zukünftige Richtungen
Die Hauptherausforderung bei der Quantisierung besteht darin, Effizienz und Genauigkeit in Einklang zu bringen. Aggressive Quantisierung kann zu erheblichen Leistungseinbußen führen, insbesondere bei Aufgaben, die feinkörniges Denken erfordern, wie generative KI und Maschinenlernanwendungen. Kalibrierungsmethoden wie entropiebasierte oder Perzentil-basierte Bereichsauswahl helfen, dies zu mildern, erfordern jedoch eine sorgfältige Abstimmung. Ein weiteres Problem ist der Mangel an standardisierter Hardwareunterstützung für sehr geringe Präzision (z. B. 2-Bit), obwohl aufstrebende Chips von SambaNova und Graphcore diesen Bereich erkunden.
Zukünftige Forschung wird sich wahrscheinlich auf adaptive Quantisierung konzentrieren, bei der die Präzision dynamisch basierend auf der Empfindlichkeit der Schicht angepasst wird, sowie auf die gemeinsame Optimierung der Quantisierung mit Modellbereinigung und anderen Kompressionstechniken. Darüber hinaus müssen sich Quantisierungsmethoden an neue Operationen anpassen, wie Aufmerksamkeitsmechanismen in Transformer-Modellen, während sich neuronale Netzarchitekturen weiterentwickeln. Das ultimative Ziel ist es, eine nahezu verlustfreie Kompression zu erreichen, die es KI-Modellen ermöglicht, auf jedem Gerät zu laufen, von Waymo-Selbstfahrfahrzeugen bis zu Intuitive Surgical-medizinischen Robotern.
Fazit
Die Quantisierung ist zu einem Eckpfeiler der effizienten KI-Bereitstellung geworden und ermöglicht den weit verbreiteten Einsatz von Deep Learning in Produktionsumgebungen. Durch die Reduzierung der numerischen Präzision senkt sie den Speicherbedarf, beschleunigt die Inferenz und reduziert den Energieverbrauch, während sie gleichzeitig eine akzeptable Genauigkeit beibehält. Da sich die Hardware weiterentwickelt und Modelle größer werden, wird die Quantisierung ein wichtiges Werkzeug im KI-Werkzeugkasten bleiben und die Lücke zwischen theoretischen Fähigkeiten und praktischer Bereitstellung schließen.