DL Boost ist ein Marketingname, den Intel für eine Reihe von Funktionen der Befehlssatzarchitektur (ISA) auf der x86-64-Plattform verwendet, die darauf ausgelegt sind, die Leistung bei Deep-Learning-Aufgaben wie Training und Inferenz zu verbessern. Die Funktionen wurden mit der Cascade-Lake-Architektur eingeführt, die die Skylake-SP-Serie von Serverprozessoren ablöste. DL Boost zielt auf Arbeitslasten ab, die in Künstliche-Intelligenz-Anwendungen üblich sind, einschließlich convolutional neuronaler Netze und transformerbasierter Modelle, indem es hardwarenahe Beschleunigung für spezifische mathematische Operationen bietet.
Die Initiative spiegelt einen breiteren Trend unter Chipherstellern wider, spezielle Befehle für Machine-Learning-Arbeitslasten hinzuzufügen, die die allgemeinen Rechenfähigkeiten ergänzen. Intel positionierte DL Boost als eine Möglichkeit, die Kosten und die Latenz von KI-Inferenz und -Training auf Standard-x86-Servern zu senken, ohne dass dedizierte Beschleuniger wie GPUs erforderlich sind.
Befehlssatzfunktionen
DL Boost besteht aus zwei primären Befehlssätzen. Der erste Satz, AVX-512 VNNI (Vector Neural Network Instructions), auch bekannt als 4VNNIW oder AVX-VNNI, bietet schnelle Multiplikations-Akkumulations-Operationen, die hauptsächlich auf neuronale Netze abzielen, die auf Faltung basieren, wie Bilderkennungsmodelle. Diese Befehle arbeiten mit 512-Bit-Vektoren und ermöglichen mehrere Operationen pro Taktzyklus.
Der zweite Satz, AVX-512 BF16, führt Unterstützung für das bfloat16-Gleitkommaformat ein, eine 16-Bit-Darstellung, die den Exponentenbereich von standardmäßigem float32 beibehält, jedoch mit reduzierter Mantissenpräzision. Dieses Format ist für Berechnungen mit geringerer Präzision ausgelegt, die Training und Inferenz beschleunigen können, während eine akzeptable Modellgenauigkeit erhalten bleibt. Die Befehle umfassen die Konvertierung zwischen float32 und bfloat16 sowie Punktproduktoperationen, die mehrere Werte effizient kombinieren.
Beide Funktionssätze sind auf Cascade-Lake-Prozessoren und späteren Generationen verfügbar, einschließlich Ice Lake und nachfolgenden Server- und Client-Produkten. Die Befehle werden der Software über standardmäßige Compiler- und Laufzeitunterstützung zugänglich gemacht, sodass Frameworks wie TensorFlow und PyTorch sie automatisch nutzen können.
Leistung und Benchmarking
Ein Benchmark, der auf TensorFlow basiert und auf der Google Cloud Platform Compute Engine ausgeführt wurde, zeigte, dass DL Boost die Leistung verbessern und die Kosten im Vergleich zu früheren Intel-CPUs ohne diese Befehle senken kann. Der Benchmark zeigte besondere Vorteile für kleine Batch-Größen, die in Echtzeit-Inferenzszenarien üblich sind, in denen Latenz wichtiger ist als Durchsatz.
Im Vergleich zu GPUs deutete der Benchmark darauf hin, dass CPUs mit DL Boost für bestimmte Arbeitslasten eine wettbewerbsfähige oder überlegene Kosteneffizienz bieten können, insbesondere wenn das Modell klein oder die Batch-Größe begrenzt ist. Dies liegt daran, dass CPUs den Overhead der Datenübertragung zwischen separaten Speicherbereichen vermeiden, der bei der Verwendung diskreter GPUs erforderlich ist. Die Ergebnisse wurden in einem Intel-Whitepaper von Andres Rodrigues und Kollegen mit dem Titel „Lower Numerical Precision Deep Learning Inference and Training“ veröffentlicht.
Software-Ökosystem und Adoption
Die Unterstützung für DL Boost wurde in wichtige Deep-Learning-Frameworks und Compiler-Toolchains integriert. Intels eigenes OpenVINO-Toolkit und die oneAPI Deep Neural Network Library (oneDNN) bieten optimierte Pfade für die Befehle. Drittanbieter-Frameworks, einschließlich TensorFlow und PyTorch, fügten Backend-Unterstützung für AVX-512 VNNI und BF16 hinzu, sodass Entwickler ohne Änderungen an ihren Modellen profitieren können.
Das bfloat16-Format, ursprünglich von Google Brain entwickelt, gewann breitere Akzeptanz in der Branche, wobei auch andere Hardwareanbieter es implementierten. Intels Aufnahme von BF16 in DL Boost half, das Format für x86-Plattformen zu standardisieren und die Interoperabilität zwischen Trainings- und Inferenzsystemen zu erleichtern.
Vergleich mit anderen Beschleunigern
DL Boost konkurriert mit dedizierten KI-Beschleunigern wie AWS Trainium, Groqs Tensor-Streaming-Prozessoren und Graphcores IPUs. Im Gegensatz zu diesen spezialisierten Chips arbeitet DL Boost innerhalb der Allzweck-CPU und vermeidet die Notwendigkeit zusätzlicher Hardware oder komplexer Systemintegration. Dies macht es attraktiv für bestehende Rechenzentren, die bereits x86-Server betreiben.
Für das groß angelegte Training von großen Sprachmodellen bieten dedizierte Beschleuniger jedoch typischerweise einen höheren Rohdurchsatz und eine höhere Speicherbandbreite. DL Boost wird häufiger für Inferenz und für kleinere Trainingsaufgaben verwendet, bei denen die Flexibilität einer CPU von Vorteil ist. Der Kompromiss zwischen Präzision und Geschwindigkeit wird durch das bfloat16-Format gesteuert, das den Speicherverbrauch und die Rechenzeit reduziert, während es in vielen Fällen die Modellqualität bewahrt.
Zukünftige Richtungen
Intel entwickelte DL Boost in nachfolgenden Prozessorgenerationen weiter, fügte fortschrittlichere Befehle hinzu und verbesserte die Unterstützung für aufkommende KI-Arbeitslasten. Das Unternehmen integrierte DL Boost auch in seine Xeon-Skalierbaren Prozessoren, die in Cloud-Umgebungen weit verbreitet sind. Da KI-Modelle komplexer werden, bleibt die Rolle der CPU-basierten Beschleunigung bedeutend, insbesondere für Edge-Computing und Echtzeitanwendungen, bei denen Energieeffizienz und geringe Latenz entscheidend sind.
Der Ansatz spiegelt Bemühungen anderer x86-Anbieter wider, wie AMDs ähnliche Befehlserweiterungen, und zeigt einen breiteren Branchentrend hin zu heterogenem Computing. DL Boost ist Teil von Intels Strategie, im KI-Hardwaremarkt relevant zu bleiben, der zunehmend von spezialisierten Beschleunigern von Unternehmen wie NVIDIA und Qualcomm dominiert wird.