Eine Grafikprozessoreinheit (GPU) ist ein spezialisierter Prozessor, der ursprünglich entwickelt wurde, um Bilder und Videos zu rendern, indem er viele einfache Berechnungen parallel durchführt. Dieselbe Architektur – Tausende kleiner Kerne, die gleichzeitig dieselbe Operation auf verschiedenen Datenstücken ausführen – erwies sich als äußerst gut geeignet für die Matrix- und Vektormathematik, die neuronalen Netzen zugrunde liegt, und GPUs wurden zur dominierenden Hardware für das Training und die Ausführung von Deep-Learning-Modellen.
Warum GPUs für KI geeignet sind
Das Training eines neuronalen Netzes beinhaltet wiederholte Multiplikationen und Additionen großer Matrizen, Operationen, die in viele unabhängige Teile zerlegt und gleichzeitig ausgeführt werden können. Eine zentrale Verarbeitungseinheit verfügt über eine kleine Anzahl leistungsstarker Kerne, die für sequenzielle, allgemeine Aufgaben optimiert sind; eine GPU hat Tausende einfacherer Kerne, die genau für diese Art paralleler, repetitiver Arithmetik optimiert sind. Dieser Unterschied machte GPUs, die ursprünglich für die parallele Aufgabe der Berechnung von Pixelfarben über einen Bildschirm gebaut wurden, weitaus schneller als CPUs bei den Gradientenabstiegs-Berechnungen, die beim Training verwendet werden, und bei den Matrixmultiplikationen, die bei der Inferenz verwendet werden.
Geschichte
Nvidia, 1993 gegründet, etablierte mit seinen Consumer-Grafikkarten die moderne GPU-Kategorie und öffnete GPUs 2006 mit CUDA für allgemeine Berechnungen, einer Programmierplattform, die es Entwicklern ermöglichte, Nicht-Grafikcode für die parallelen Kerne der GPU zu schreiben. Der Wendepunkt für KI kam 2012, als AlexNet, trainiert auf zwei Nvidia-GTX-580-GPUs, den ImageNet-Wettbewerb mit großem Abstand gewann und demonstrierte, dass GPU-beschleunigtes Deep Learning frühere Computervisionsmethoden dramatisch übertreffen konnte, was einen Wandel in der gesamten Branche hin zum GPU-Training auslöste. Nvidia baute daraufhin eine Reihe von Rechenzentrums-GPUs speziell für KI, darunter die V100 (2017), A100 (2020), H100 (2022) und Chips der Blackwell-Generation (2024), die jeweils erheblich schneller bei der für Deep Learning verwendeten Niedrigpräzisions-Matrixmathematik waren als ihre Vorgänger.
Markt und Auswirkungen
Bis zum KI-Boom in den frühen bis mittleren 2020er-Jahren machte die Nachfrage nach Nvidias Rechenzentrums-GPUs, angetrieben durch den Rechenbedarf beim Training von großen Sprachmodellen und anderen Foundation-Modellen, Nvidia kurzzeitig zum wertvollsten börsennotierten Unternehmen der Welt, wobei Chips wie die H100 dauerhaft knapp waren. Dies festigte Nvidias Position als dominanter Anbieter von KI-Trainingshardware, verstärkt durch den Status von CUDA als De-facto-Softwarestandard, für den die meisten KI-Frameworks, einschließlich PyTorch und TensorFlow, optimiert sind. Wettbewerber, darunter AMD, Intel und kundenspezifische Beschleuniger wie Googles TPU, haben Nvidias Dominanz herausgefordert, und große KI-Labore haben zunehmend eigene Chips entwickelt, aber bis 2025 blieben GPUs, insbesondere die von Nvidia, der primäre Motor für groß angelegtes KI-Training und ein häufiger Engpass und Kostentreiber für die Branche, was Exportkontrollen der US-Regierung auslöste, die den Verkauf ihrer fortschrittlichsten Chips an China einschränken.