CUDA (Compute Unified Device Architecture) ist eine parallele Rechenplattform und ein Programmiermodell, das von Nvidia entwickelt und erstmals 2006 veröffentlicht wurde. Es ermöglicht Entwicklern, allgemeine Programmcode zu schreiben, der auf Nvidia-GPUs läuft, anstatt nur Code für Grafikdarstellung. Es bot Programmierern einen relativ zugänglichen Weg, die tausenden parallelen Kerne einer GPU für beliebige Berechnungen zu nutzen, und erweiterte Sprachen wie C und C++ um GPU-spezifische Konstrukte.
Geschichte und Zweck
Vor CUDA erforderte die Nutzung einer GPU für nicht-grafische Berechnungen, ein Problem in Form von Grafikoperationen wie Texturen und Shader auszudrücken - ein Workaround, den nur wenige außerhalb der Computergrafik praktikabel fanden. Nvidias Veröffentlichung von CUDA im Jahr 2006 beseitigte diese Hürde, und die Plattform reifte im folgenden Jahrzehnt durch die Übernahme in wissenschaftlichem Rechnen, Computational Finance und, zunehmend ab den frühen 2010er Jahren, in der Deep-Learning-Forschung. Der Erfolg von AlexNet im Jahr 2012, das mit CUDA-beschleunigten GPUs trainiert wurde, demonstrierte das Potenzial des Deep Learnings und trieb einen Investitionsschub in die CUDA-basierte GPU-Trainingsforschung voran, was die Rolle der Plattform in diesem Bereich festigte.
Technische Rolle und Ökosystem
CUDA bietet die Low-Level-Bibliotheken, wie cuDNN für neuronale Netzwerkprimitive und cuBLAS für lineare Algebra, auf denen die meisten Deep-Learning-Frameworks aufbauen. Sowohl PyTorch als auch TensorFlow, die beiden dominierenden Deep-Learning-Frameworks, sind so geschrieben, dass sie effizient auf CUDA laufen, und die große Mehrheit der veröffentlichten Deep-Learning-Forschung und produktiven KI-Systeme Mitte der 2020er Jahre läuft auf CUDA-fähiger Nvidia-Hardware. Dies schuf einen mächtigen Software-Graben: Die Umstellung einer großen KI-Codebasis von Nvidia-GPUs auf Hardware eines Konkurrenten, wie AMDs ROCm-Plattform oder Googles TPU, erfordert in der Regel erheblichen Engineering-Aufwand, da so viel Tooling, von individuellen Forschungscodes bis zu Produktions-Inferenz-Servern, speziell gegen CUDA geschrieben und optimiert ist.
Bedeutung und Kritik
CUDA wird weithin, zusammen mit der GPU-Hardware selbst, als entscheidender Faktor für Nvidias Dominanz im KI-Hardwaremarkt während des KI-Booms der 2020er Jahre angesehen, da es für Wettbewerber schwierig ist, Nvidias Position allein durch vergleichbare Hardwareleistung zu verdrängen, angesichts des großen Teils des Software-Ökosystems, von Forschungsbibliotheken bis zu Large-Language-Model-Trainingsframeworks, das voraussetzt, dass CUDA verfügbar ist. Kritiker dieser Dynamik, darunter konkurrierende Chiphersteller und einige KI-Labore, haben CUDA als proprietären Lock-in-Mechanismus beschrieben, der Kosten erhöht und die Hardwareauswahl in der gesamten Branche einschränkt, und haben offene Alternativen unterstützt, wie OpenAIs Triton-Sprache, die darauf abzielt, das Schreiben von GPU-Code, der über Anbieter hinweg portabel ist, zu erleichtern. Trotz dieser Bemühungen blieb CUDA bis 2025 die Standardannahme, die den meisten Deep-Learning-Software zugrunde liegt, von akademischem Forschungscode bis zur Infrastruktur, die Foundation-Modelle an der Spitze betreibt.