Une unité de traitement graphique (GPU) est un processeur spécialisé, conçu à l'origine pour rendre des images et des vidéos en effectuant de nombreux calculs simples en parallèle. Cette même architecture - des milliers de petits cœurs exécutant la même opération sur différentes données simultanément - s'est révélée extrêmement adaptée aux calculs matriciels et vectoriels qui sous-tendent les réseaux de neurones, et les GPU sont devenus le matériel dominant pour l'entraînement et l'exécution des modèles de apprentissage profond.
Pourquoi les GPU conviennent à l'IA
L'entraînement d'un réseau de neurones implique des multiplications et des additions répétées de grandes matrices, des opérations qui peuvent être décomposées en de nombreuses parties indépendantes et exécutées simultanément. Une unité centrale de traitement possède un petit nombre de cœurs puissants optimisés pour des tâches séquentielles et généralistes ; un GPU possède des milliers de cœurs plus simples optimisés précisément pour ce type d'arithmétique parallèle et répétitive. Cet écart a rendu les GPU, initialement conçus pour la tâche parallèle de calcul des couleurs de pixels sur un écran, bien plus rapides que les CPU pour les calculs de descente de gradient utilisés lors de l'entraînement et pour les multiplications matricielles utilisées en inférence.
Histoire
Nvidia, fondée en 1993, a établi la catégorie moderne des GPU avec ses cartes graphiques grand public, puis a ouvert les GPU au calcul généraliste en 2006 avec CUDA, une plateforme de programmation permettant aux développeurs d'écrire du code non graphique pour les cœurs parallèles du GPU. Le tournant pour l'IA est survenu en 2012, lorsque AlexNet, entraîné sur deux GPU Nvidia GTX 580, a remporté la compétition ImageNet avec une large avance, démontrant que l'apprentissage profond accéléré par GPU pouvait surpasser nettement les méthodes de vision par ordinateur antérieures et déclenchant un basculement du domaine vers l'entraînement sur GPU. Nvidia a ensuite développé une gamme de GPU de centre de données spécifiquement dédiés à l'IA, notamment le V100 (2017), l'A100 (2020), le H100 (2022) et les puces de la génération Blackwell (2024), chacun étant nettement plus rapide que le précédent pour les calculs matriciels en basse précision utilisés en apprentissage profond.
Marché et impact
Au moment du boom de l'IA du début et du milieu des années 2020, la demande pour les GPU de centre de données de Nvidia, alimentée par les besoins en calcul de l'entraînement des grands modèles de langage et d'autres modèles de fondation, a fait de Nvidia brièvement l'entreprise publique la plus valorisée au monde, avec des puces comme le H100 en pénurie persistante. Cela a renforcé la position de Nvidia comme fournisseur dominant du matériel d'entraînement en IA, consolidée par le statut de CUDA comme standard logiciel de facto pour lequel la plupart des frameworks d'IA, y compris PyTorch et TensorFlow, sont optimisés. Des concurrents, dont AMD, Intel, et des accélérateurs personnalisés comme le TPU de Google, ont contesté la domination de Nvidia, et les grands laboratoires d'IA ont de plus en plus conçu leurs propres puces, mais en 2025, les GPU, et ceux de Nvidia en particulier, restaient le moteur principal de l'entraînement à grande échelle en IA et un goulot d'étranglement et un facteur de coût fréquent pour l'industrie, incitant le gouvernement des États-Unis à imposer des contrôles à l'exportation restreignant la vente de ses puces les plus avancées à la Chine.