Le TPU v1 est la première génération de Tensor Processing Unit, un circuit intégré spécifique à une application (ASIC) sur mesure développé par Google pour accélérer l'inférence des réseaux neuronaux. Introduit en interne en 2015 et annoncé publiquement en mai 2016 lors de la conférence Google I/O, il a été conçu spécifiquement pour le framework TensorFlow. La puce est un moteur de multiplication matricielle à réseau systolique optimisé pour le calcul à grand volume et à faible précision, utilisant principalement des entiers 8 bits, et a été déployée dans les centres de données de Google pour alimenter des services tels que la recherche, Street View et Photos.
Contrairement aux processeurs à usage général, le TPU v1 a été construit pour gérer les schémas de calcul spécifiques des réseaux neuronaux à grande échelle. Son architecture, qui partage une généalogie avec les systèmes à réseau systolique antérieurs comme le WARP, a été sélectionnée parmi trois conceptions concurrentes d'accélérateurs d'IA chez Google. Le développement a été dirigé par Norman P. Jouppi en tant que responsable technique et architecte principal, avec Amir Salek qui a fondé le groupe de silicium sur mesure de Google en 2013. La puce est passée de la conception à la production en seulement 15 mois, un délai rapide pour un ASIC sur mesure.
Architecture et spécifications
Le TPU v1 est un moteur de multiplication matricielle 8 bits piloté par des instructions de processeur à jeu d'instructions complexe (CISC) provenant d'un processeur hôte via un bus PCIe 3.0. Il est fabriqué sur un processus de 28 nm avec une taille de puce ne dépassant pas 331 mm². La puce fonctionne à une vitesse d'horloge de 700 MHz et a une puissance thermique de conception de 28-40 W, ce qui la rend très économe en énergie pour ses charges de travail prévues.
Les composants clés comprennent 28 Mio de mémoire sur puce et 4 Mio d'accumulateurs 32 bits qui collectent les résultats d'un réseau systolique 256×256 de multiplicateurs 8 bits. Le boîtier contient 8 Gio de SDRAM DDR3 double canal à 2133 MHz, offrant une bande passante mémoire de 34 Go/s. Les instructions gèrent le transfert de données vers et depuis l'hôte, effectuent des multiplications matricielles ou des convolutions, et appliquent des fonctions d'activation, couvrant les opérations de base nécessaires à l'inférence.
Performance et déploiement
Dans un article fondateur de 2017 intitulé « In-Datacenter Performance Analysis of a Tensor Processing Unit », présenté au 44e Symposium international sur l'architecture des ordinateurs (ISCA 2017), Jouppi et ses collègues ont démontré que le TPU v1 atteignait des performances 15 à 30 fois supérieures et une performance par watt 30 à 80 fois supérieure à celles des CPU et GPU contemporains. Cela a établi la puce comme une plateforme fondamentale pour l'inférence de réseaux neuronaux à grande échelle.
Google a déployé des TPU dans ses services de production. Pour le traitement de texte de Street View de Google, la puce a trouvé tout le texte de la base de données en moins de cinq jours. Dans Google Photos, un seul TPU pouvait traiter plus de 100 millions de photos par jour. La puce a également alimenté RankBrain, que Google utilise pour améliorer les résultats de recherche, et a été utilisée dans les matchs de Go AlphaGo contre Lee Sedol et dans le système AlphaZero.
Comparaison avec les GPU et les CPU
Les TPU sont conçus pour le calcul à grand volume et à faible précision avec plus d'opérations d'entrée/sortie par joule, sans matériel pour la rastérisation ou le mappage de textures. Cela les rend bien adaptés aux réseaux neuronaux convolutifs (CNN), qui dominent de nombreuses tâches d'inférence. En revanche, les GPU présentent des avantages pour certains réseaux neuronaux entièrement connectés, et les CPU peuvent avoir des avantages pour les réseaux neuronaux récurrents (RNN).
Différents types de processeurs servent différents modèles d'apprentissage automatique. Pour les réseaux neuronaux à base de transformeurs utilisés dans les grands modèles de langage, les TPU sont souvent utilisés pour l'inférence tandis que les GPU sont utilisés pour l'entraînement. Les ASIC TPU sont montés dans des ensembles de dissipateurs thermiques qui peuvent s'insérer dans les emplacements de disques durs des racks de centres de données, facilitant un déploiement dense.
Héritage et impact
Le succès du TPU v1 a ouvert la voie aux générations suivantes, notamment le TPU v2, qui a introduit le support du nombre flottant bfloat16 pour l'entraînement, et les versions ultérieures. Broadcom a servi de co-développeur, traduisant l'architecture de Google en silicium fabricable et gérant la fabrication via des fonderies comme TSMC. La conception de la puce a influencé le paysage plus large des accélérateurs d'IA, d'autres fournisseurs développant des produits similaires pour les marchés embarqués et de la robotique.
Google a rendu les TPU disponibles à des tiers via son service Cloud TPU sur Google Cloud Platform en 2018, et via des services basés sur des notebooks comme Kaggle et Colaboratory. Le TPU v1 reste une étape marquante dans le matériel d'intelligence artificielle, démontrant la valeur des processeurs spécifiques à un domaine pour les charges de travail de machine learning.