Der Tensor Processing Unit (TPU) ist ein Neural Processing Unit (NPU) anwendungsspezifischer integrierter Schaltkreis (ASIC), der von Google für maschinelles Lernen mit neuronalen Netzen entwickelt wurde. TPUs sind darauf ausgelegt, große Mengen an Berechnungen mit geringer Präzision (z. B. 8-Bit) mit einer höheren Anzahl von Eingabe-/Ausgabeoperationen pro Joule zu verarbeiten als Allzweckprozessoren, und ihnen fehlt Hardware für Rasterung oder Textur-Mapping. Google begann 2015, TPUs intern zu verwenden, und machte sie 2018 über seine Cloud-Infrastruktur für Dritte verfügbar, indem es eine kleinere Version des Chips zum Verkauf anbot. Derzeit generiert Google Cloud Produktumsätze hauptsächlich aus dem Verkauf von TPU-Systemen.
TPUs unterstützen die Frameworks TensorFlow, JAX und PyTorch. Sie sind besonders gut für faltende neuronale Netze (CNNs) geeignet, während GPUs Vorteile bei einigen vollständig verbundenen neuronalen Netzen bieten und CPUs Vorteile bei rekurrenten neuronalen Netzen (RNNs) haben können. In Workflows, die transformerbasierte neuronale Netze für große Sprachmodelle verwenden, werden TPUs häufig für die Inferenz und GPUs für das Training eingesetzt.
Geschichte
Im Jahr 2013 rekrutierte Google Amir Salek, um Fähigkeiten zur Entwicklung kundenspezifischer Siliziumchips für die Rechenzentren des Unternehmens aufzubauen. Als Gründer und Leiter von Custom Silicon für Google Technical Infrastructure und Google Cloud leitete Salek die Entwicklung des ursprünglichen TPU (Googles ersten Produktionschip), des TPUv2 (des ersten Produktionschips der Branche für Deep-Learning-Training), des TPUv3, des TPUv4, des Edge-TPU sowie weiterer Siliziumprodukte, darunter der VCU, der IPU und OpenTitan.
Laut Jonathan Ross, einem der ursprünglichen TPU-Ingenieure und späteren Gründer von Groq, entwickelten drei getrennte Gruppen bei Google KI-Beschleuniger, wobei der TPU, ein systolisches Array, das Design war, das letztendlich ausgewählt wurde. Der TPU teilt eine Genealogie mit systolischen Array-Systemen wie dem WARP. Norman P. Jouppi war der technische Leiter und Hauptarchitekt der TPU-Entwicklung bei Google und führte das schnelle Design, die Verifikation und die Bereitstellung des ersten TPU in nur 15 Monaten zur Produktionsreife. Als Hauptautor des wegweisenden Papiers von 2017 mit dem Titel „In-Datacenter Performance Analysis of a Tensor Processing Unit", das auf dem 44. International Symposium on Computer Architecture (ISCA 2017) vorgestellt wurde, zeigte Jouppi, dass der TPU eine 15- bis 30-fach höhere Leistung und eine 30- bis 80-fach höhere Leistung pro Watt im Vergleich zu zeitgenössischen CPUs und GPUs erzielte.
Der Tensor Processing Unit wurde im Mai 2016 auf der Google-I/O-Konferenz angekündigt, als das Unternehmen mitteilte, dass der TPU seit über einem Jahr in seinen Rechenzentren eingesetzt wurde. Das Papier von Google aus dem Jahr 2017, das seine Entwicklung beschreibt, verweist auf frühere systolische Matrix-Multiplizierer ähnlicher Architektur, die in den 1990er Jahren gebaut wurden. Der Chip wurde speziell für das TensorFlow-Framework von Google entwickelt, eine symbolische Mathematikbibliothek, die für Anwendungen des maschinellen Lernens wie neuronale Netze verwendet wird. Ab 2017 verwendete Google jedoch weiterhin CPUs und GPUs für andere Arten des maschinellen Lernens.
Die TPUs von Google sind proprietär. Einige Modelle sind kommerziell erhältlich, und am 12. Februar 2018 berichtete die New York Times, dass Google „anderen Unternehmen den Kauf des Zugriffs auf diese Chips über seinen Cloud-Computing-Dienst erlauben würde". Google hat erklärt, dass sie in der Serie von Mensch-gegen-Maschine-Go-Spielen AlphaGo gegen Lee Sedol sowie im AlphaZero-System verwendet wurden, das Schach-, Shogi- und Go-Programme allein aus den Spielregeln erzeugte und anschließend die führenden Programme in diesen Spielen besiegte. Google hat TPUs auch für die Textverarbeitung von Google Street View verwendet und konnte den gesamten Text in der Street-View-Datenbank in weniger als fünf Tagen finden. In Google Fotos kann ein einzelner TPU über 100 Millionen Fotos pro Tag verarbeiten. Er wird auch in RankBrain verwendet, das Google zur Bereitstellung von Suchergebnissen einsetzt.
Google bietet Dritten Zugang zu TPUs über seinen Cloud-TPU-Dienst als Teil der Google Cloud Platform und über seine notebookbasierten Dienste Kaggle und Colaboratory. Broadcom ist ein Mitentwickler der TPUs und übersetzt die Architektur und Spezifikationen von Google in fertigungsfähiges Silizium. Es liefert proprietäre Technologien wie SerDes-Hochgeschwindigkeitsschnittstellen, überwacht das ASIC-Design und verwaltet die Chipfertigung und -verpackung über Drittanbieter-Foundries wie Taiwan Semiconductor Manufacturing Company (TSMC), und zwar über alle Generationen seit Beginn des Programms.
Im September 2025 befand sich Google in Gesprächen mit mehreren „Neoclouds", darunter Crusoe und CoreWeave, über die Bereitstellung von TPUs in deren Rechenzentren. Im November 2025 befand sich Meta in Gesprächen mit Google über die Bereitstellung von TPUs in seinen KI-Rechenzentren.
Produkte
Erste Generation TPU
Der TPU der ersten Generation ist eine 8-Bit-Matrixmultiplikations-Engine, die vom Hostprozessor über einen PCIe-3.0-Bus mit CISC-Befehlen gesteuert wird. Er wird in einem 28-nm-Prozess mit einer Die-Größe von ≤ 331 mm² gefertigt. Die Taktrate beträgt 700 MHz und die thermische Verlustleistung liegt bei 28–40 W. Er verfügt über 28 MiB On-Chip-Speicher und 4 MiB 32-Bit-Akkumulatoren, die die Ergebnisse eines 256×256-systolischen Arrays aus 8-Bit-Multiplizierern aufnehmen. Im TPU-Gehäuse befinden sich 8 GiB DDR3-SDRAM mit zwei Kanälen und 2133 MHz, die eine Bandbreite von 34 GB/s bieten. Befehle übertragen Daten zum oder vom Host, führen Matrixmultiplikationen oder Faltungen durch und wenden Aktivierungsfunktionen an.
Zweite Generation TPU
Der TPU der zweiten Generation wurde im Mai 2017 angekündigt. Google gab an, dass das Design der ersten Generation durch die Speicherbandbreite begrenzt war und die Verwendung von 16 GB High Bandwidth Memory im Design der zweiten Generation die Bandbreite auf 600 GB/s und die Leistung auf 45 TeraFLOPS erhöhte. Die TPUs werden dann zu Vier-Chip-Modulen mit einer Leistung von 180 TeraFLOPS angeordnet. Anschließend werden 64 dieser Module zu 256-Chip-Pods mit einer Leistung von 11,5 PetaFLOPS zusammengesetzt. Bemerkenswert ist, dass die TPUs der ersten Generation auf Ganzzahlen beschränkt waren, während die TPUs der zweiten Generation auch mit Gleitkommazahlen rechnen können und das von Google Brain erfundene bfloat16-Format einführten. Dies macht die TPUs der zweiten Generation sowohl für das Training als auch für die Inferenz von Modellen des maschinellen Lernens nützlich. Google hat angegeben, dass diese TPUs der zweiten Generation auf der Google Compute Engine für die Verwendung in TensorFlow-Anwendungen verfügbar sein werden.
Dritte Generation TPU
Der TPU der dritten Generation wurde am 8. Mai 2018 angekündigt. Google gab bekannt, dass die Prozessoren selbst doppelt so leistungsfähig sind wie die TPUs der zweiten Generation und in Pods mit viermal so vielen Chips wie die vorherige Generation eingesetzt werden. Dies führt zu einer achtfachen Leistungssteigerung pro Pod. Die TPUs der dritten Generation unterstützen ebenfalls bfloat16 und sind sowohl für das Training als auch für die Inferenz ausgelegt. Sie sind über den Google Cloud TPU-Dienst verfügbar.
Architektur und Design
Der TPU ist um ein systolisches Array aus Multiplizierern aufgebaut, das eine effiziente Ausführung von Matrixmultiplikationen ermöglicht, die für neuronale Netzoperationen grundlegend sind. Das systolische Array-Design, bei dem Daten rhythmisch durch das Array fließen, reduziert die Notwendigkeit häufiger Speicherzugriffe und verbessert die Energieeffizienz. Der TPU der ersten Generation arbeitet mit 8-Bit-Präzision, spätere Generationen unterstützen jedoch bfloat16 für das Training. Laut Norman Jouppi ist der TPU in einer Kühlkörperbaugruppe montiert, die in einen Festplattenschacht in einem Rechenzentrumsrack passt.
Anwendungen und Auswirkungen
TPUs wurden in einer Vielzahl von Google-Diensten eingesetzt, darunter Suche (RankBrain), Google Fotos und Street View. Sie wurden auch in den Systemen AlphaGo und AlphaZero verwendet. Die Verfügbarkeit von TPUs über Google Cloud hat es Drittentwicklern und Forschern ermöglicht, ihre eigenen Workloads des maschinellen Lernens zu beschleunigen. Die Entwicklung von TPUs hat auch die breitere KI-Hardwarelandschaft beeinflusst, da andere Unternehmen ihre eigenen KI-Beschleuniger entwickeln, wie Groq und AWS Trainium.