A Unidade de Processamento Tensor (TPU) é um circuito integrado de aplicação específica (ASIC) de unidade de processamento neural (NPU) desenvolvido pela Google para aprendizado de máquina de redes neurais. As TPUs são projetadas para lidar com altos volumes de computação de baixa precisão (por exemplo, 8 bits) com maior eficiência de operações de entrada/saída por joule do que processadores de propósito geral, e não possuem hardware para rasterização ou mapeamento de texturas. A Google começou a usar TPUs internamente em 2015 e, em 2018, disponibilizou-as para uso de terceiros por meio de sua infraestrutura de nuvem e pela oferta de uma versão menor do chip para venda. Atualmente, o Google Cloud gera receitas de produtos principalmente com a venda de sistemas de TPU.
As TPUs suportam os frameworks TensorFlow, JAX e PyTorch. Elas são particularmente adequadas para redes neurais convolucionais (CNNs), enquanto as GPUs têm benefícios para algumas redes neurais totalmente conectadas, e as CPUs podem ter vantagens para redes neurais recorrentes (RNNs). Em fluxos de trabalho que usam redes neurais baseadas em transformadores para grandes modelos de linguagem, as TPUs são frequentemente usadas para inferência e as GPUs para treinamento.
História
Em 2013, a Google recrutou Amir Salek para estabelecer capacidades de desenvolvimento de silício personalizado para os datacenters da empresa. Como fundador e chefe de Silício Personalizado para a Infraestrutura Técnica do Google e Google Cloud, Salek liderou o desenvolvimento da TPU original (o primeiro chip de produção da Google), da TPUv2 (o primeiro chip de treinamento de aprendizado profundo de produção da indústria), da TPUv3, da TPUv4, da Edge-TPU e de outros produtos de silício, incluindo o VCU, o IPU e o OpenTitan.
De acordo com Jonathan Ross, um dos engenheiros originais da TPU e posteriormente fundador da Groq, três grupos separados na Google estavam desenvolvendo aceleradores de IA, sendo a TPU, um array sistólico, o design que foi finalmente selecionado. A TPU compartilha uma genealogia com sistemas de array sistólico, incluindo o WARP. Norman P. Jouppi atuou como líder técnico e arquiteto principal do desenvolvimento da TPU na Google, liderando o rápido design, verificação e implantação da primeira TPU em produção em apenas 15 meses. Como autor principal do artigo seminal de 2017 "In-Datacenter Performance Analysis of a Tensor Processing Unit", apresentado no 44º Simpósio Internacional de Arquitetura de Computadores (ISCA 2017), Jouppi demonstrou que a TPU alcançou desempenho 15–30 vezes maior e 30–80 vezes maior desempenho por watt do que CPUs e GPUs contemporâneas.
A unidade de processamento tensor foi anunciada em maio de 2016 na conferência Google I/O, quando a empresa disse que a TPU havia sido usada em seus datacenters por mais de um ano. O artigo de 2017 da Google descrevendo sua criação cita multiplicadores de matriz sistólicos anteriores de arquitetura semelhante construídos na década de 1990. O chip foi especificamente projetado para o framework TensorFlow da Google, uma biblioteca de matemática simbólica usada para aplicações de aprendizado de máquina, como redes neurais. No entanto, a partir de 2017, a Google ainda usava CPUs e GPUs para outros tipos de aprendizado de máquina.
As TPUs da Google são proprietárias. Alguns modelos estão comercialmente disponíveis e, em 12 de fevereiro de 2018, o The New York Times relatou que a Google "permitiria que outras empresas comprassem acesso a esses chips por meio de seu serviço de computação em nuvem". A Google disse que eles foram usados na série de jogos de Go humano versus máquina AlphaGo contra Lee Sedol, bem como no sistema AlphaZero, que produziu programas de xadrez, shogi e Go a partir apenas das regras dos jogos e passou a derrotar os principais programas desses jogos. A Google também usou TPUs para o processamento de texto do Google Street View e conseguiu encontrar todo o texto no banco de dados do Street View em menos de cinco dias. No Google Fotos, uma TPU individual pode processar mais de 100 milhões de fotos por dia. Ela também é usada no RankBrain, que a Google usa para fornecer resultados de pesquisa.
A Google fornece acesso a TPUs a terceiros por meio do serviço Cloud TPU, como parte do Google Cloud Platform, e por meio de seus serviços baseados em notebooks, Kaggle e Colaboratory. A Broadcom é codesenvolvedora das TPUs, traduzindo a arquitetura e as especificações da Google em silício fabricável. Ela fornece tecnologias proprietárias, como interfaces de alta velocidade SerDes, supervisionando o design de ASICs e gerenciando a fabricação e a embalagem dos chips por meio de fundições terceirizadas, como a Taiwan Semiconductor Manufacturing Company (TSMC), cobrindo todas as gerações desde o início do programa.
Em setembro de 2025, a Google estava em negociações com várias "neoclouds", incluindo Crusoe e CoreWeave, sobre a implantação de TPUs em seus datacenters. Em novembro de 2025, a Meta estava em negociações com a Google para implantar TPUs em seus datacenters de IA.
Produtos
TPU de Primeira Geração
A TPU de primeira geração é um motor de multiplicação de matrizes de 8 bits, acionado por instruções CISC pelo processador host através de um barramento PCIe 3.0. É fabricada em processo de 28 nm com tamanho de die ≤ 331 mm2. A velocidade do clock é de 700 MHz e possui uma potência de design térmico de 28–40 W. Possui 28 MiB de memória no chip e 4 MiB de acumuladores de 32 bits que recebem os resultados de um array sistólico de 256×256 de multiplicadores de 8 bits. Dentro do pacote da TPU há 8 GiB de SDRAM DDR3 de canal duplo a 2133 MHz, oferecendo 34 GB/s de largura de banda. As instruções transferem dados para ou do host, realizam multiplicações de matrizes ou convoluções e aplicam funções de ativação.
TPU de Segunda Geração
A TPU de segunda geração foi anunciada em maio de 2017. A Google afirmou que o design da TPU de primeira geração era limitado pela largura de banda da memória e que o uso de 16 GB de High Bandwidth Memory no design de segunda geração aumentou a largura de banda para 600 GB/s e o desempenho para 45 teraFLOPS. As TPUs são então organizadas em módulos de quatro chips com desempenho de 180 teraFLOPS. Em seguida, 64 desses módulos são montados em pods de 256 chips com 11,5 petaFLOPS de desempenho. Notavelmente, enquanto as TPUs de primeira geração eram limitadas a inteiros, as TPUs de segunda geração também podem calcular em ponto flutuante, introduzindo o formato bfloat16 inventado pelo Google Brain. Isso torna as TPUs de segunda geração úteis tanto para treinamento quanto para inferência de modelos de aprendizado de máquina. A Google afirmou que essas TPUs de segunda geração estarão disponíveis no Google Compute Engine para uso em aplicações TensorFlow.
TPU de Terceira Geração
A TPU de terceira geração foi anunciada em 8 de maio de 2018. A Google anunciou que os processadores em si são duas vezes mais poderosos que as TPUs de segunda geração e seriam implantados em pods com quatro vezes mais chips que a geração anterior. Isso resulta em um aumento de 8 vezes no desempenho por pod. As TPUs de terceira geração também suportam bfloat16 e são projetadas tanto para treinamento quanto para inferência. Elas estão disponíveis através do serviço Google Cloud TPU.
Arquitetura e Design
A TPU é construída em torno de um array sistólico de multiplicadores, o que permite a execução eficiente de multiplicações de matrizes fundamentais para operações de redes neurais. O design do array sistólico, onde os dados fluem através do array de forma rítmica, reduz a necessidade de acessos frequentes à memória e melhora a eficiência energética. A TPU de primeira geração opera com precisão de 8 bits, mas as gerações posteriores suportam bfloat16 para treinamento. A TPU é montada em um conjunto de dissipador de calor que pode caber em um slot de unidade de disco rígido dentro de um rack de datacenter, de acordo com Norman Jouppi.
Aplicações e Impacto
As TPUs foram usadas em uma variedade de serviços da Google, incluindo busca (RankBrain), Google Fotos e Street View. Elas também foram usadas nos sistemas AlphaGo e AlphaZero. A disponibilidade de TPUs através do Google Cloud permitiu que desenvolvedores e pesquisadores terceiros acelerassem suas próprias cargas de trabalho de aprendizado de máquina. O desenvolvimento das TPUs também influenciou o cenário mais amplo de hardware de IA, com outras empresas desenvolvendo seus próprios aceleradores de IA, como Groq e AWS Trainium.