O Tensor Processing Unit (TPU) é um circuito integrado de aplicação específica projetado pelo Google especificamente para acelerar cargas de trabalho de aprendizado de máquina, particularmente as multiplicações de matrizes que estão no cerne do treinamento de redes neurais e da inferência. Diferentemente de uma GPU de propósito geral, uma TPU é construída especificamente para operações de tensor e não é projetada para renderizar gráficos.
História
O Google começou a implantar TPUs internamente em 2015 para acelerar serviços como a classificação de resultados de busca, o reconhecimento de texto do Street View e a avaliação de jogadas do AlphaGo durante suas partidas, e anunciou o chip publicamente em sua conferência I/O de 2016. A primeira geração de TPUs focava em inferência para modelos já treinados; a segunda geração, lançada em 2017, adicionou suporte para treinamento, e o Google disponibilizou TPUs para clientes externos por meio do Google Cloud. Gerações sucessivas, TPU v3 (2018), v4 (2021), v5 (2023) e Trillium (2024), cada uma aumentou o desempenho e a memória, e em meados da década de 2020 as TPUs formavam grandes pods interconectados de milhares de chips usados para treinar os próprios modelos de fundação do Google, incluindo sua família Gemini, além de serem alugadas a clientes externos via Google Cloud.
Design e comparação com GPUs
As TPUs são construídas em torno de uma arquitetura de matriz sistólica, uma grade de elementos de processamento que passam dados a elementos vizinhos em um ritmo fixo, o que é altamente eficiente para as multiplicações de matrizes repetidas usadas em aprendizado profundo, mas muito menos flexível do que uma GPU para computação paralela de propósito geral. Essa especialização confere às TPUs uma vantagem de eficiência por watt e por dólar para treinamento e serviço de redes neurais em larga escala, ao custo de serem menos adaptáveis a cargas de trabalho não relacionadas a tensores. Enquanto as GPUs da Nvidia rodam na plataforma de software amplamente adotada CUDA, as TPUs são programadas principalmente por meio de TensorFlow e, posteriormente, PyTorch e JAX, a biblioteca de computação numérica do próprio Google, o que lhes confere um ecossistema de software menor, mas em crescimento.
Significância
As TPUs representam um dos exemplos mais claros de um grande laboratório de IA integrando verticalmente o design de seus próprios chips, em vez de depender exclusivamente de silício comercial de fornecedores como a Nvidia, uma estratégia posteriormente ecoada por outras empresas que projetam aceleradores de IA personalizados, como o Trainium da Amazon e o MTIA da Meta, à medida que a demanda por capacidade de treinamento e inferência de modelos de linguagem de grande porte cresceu durante o boom da IA dos anos 2020. Como as TPUs estão disponíveis principalmente por meio do Google Cloud, em vez de serem vendidas como hardware autônomo, elas mantiveram uma participação menor no mercado geral de aceleradores de IA do que as GPUs, mas sustentam a infraestrutura interna de IA do Google, incluindo execuções de treinamento para seus maiores modelos, e são citadas pelo Google como um motivo-chave para competir com rivais que dependem mais fortemente do fornecimento externo de GPUs.