O TPU v2 é o processador tensor de segunda geração, um circuito integrado de aplicação específica (ASIC) personalizado desenvolvido pelo Google para acelerar cargas de trabalho de aprendizado de máquina em redes neurais. Anunciado em maio de 2017, ele sucedeu o TPU original e introduziu melhorias arquitetônicas significativas, principalmente a capacidade de realizar cálculos de ponto flutuante e a inclusão do formato bfloat16, que foi inventado pelo Google Brain. Isso tornou o TPU v2 adequado tanto para treinamento quanto para inferência de modelos de aprendizado de máquina, ao contrário de seu predecessor, que era limitado a operações com números inteiros. O TPU v2 foi disponibilizado a terceiros por meio do serviço Cloud TPU do Google Cloud, e tem sido amplamente utilizado nos sistemas de produção do próprio Google, incluindo modelos baseados em transformadores e grandes modelos de linguagem.
O TPU v2 foi projetado para resolver as limitações de largura de banda de memória do TPU de primeira geração. Ao incorporar 16 GB de Memória de Alta Largura de Banda (HBM), o design de segunda geração aumentou a largura de banda de memória para 600 GB/s e entregou 45 teraFLOPS de desempenho por chip. Esses chips foram então organizados em módulos de quatro chips, alcançando um desempenho combinado de 180 teraFLOPS. Além disso, 64 desses módulos foram montados em pods de 256 chips, fornecendo 11,5 petaFLOPS de desempenho total. Essa arquitetura escalável permitiu que o Google implantasse sistemas TPU v2 para tarefas de aprendizado de máquina em larga escala, incluindo aquelas que envolvem redes neurais e aprendizado profundo.
Desenvolvimento e História
O desenvolvimento do TPU v2 foi liderado por Amir Salek, que fundou e dirigiu o grupo de Silício Personalizado do Google, e Norman P. Jouppi atuou como líder técnico e arquiteto principal do programa geral de TPU. O TPU original foi implantado em produção em apenas 15 meses, e o v2 se baseou nessa fundação. De acordo com Jonathan Ross, um dos engenheiros originais do TPU e posteriormente fundador da Groq, o design do TPU, que usa uma arquitetura de matriz sistólica, foi selecionado entre três propostas concorrentes de aceleradores de IA no Google. O TPU v2 foi o primeiro chip de treinamento de aprendizado profundo em produção da indústria, marcando um marco no silício personalizado para IA. A Broadcom co-desenvolveu o TPU v2, traduzindo a arquitetura do Google em silício fabricável e gerenciando a fabricação por meio de fundições como a TSMC.
Especificações Técnicas
O TPU v2 é um motor de multiplicação de matrizes que suporta aritmética de números inteiros e de ponto flutuante. Sua principal inovação foi a introdução do formato bfloat16, uma representação de ponto flutuante de 16 bits que fornece uma faixa dinâmica mais ampla do que os formatos tradicionais de 16 bits, exigindo menos memória e largura de banda. Isso o tornou particularmente eficaz para o treinamento de redes neurais profundas. Cada chip TPU v2 contém uma matriz sistólica de multiplicadores e acumuladores, juntamente com 16 GB de HBM fornecendo 600 GB/s de largura de banda. Os chips são interconectados em módulos de quatro chips, e esses módulos são combinados em pods maiores. A configuração de pod de 256 chips entrega 11,5 petaFLOPS, permitindo computação paralela massiva para tarefas como treinar transformadores e outros grandes modelos de linguagem.
Aplicações e Uso
O Google usou sistemas TPU v2 em uma variedade de aplicações de produção. Eles foram empregados na série de partidas de Go entre AlphaGo e Lee Sedol, bem como no sistema AlphaZero, que aprendeu a jogar xadrez, shogi e Go apenas a partir das regras dos jogos. Os TPUs também foram usados para o processamento de texto do Google Street View, permitindo a extração de todo o texto no banco de dados do Street View em menos de cinco dias. No Google Fotos, um único TPU podia processar mais de 100 milhões de fotos por dia. Além disso, os TPUs v2 foram usados no RankBrain, o sistema do Google para fornecer resultados de busca. Por meio do serviço Cloud TPU no Google Cloud, terceiros podiam acessar TPUs v2 para suas próprias cargas de trabalho de aprendizado de máquina, com suporte a frameworks como TensorFlow, JAX e PyTorch.
Comparação com GPUs
Em comparação com GPUs, os TPUs são projetados para computação de alto volume e baixa precisão, com mais operações de entrada/saída por joule. Eles não possuem hardware para rasterização ou mapeamento de texturas, focando em operações de matriz. Os TPUs são bem adequados para redes neurais convolucionais (CNNs), enquanto as GPUs têm benefícios para algumas redes neurais totalmente conectadas, e as CPUs podem ter vantagens para redes neurais recorrentes (RNNs). Em fluxos de trabalho envolvendo redes neurais baseadas em transformadores para grandes modelos de linguagem, os TPUs são frequentemente usados para inferência, enquanto as GPUs são frequentemente usadas para treinamento. Essa divisão de trabalho reflete os diferentes pontos fortes de cada tipo de processador, com os TPUs se destacando nos padrões específicos de computação encontrados em muitos modelos modernos de IA.
Legado e Impacto
O TPU v2 estabeleceu um modelo para as gerações subsequentes do hardware de TPU do Google, incluindo o TPU v3, que foi anunciado em 8 de maio de 2018, com o dobro do desempenho por chip e pods com quatro vezes mais chips. A introdução do bfloat16 teve um impacto duradouro no ecossistema de hardware de IA, influenciando outros designs de aceleradores. Em 2025, o Google Cloud gera receitas significativas de produtos com a venda de sistemas TPU, e o Google está em negociações com várias "neoclouds" e empresas como a Meta sobre a implantação de TPUs em seus data centers. O TPU v2 continua sendo uma plataforma fundamental na história do hardware de inteligência artificial, demonstrando o valor do silício personalizado para o aprendizado de máquina.