O TPU v1 é o Tensor Processing Unit de primeira geração, um circuito integrado de aplicação específica (ASIC) personalizado desenvolvido pelo Google para acelerar a inferência de redes neurais. Introducido internamente em 2015 e anunciado publicamente em maio de 2016 no Google I/O, foi projetado especificamente para o framework TensorFlow. O chip é um motor de multiplicação de matrizes de matriz sistólica, otimizado para computação de alto volume e baixa precisão, utilizando principalmente inteiros de 8 bits, e foi implantado nos centros de dados do Google para alimentar serviços como busca, Street View e Fotos.
Diferentemente dos processadores de propósito geral, o TPU v1 foi construido para lidar com os padrões computacionais específicos de redes neurais em escala. Sua arquitetura, que compartilha uma genealogía com sistemas de matriz sistólica anteriores como o WARP, foi seleccionada entre três designs concorrentes de aceleradores de IA no Google. O desenvolvimento foi liderado por Norman P. Jouppi como líder técnico e arquitetura principal, com Amir Salek fundando o grupo de silício personalizado do Google em 2013. O chip foi levado do design à produção em apenas 15 meses, um cronograma rápido para um ASIC personalizado.
Arquitectura e Especificações
O TPU v1 é um motor de multiplicação de matrizes de 8 bits, dirigido por instruções de computador de conjunto de instruções complexo (CISC) de um processador host através de um barramento PCIe 3.0. É fabricado em um processo de 28 nm com um tamanão de die de não mais de 331 mm². O chip opera a uma velocidade de reloj de 700 MHz e tem uma potência térmica de design de 28-40 W, sendo altamente eficiente em energia para suas cargas de trabalho previstas.
Componentes clave incluyen 28 MiB de memória no chip e 4 MiB de acumuladores de 32 bits que coletam resultados de uma matriz sistólica de 256×256 de multiplicadores de 8 bits. O pacote contém 8 GiB de SDRAM DDR3 de canal duplo a 2133 MHz, proporcionando 34 GB/s de largura de banda de memória. As instruções manejam a transferência de dados para e desde o host, realizam multiplicações de matrizes ou convoluciones, e aplican funções de activación, cubriendo as operações centrais necessárias para a inferência.
Desempeño e Implantação
Em um artigo seminal de 2017 titulado "In-Datacenter Performance Analysis of a Tensor Processing Unit," apresentado no 44º Simposio Internacional de Arquitectura de Computadores (ISCA 2017), Jouppi e colegas demonstraram que o TPU v1 alcanzava 15-30 vezes maior desempeño e 30-80 vezes maior desempeño por watt que CPUs e GPUs contemporáneos. Isso estabeleceu o chip como uma plataforma fundamental para inferência de redes neurais em escala.
Google implantou TPUs em seus serviços de produção. Para o processamento de texto de Street View de Google, o chip encontrou todo o texto na base de dados em menos de cinco dias. Em Google Fotos, um único TPU podía processar mais de 100 milhões de fotos por día. O chip também alimentou RankBrain, que Google usa para melhorar os resultados de busca, e foi usado nas partidas de Go de AlphaGo contra Lee Sedol e no sistema AlphaZero.
Comparación com GPUs e CPUs
Os TPUs são projetados para computação de alto volume e baixa precisão com mais operações de entrada/saída por joule, sem hardware para rasterização ou mapeamento de texturas. Isso os faz bem adaptados para redes neurais convolucionais (CNNs), que dominan muitas tarefas de inferência. Em contraste, os GPUs têm benefícios para algumas redes neurais totalmente conectadas, e os CPUs podem ter vantagens para redes neurais recorrentes (RNNs).
Diferentes tipos de processadores serven a diferentes modelos de aprendizado de máquina. Para redes neurais baseadas em transformadores usadas em grandes modelos de linguagem, os TPUs são frequentemente usados para inferência enquanto os GPUs são usados para treinamento. Os ASICs TPU são montados em conjuntos de disipadores de calor que podem caber em ranuras de discos duros dentro de racks de centros de dados, facilitando uma implantação densa.
Legado e Impacto
O sucesso do TPU v1 abriu o caminho para generaciones subsequentes, incluindo o TPU v2, que introdujo suporte de ponto flotante bfloat16 para treinamento, e versões posteriores. Broadcom tem servido como co-desarrollador, traduciendo a arquitetura do Google em silício fabricable e gestionando a fabricación através de fundiciones como TSMC. O design do chip influenció o panorama más amplio de aceleradores de IA, com outros vendedores desarrollando produtos similares para mercados embebidos e de robótica.
Google fez os TPUs disponíveis a terceiros através de seu serviço Cloud TPU em Google Cloud Platform em 2018, e através de serviços baseados em notebooks como Kaggle e Colaboratory. O TPU v1 permanece como un hito en hardware de inteligencia artificial, demonstrando o valor de processadores de dominio específico para cargas de trabalho de aprendizado de máquina.