Uma unidade de processamento gráfico (GPU) é um processador especializado originalmente projetado para renderizar imagens e vídeos, executando muitos cálculos simples em paralelo. Essa mesma arquitetura - milhares de núcleos pequenos executando a mesma operação em diferentes conjuntos de dados simultaneamente - mostrou-se extremamente adequada à matemática de matrizes e vetores subjacente às redes neurais, e as GPUs tornaram-se o hardware dominante para treinar e executar modelos de aprendizado profundo.
Por que as GPUs são adequadas para IA
Treinar uma rede neural envolve multiplicação e adição repetidas de grandes matrizes, operações que podem ser divididas em muitas partes independentes e executadas simultaneamente. Uma unidade central de processamento tem um pequeno número de núcleos poderosos otimizados para tarefas sequenciais e de propósito geral; uma GPU tem milhares de núcleos mais simples otimizados exatamente para esse tipo de aritmética paralela e repetitiva. Essa disparidade tornou as GPUs, originalmente construídas para a tarefa paralela de calcular cores de pixels em uma tela, muito mais rápidas que as CPUs nos cálculos de descida de gradiente usados no treinamento e nas multiplicações de matrizes usadas na inferência.
História
A Nvidia, fundada em 1993, estabeleceu a categoria moderna de GPUs com suas placas gráficas de consumo e, em 2006, abriu as GPUs para computação de propósito geral com o CUDA, uma plataforma de programação que permitiu aos desenvolvedores escrever código não gráfico para os núcleos paralelos da GPU. O ponto de virada para a IA veio em 2012, quando o AlexNet, treinado em duas GPUs Nvidia GTX 580, venceu a competição ImageNet por ampla margem, demonstrando que o aprendizado profundo acelerado por GPU poderia superar dramaticamente os métodos anteriores de visão computacional e desencadeando uma mudança no campo em direção ao treinamento com GPU. A Nvidia posteriormente construiu uma linha de GPUs para data centers especificamente para IA, incluindo a V100 (2017), A100 (2020), H100 (2022) e chips da geração Blackwell (2024), cada uma substancialmente mais rápida que a anterior na matemática de matrizes de baixa precisão usada no aprendizado profundo.
Mercado e impacto
No boom da IA do início a meados da década de 2020, a demanda pelas GPUs de data center da Nvidia, impulsionada pelas necessidades computacionais do treinamento de grandes modelos de linguagem e outros modelos de base, tornou a Nvidia brevemente a empresa pública mais valiosa do mundo, com chips como o H100 em escassez persistente. Isso consolidou a posição da Nvidia como fornecedora dominante de hardware de treinamento de IA, reforçada pelo status do CUDA como o padrão de software de facto para o qual a maioria dos frameworks de IA, incluindo PyTorch e TensorFlow, são otimizados. Concorrentes, incluindo AMD, Intel e aceleradores personalizados como o TPU do Google, desafiaram o domínio da Nvidia, e os principais laboratórios de IA têm cada vez mais projetado seus próprios chips, mas em 2025 as GPUs, e as da Nvidia em particular, permaneceram o principal motor do treinamento de IA em larga escala e um gargalo frequente e fator de custo para a indústria, provocando controles de exportação pelo governo dos Estados Unidos que restringem as vendas de seus chips mais avançados para a China.