DL Boost é um nome de marketing usado pela Intel para um conjunto de recursos de arquitetura de conjunto de instruções (ISA) na plataforma x86-64, projetado para melhorar o desempenho em tarefas de aprendizado profundo, como treinamento e inferência. Os recursos foram introduzidos com a arquitetura Cascade Lake, que sucedeu a linha de processadores de servidor Skylake-SP. O DL Boost visa cargas de trabalho comuns em aplicações de inteligência artificial, incluindo redes neurais convolucionais e modelos baseados em transformadores, fornecendo aceleração em nível de hardware para operações matemáticas específicas.
A iniciativa reflete uma tendência mais ampla entre fabricantes de chips de adicionar instruções especializadas para cargas de trabalho de aprendizado de máquina, complementando as capacidades de computação de propósito geral. A Intel posicionou o DL Boost como uma forma de reduzir o custo e a latência de inferência e treinamento de IA em servidores x86 padrão, sem exigir aceleradores dedicados como GPUs.
Recursos do Conjunto de Instruções
O DL Boost consiste em dois conjuntos principais de instruções. O primeiro conjunto, AVX-512 VNNI (Instruções Vetoriais de Rede Neural), também conhecido como 4VNNIW ou AVX-VNNI, fornece operações rápidas de multiplicação-acumulação voltadas principalmente para redes neurais que dependem de convolução, como modelos de reconhecimento de imagem. Essas instruções operam em vetores de 512 bits, permitindo múltiplas operações por ciclo de clock.
O segundo conjunto, AVX-512 BF16, introduz suporte ao formato de ponto flutuante bfloat16, uma representação de 16 bits que mantém a faixa de expoente do float32 padrão, mas com precisão de mantissa reduzida. Esse formato é projetado para computação de menor precisão, o que pode acelerar o treinamento e a inferência enquanto mantém uma precisão aceitável do modelo. As instruções incluem conversão entre float32 e bfloat16, bem como operações de produto escalar que combinam múltiplos valores de forma eficiente.
Ambos os conjuntos de recursos estão disponíveis nos processadores Cascade Lake e gerações posteriores, incluindo Ice Lake e produtos subsequentes de servidor e cliente. As instruções são expostas ao software por meio de suporte padrão de compiladores e tempo de execução, permitindo que frameworks como TensorFlow e PyTorch as aproveitem automaticamente.
Desempenho e Benchmarking
Um benchmark baseado em TensorFlow, executado no Google Cloud Platform Compute Engine, demonstrou que o DL Boost pode melhorar o desempenho e reduzir o custo em comparação com CPUs Intel anteriores sem essas instruções. O benchmark mostrou benefícios particularmente para tamanhos de lote pequenos, que são comuns em cenários de inferência em tempo real onde a latência importa mais do que a taxa de transferência.
Em comparação com GPUs, o benchmark indicou que CPUs equipadas com DL Boost poderiam oferecer eficiência de custo competitiva ou superior para certas cargas de trabalho, especialmente quando o modelo é pequeno ou o tamanho do lote é limitado. Isso ocorre porque as CPUs evitam a sobrecarga de transferir dados entre espaços de memória separados, o que é necessário ao usar GPUs discretas. Os resultados foram publicados em um white paper da Intel por Andres Rodrigues e colegas, intitulado "Lower Numerical Precision Deep Learning Inference and Training."
Ecossistema de Software e Adoção
O suporte ao DL Boost foi integrado aos principais frameworks de aprendizado profundo e toolchains de compiladores. O toolkit OpenVINO da própria Intel e a biblioteca oneAPI Deep Neural Network Library (oneDNN) fornecem caminhos otimizados para as instruções. Frameworks de terceiros, incluindo TensorFlow e PyTorch, adicionaram suporte de backend para AVX-512 VNNI e BF16, permitindo que desenvolvedores se beneficiem sem modificar seus modelos.
O formato bfloat16, originalmente desenvolvido pelo Google Brain, ganhou adoção mais ampla na indústria, com outros fornecedores de hardware também o implementando. A inclusão do BF16 no DL Boost pela Intel ajudou a padronizar o formato para plataformas x86, facilitando a interoperabilidade entre sistemas de treinamento e inferência.
Comparação com Outros Aceleradores
O DL Boost compete com aceleradores de IA dedicados, como AWS Trainium, os processadores de streaming tensorial da Groq e as IPUs da Graphcore. Ao contrário desses chips especializados, o DL Boost opera dentro da CPU de propósito geral, evitando a necessidade de hardware adicional ou integração complexa de sistema. Isso o torna atraente para data centers existentes que já executam servidores x86.
No entanto, para treinamento em larga escala de grandes modelos de linguagem, aceleradores dedicados normalmente oferecem maior taxa de transferência bruta e largura de banda de memória. O DL Boost é mais comumente usado para inferência e para tarefas de treinamento menores, onde a flexibilidade de uma CPU é vantajosa. O trade-off entre precisão e velocidade é gerenciado por meio do formato bfloat16, que reduz o uso de memória e o tempo de computação, preservando a qualidade do modelo em muitos casos.
Direções Futuras
A Intel continuou a evoluir o DL Boost em gerações subsequentes de processadores, adicionando instruções mais avançadas e melhorando o suporte para cargas de trabalho emergentes de IA. A empresa também integrou o DL Boost aos seus processadores Xeon Scalable, que são amplamente implantados em ambientes de nuvem. À medida que os modelos de IA crescem em complexidade, o papel da aceleração baseada em CPU permanece significativo, particularmente para computação de borda e aplicações em tempo real, onde eficiência energética e baixa latência são críticas.
A abordagem espelha esforços de outros fornecedores de x86, como as extensões de instruções semelhantes da AMD, e reflete um movimento mais amplo da indústria em direção à computação heterogênea. O DL Boost faz parte da estratégia da Intel para manter relevância no mercado de hardware de IA, que é cada vez mais dominado por aceleradores especializados de empresas como NVIDIA e Qualcomm.