Wormhole é uma família de placas aceleradoras de IA produzida pela Tenstorrent, uma empresa de semicondutores sem fábrica. Essas placas são projetadas para acelerar cargas de trabalho de inteligência artificial e aprendizado de máquina, particularmente modelos de aprendizado profundo, como grandes modelos de linguagem e arquiteturas baseadas em transformadores. A série Wormhole tem como alvo tanto tarefas de inferência quanto de treinamento, oferecendo uma arquitetura escalável que pode ser interligada para implantações maiores. A Tenstorrent posiciona a Wormhole como uma alternativa flexível às GPUs, enfatizando a programabilidade e o foco na computação baseada em fluxo de dados.
A primeira geração, Wormhole, foi anunciada em 2020 e começou a ser enviada em 2021. Foi seguida pela Wormhole n150 em 2023, uma versão de placa única, e pela Wormhole n300, uma configuração de placa dupla. Essas placas posteriores são construídas em um processo de 6nm e apresentam um processador de controle baseado em RISC-V. A arquitetura é projetada para lidar com operações de tensores esparsos e densos de forma eficiente, com foco na redução de gargalos de memória comuns em designs tradicionais de GPU.
Arquitetura e Design
O acelerador Wormhole é construído em torno de uma grade de núcleos Tensix, cada um contendo uma CPU RISC-V, uma unidade de multiplicação de matrizes e um mecanismo vetorial. Esse design heterogêneo permite a execução flexível de várias operações de redes neurais. Os núcleos são interconectados por meio de uma rede mesh de alta largura de banda e baixa latência, permitindo compartilhamento eficiente de dados e escalabilidade em múltiplos chips. Diferentemente das GPUs, que dependem de um modelo SIMT (Single Instruction, Multiple Thread), a Wormhole usa uma arquitetura de fluxo de dados que pode ser mais eficiente para certas cargas de trabalho, especialmente aquelas com padrões irregulares de acesso à memória.
Cada núcleo Tensix inclui memória dedicada, reduzindo a necessidade de acesso frequente à memória fora do chip. A placa n150 apresenta 72 núcleos Tensix, enquanto a n300 possui 144 núcleos em dois dies. As placas suportam uma variedade de tipos de dados, incluindo FP32, FP16, BF16 e INT8, permitindo flexibilidade de precisão em treinamento e inferência. A arquitetura também inclui uma interface Ethernet dedicada para expansão em sistemas multi-placa, usando um protocolo que suporta acesso direto à memória entre placas.
Desempenho e Especificações
A Wormhole n150 oferece até 100 teraflops de computação FP16 e 200 teraops de computação INT8, com 16 GB de memória GDDR6 fornecendo 256 GB/s de largura de banda. A n300 dobra esses números, oferecendo 200 teraflops de FP16 e 400 teraops de INT8, com 32 GB de memória. O consumo de energia é avaliado em 150W para a n150 e 300W para a n300, tornando-as relativamente eficientes em termos de energia em comparação com alguns aceleradores concorrentes. As placas usam uma interface PCIe Gen 4 x16 para conectividade com o host e podem ser interconectadas via Ethernet para configurações de múltiplas placas.
Em testes de benchmark, a Wormhole mostrou desempenho competitivo em tarefas de inferência de redes neurais, particularmente para modelos baseados em transformadores. A Tenstorrent publicou resultados mostrando escalabilidade linear no desempenho ao adicionar múltiplas placas n150, um recurso importante para implantações em larga escala. As placas também suportam paralelismo de modelo e paralelismo de dados, permitindo o treinamento eficiente de grandes modelos em múltiplos aceleradores.
Pilha de Software
A Tenstorrent fornece uma pilha de software abrangente para a Wormhole, incluindo um driver de baixo nível, uma biblioteca de tempo de execução e frameworks de nível superior. O modelo de programação principal é baseado em uma API C++, mas também há suporte para frameworks populares de aprendizado de máquina. A empresa desenvolveu um compilador personalizado que traduz modelos de frameworks como PyTorch e ONNX em código otimizado para os núcleos Tensix. Esse compilador realiza otimizações de nível de grafo, incluindo fusão de operadores e planejamento de memória, para maximizar o desempenho.
Para usuários familiarizados com programação de GPU, a Tenstorrent oferece um modelo de programação que abstrai alguns dos detalhes de baixo nível, ao mesmo tempo que permite que usuários avançados escrevam kernels personalizados. A pilha de software inclui um depurador e ferramentas de perfilagem para auxiliar no desenvolvimento. A Tenstorrent também fornece uma biblioteca de operadores pré-otimizados para camadas comuns de redes neurais, como atenção multi-cabeça e blocos de redes residuais, que podem ser usados diretamente em modelos.
Ecossistema e Integração
As placas Wormhole estão disponíveis como placas PCIe para estações de trabalho e servidores, bem como em sistemas pré-configurados. A Tenstorrent fez parcerias com integradores de sistemas para oferecer soluções turnkey para pesquisa e produção de IA. As placas também estão disponíveis por meio de provedores de serviços em nuvem, permitindo que os usuários as acessem remotamente. A Tenstorrent desenvolveu um kit de desenvolvimento de software (SDK) que inclui exemplos e tutoriais, com o objetivo de reduzir a curva de aprendizado para novos usuários.
A empresa também criou um fórum comunitário e um portal de documentação, promovendo um ecossistema de desenvolvedores. A Wormhole suporta o padrão painel aberto, que é uma especificação para sistemas modulares de computação, permitindo integração em ambientes de data center heterogêneos. Isso permite que as placas Wormhole sejam combinadas com outros aceleradores, como os da Groq ou SambaNova, em um único sistema.
Casos de Uso e Aplicações
A Wormhole é voltada principalmente para pesquisa e implantação de IA, com foco em modelos de linguagem de grande escala e tarefas de visão computacional. Sua alta largura de banda de memória e arquitetura de fluxo de dados eficiente a tornam adequada para modelos baseados em transformadores, como GPT e BERT. As placas também são usadas em sistemas de recomendação, processamento de linguagem natural e análise de imagem médica.
Além da IA tradicional, a Wormhole está sendo explorada para computação científica, como simulações e análise de dados. Sua programabilidade permite que pesquisadores implementem algoritmos personalizados além das operações padrão de redes neurais. A Tenstorrent também destacou seu uso em cenários de computação de borda, onde a eficiência energética é uma vantagem.
Comparação com Concorrentes
A Wormhole compete com aceleradores de IA de empresas como Nvidia, AMD, Graphcore e Cerebras. Em comparação com as GPUs, a Wormhole oferece um modelo de programação diferente e potencialmente mais eficiente para certas cargas de trabalho, mas tem um ecossistema de software menor. Em relação a chips especializados de IA, o principal diferencial da Wormhole é sua arquitetura de fluxo de dados com um grande número de núcleos, que pode ser mais flexível do que os designs de função fixa de alguns concorrentes.
Em termos de desempenho, a Wormhole é competitiva com GPUs de médio porte, mas fica atrás das ofertas de ponta. No entanto, sua eficiência energética e escalabilidade são pontos fortes. A Tenstorrent também se diferencia por oferecer uma pilha de software aberta, permitindo que os usuários personalizem e otimizem o desempenho para suas cargas de trabalho específicas.
Desenvolvimento e Roadmap Futuro
A Tenstorrent continua a desenvolver a série Wormhole, com atualizações regulares de software e melhorias de hardware. A empresa anunciou planos para futuras gerações de aceleradores, que devem oferecer maior desempenho e eficiência. Embora detalhes específicos não tenham sido divulgados, a Tenstorrent indicou que está trabalhando em recursos como suporte a tipos de dados de baixa precisão e maior escalabilidade. A empresa também está explorando integração com arquiteturas de computação heterogêneas, o que pode ampliar ainda mais os casos de uso da Wormhole.
A Tenstorrent recebeu financiamento significativo e fez parcerias com grandes empresas de tecnologia, posicionando a Wormhole como uma alternativa viável no mercado de aceleradores de IA. A empresa continua a atualizar a pilha de software e a lançar novas versões do hardware, mantendo a compatibilidade com versões anteriores.
Recepção e Impacto
A Wormhole foi bem recebida na comunidade de IA por sua arquitetura inovadora e pela ênfase em programabilidade. Pesquisadores elogiaram seu desempenho em modelos de transformadores e sua eficiência energética. No entanto, alguns usuários notaram que o ecossistema de software é menos maduro em comparação com as GPUs, exigindo mais esforço para integrar com frameworks existentes. Apesar disso, a Tenstorrent tem atualizado ativamente a pilha de software, e a natureza de código aberto de alguns componentes atraiu uma comunidade crescente.
A Wormhole também gerou interesse por seu uso de RISC-V, uma arquitetura de código aberto, o que a diferencia de muitos concorrentes que usam arquiteturas proprietárias. Isso pode ser atraente para organizações que buscam maior controle e personalização de seus sistemas de IA. Além disso, a eficiência energética das placas é um ponto forte, especialmente para implantações em larga escala onde o consumo de energia é uma preocupação significativa.
Roadmap e Desenvolvimento Futuro
A Tenstorrent continua a desenvolver a série Wormhole, com atualizações regulares de software e firmware. A empresa anunciou planos para futuras gerações de aceleradores, construindo sobre a arquitetura da Wormhole. Essas futuras gerações devem oferecer maior desempenho e eficiência, possivelmente integrando novas tecnologias de memória e interconexão. A Tenstorrent também está trabalhando na expansão de seu ecossistema de software, com melhorias contínuas em seus compiladores e bibliotecas.
Além disso, a Tenstorrent está explorando parcerias com provedores de nuvem e integradores de sistemas para ampliar a disponibilidade da Wormhole. A empresa também está envolvida em iniciativas de código aberto, incluindo o desenvolvimento de ferramentas e bibliotecas que podem ser usadas pela comunidade. Essa abordagem de código aberto pode ajudar a acelerar a adoção da Wormhole em diversos setores.
Recepção e Impacto
A Wormhole foi bem recebida na comunidade de IA por seu design inovador e foco em eficiência energética. Especialistas elogiaram sua programabilidade e flexibilidade em comparação com soluções concorrentes. No entanto, alguns usuários notaram que o ecossistema de software ainda está amadurecendo, com menos bibliotecas e ferramentas disponíveis em comparação com plataformas mais estabelecidas. Apesar disso, a Tenstorrent tem sido ativa em abordar essas lacunas, lançando atualizações regulares e expandindo o suporte a frameworks.
O impacto da Wormhole no mercado de IA é significativo, pois representa uma alternativa viável às GPUs tradicionais para certas cargas de trabalho. Sua arquitetura única e foco em eficiência energética a tornam uma opção atraente para organizações que buscam reduzir custos e consumo de energia em implantações de IA. À medida que a demanda por computação de IA continua a crescer, a Wormhole e seus sucessores provavelmente desempenharão um papel cada vez mais importante no ecossistema de hardware de IA.
Referências
A Tenstorrent publicou documentação técnica e benchmarks de desempenho para a série Wormhole em seu site oficial. A empresa também apresentou em conferências do setor, detalhando a arquitetura e as escolhas de design. Várias publicações e análises independentes também examinaram o desempenho e o potencial da Wormhole no mercado de aceleradores de IA.