Dataflow é uma arquitetura de computação desenvolvida pela SambaNova Systems para acelerar cargas de trabalho de inteligência artificial. Diferentemente dos designs de processadores convencionais que executam instruções sequencialmente, o Dataflow organiza a computação como um grafo direcionado, onde os dados fluem continuamente através de uma rede de elementos de processamento. Essa abordagem é adaptada para as operações estruturadas e repetitivas encontradas em modelos de aprendizado profundo, como redes neurais e modelos de linguagem de grande porte. A arquitetura é implementada no hardware personalizado da SambaNova, incluindo os sistemas DataScale e a série SN10 de unidades de fluxo de dados reconfiguráveis (RDUs).
A arquitetura Dataflow surgiu de pesquisas na Universidade de Stanford e foi comercializada pela SambaNova, fundada em 2017 por Kunle Olukotun, Christopher Ré e Rodrigo Liang. O primeiro produto da empresa, o DataScale SN10, foi anunciado em 2020 e começou a ser enviado em 2021. A arquitetura foi projetada para resolver o gargalo de largura de banda de memória que limita os sistemas tradicionais baseados em GPU, os quais frequentemente gastam energia significativa movendo dados entre a memória e as unidades de computação. Ao manter os dados no chip e transmiti-los através de uma malha configurável, o Dataflow visa alcançar maior utilização e menor latência para inferência e treinamento de IA.
Princípios de Design
O princípio central do Dataflow é eliminar o gargalo de von Neumann ao desacoplar a computação da busca e decodificação de instruções. Em uma CPU ou GPU convencional, cada operação requer buscar uma instrução, decodificá-la e, em seguida, executá-la sobre dados obtidos da memória. O Dataflow, em vez disso, compila o modelo inteiro em um grafo de fluxo de dados estático, onde cada nó representa uma operação matemática (como multiplicação de matrizes ou ativação) e cada aresta representa uma dependência de dados. O grafo é então mapeado em uma grade de elementos de processamento (PEs), cada um com sua própria memória local e unidades aritméticas.
Cada PE na arquitetura Dataflow pode realizar uma variedade de operações, incluindo multiplicação-acumulação, funções de ativação e pooling. Os PEs são interconectados por uma rede de alta largura de banda e baixa latência que suporta comunicação tanto entre vizinhos próximos quanto de longo alcance. A configuração dessa rede é determinada em tempo de compilação, permitindo que o hardware seja especializado para cada modelo específico. Essa reconfigurabilidade é um diferencial chave em relação a aceleradores de função fixa, como o AWS Trainium ou o processador de fluxo de tensores da Groq, que também usam princípios de fluxo de dados, mas com diferentes trade-offs.
Compilação e Pilha de Software
A SambaNova fornece uma pilha de software chamada SambaFlow, que compila modelos escritos em frameworks como PyTorch e TensorFlow em grafos de fluxo de dados. O compilador realiza várias otimizações, incluindo fusão de operadores, otimização de layout de memória e pipelining. Ele também lida com o mapeamento do grafo na grade física de PEs, equilibrando recursos de computação e memória. O SambaFlow suporta tanto treinamento quanto inferência, e inclui um runtime que gerencia o movimento de dados e a sincronização.
O processo de compilação é estático, o que significa que o grafo é totalmente determinado antes do início da execução. Isso permite que o compilador agende operações com precisão e evite overhead em tempo de execução. No entanto, também significa que o fluxo de controle dinâmico, como loops com número variável de iterações, deve ser desenrolado ou tratado por mecanismos especiais. A SambaNova estendeu seu compilador para suportar modelos de transformadores, que são a base da maioria dos sistemas modernos de IA generativa, otimizando mecanismos de atenção e camadas feed-forward.
Implementação de Hardware
O SN10 RDU, introduzido em 2020, contém 40 bilhões de transistores e é fabricado usando um processo de 7 nanômetros na TSMC. Ele possui 48 GB de SRAM no chip, distribuída pela grade de PEs. O chip opera a uma velocidade de clock de cerca de 1,2 GHz, mas seu desempenho é medido em termos de throughput de fluxo de dados, em vez de taxa de clock bruta. A SambaNova afirma que um único SN10 pode fornecer até 638 teraflops de computação para modelos esparsos e 125 teraflops para modelos densos, embora esses números dependam da carga de trabalho.
O sistema DataScale integra múltiplos chips SN10 em um único chassi, com até 16 RDUs por sistema. Esses sistemas são conectados por uma interconexão de alta velocidade que suporta comunicação peer-to-peer. Gerações posteriores, como SN30 e SN40, aumentaram a capacidade de memória e computação, com o SN40 introduzido em 2023 apresentando 1,5 TB de memória no chip e suporte para modelos com até 5 trilhões de parâmetros. O hardware também inclui unidades especializadas para poda e esparsidade, que podem pular computações de valores zero para melhorar a eficiência.
Características de Desempenho
Os sistemas Dataflow são particularmente eficazes para cargas de trabalho de inferência, onde o mesmo modelo é executado repetidamente com diferentes entradas. A programação estática permite latência previsível, e a memória no chip reduz a necessidade de acessar DRAM externa. Em benchmarks publicados pela SambaNova, o DataScale SN10 alcança maior throughput do que GPUs NVIDIA A100 para vários modelos populares, incluindo BERT e GPT-3, consumindo menos energia. No entanto, benchmarks independentes têm sido limitados, e o desempenho real pode variar dependendo do modelo e do tamanho do lote.
Para treinamento, o Dataflow enfrenta desafios devido à necessidade de atualizações frequentes de pesos e à natureza dinâmica do cálculo de gradientes. A SambaNova abordou isso suportando paralelismo de dados e de modelo, onde múltiplas RDUs trabalham em diferentes partes do modelo. O compilador pode fazer pipelining das passagens forward e backward para sobrepor computação e comunicação. Apesar desses esforços, o desempenho de treinamento tem sido menos competitivo do que o de inferência, e muitos clientes usam o Dataflow principalmente para implantação.
Comparação com Outras Arquiteturas
O Dataflow é frequentemente comparado com a IPU da Graphcore, que também usa um design de muitos núcleos com memória no chip. A diferença chave é que a Graphcore usa um modelo de execução mais tradicional baseado em instruções, enquanto o Dataflow é puramente orientado a dados. O processador de fluxo de tensores da Groq é outra arquitetura semelhante a fluxo de dados, mas usa um design mais simples e rígido, sem memória no chip, dependendo em vez disso de transmitir dados através de um grande array de unidades de multiplicação-acumulação. A reconfigurabilidade da SambaNova oferece mais flexibilidade para diferentes formatos de modelo, mas também adiciona complexidade ao compilador.
Em comparação com GPUs da NVIDIA ou AMD, o Dataflow oferece menor latência para lotes pequenos e melhor eficiência energética para inferência. No entanto, as GPUs se beneficiam de um ecossistema de software maduro e suporte mais amplo para frameworks e bibliotecas. A vantagem do Dataflow é mais pronunciada para modelos grandes de transformadores, onde o mecanismo de atenção pode ser mapeado eficientemente na grade de PEs.
Aplicações e Adoção
A SambaNova implantou sistemas Dataflow em vários setores, incluindo governo, saúde e serviços financeiros. Clientes notáveis incluem o Departamento de Energia dos EUA, que usa o sistema para computação científica, e a Oracle Cloud, que oferece hardware da SambaNova como um serviço gerenciado. A arquitetura tem sido usada para tarefas como processamento de linguagem natural, visão computacional e descoberta de medicamentos. Em 2023, a SambaNova introduziu o Samba-1, um modelo de linguagem de grande porte com 1 trilhão de parâmetros, treinado em seus sistemas Dataflow, demonstrando a capacidade da arquitetura para treinamento em larga escala.
A empresa também se concentrou em tornar o Dataflow acessível através de serviços em nuvem, permitindo que clientes aluguem tempo no hardware sem comprá-lo diretamente. Esse modelo foi adotado por empresas que precisam de inferência de IA de alto desempenho, mas não têm recursos para manter infraestrutura dedicada. Até 2024, a SambaNova levantou mais de US$ 1 bilhão em financiamento e continua a iterar em seu hardware e software.
Desafios e Limitações
Um dos principais desafios do Dataflow é a complexidade do compilador. Mapear modelos arbitrários na grade de PEs requer algoritmos sofisticados para particionamento, agendamento e alocação de memória. Essa complexidade pode levar a tempos de compilação mais longos, especialmente para modelos grandes. Além disso, a natureza estática do grafo dificulta o suporte a modelos com formas dinâmicas ou fluxo de controle, que são comuns em algumas aplicações como aprendizado por reforço.
Outra limitação é a falta de suporte do ecossistema em comparação com GPUs. Muitos pesquisadores e desenvolvedores de IA estão familiarizados com CUDA e PyTorch, e podem relutar em adotar uma nova arquitetura que requer um modelo de programação diferente. A SambaNova mitigou isso fornecendo camadas de compatibilidade, mas ainda existem lacunas. A empresa também enfrentou concorrência de players mais estabelecidos, como Google Cloud e AWS, que oferecem seus próprios aceleradores personalizados.
Direções Futuras
A SambaNova continua a evoluir a arquitetura Dataflow, com foco em melhorar a eficiência de treinamento e suportar modelos maiores. A geração SN40 inclui aprimoramentos para computação esparsa e aritmética de precisão mista. A empresa também está explorando o uso do Dataflow para dispositivos de borda, embora o hardware atual seja projetado principalmente para data centers. À medida que os modelos de IA generativa crescem, a demanda por hardware de inferência eficiente provavelmente aumentará, e a abordagem do Dataflow pode se tornar mais atraente.
A pesquisa em arquiteturas de fluxo de dados também está em andamento na academia, com grupos na MIT CSAIL e na Berkeley AI Research explorando ideias semelhantes. Os princípios da computação de fluxo de dados têm uma longa história, remontando à década de 1970, mas foi somente recentemente que avanços na fabricação de chips e na tecnologia de compiladores os tornaram práticos para cargas de trabalho comerciais de IA. O Dataflow da SambaNova representa uma das implementações comerciais mais proeminentes desse conceito, e seu sucesso dependerá de sua capacidade de se adaptar ao cenário de IA em rápida mudança.
Conclusão
O Dataflow é uma abordagem distinta para aceleração de IA que prioriza a eficiência do movimento de dados e a reconfigurabilidade. Ao mapear modelos em uma grade de elementos de processamento com memória no chip, ele oferece uma alternativa atraente às GPUs tradicionais para tarefas de inferência. Embora enfrente desafios em complexidade de compilador e adoção do ecossistema, suas vantagens de desempenho para modelos de linguagem de grande porte atraíram investimentos significativos e interesse de clientes. À medida que os modelos de IA continuam a crescer, os princípios subjacentes ao Dataflow podem se tornar cada vez mais relevantes para a indústria de computação em geral.