The Cerebras Wafer Scale Engine (WSE) é um processador de inteligência artificial de grande escala desenvolvido pela Cerebras Systems, uma empresa fundada em 2015 por Andrew Feldman e outros. Diferentemente dos chips convencionais, que são cortados de uma pastilla de silício, o WSE utiliza uma pastilla inteira como um único chip, integrando centenas de milhares de núcleos e uma enorme memória integrada. Este design visa reduzir os gargalos de comunicação e as limitações de memória que afligem os sistemas tradicionais baseados em GPU para cargas de trabalho de aprendizado automático e aprendizado profundo.
A primeira geração, WSE-1, anunciada em 2019, contava com 1,2 trilhões de transistores e 400.000 núcleos otimizados para IA, tornando-o o maior chip já construído na época. A segunda geração, WSE-2, lançada em 2021, dobrou a contagem de transistores a 2,6 trilhões e aumentou a contagem de núcleos a 850.000, além de elevar a memória integrada a 40 gigabytes. Em 2024, Cerebras introdujo o WSE-3, que avançou ainda mais em desempeño e eficiencia, visando o treinamento de modelos de linguagem de grande escala e outras aplicações de IA generativa.
Arquitectura e Design
A arquitectura do WSE é fundamentalmente diferente da dos processadores convencionales. Em lugar de depender de um pequeno número de núcleos potentes, o WSE empacota centenas de milhares de núcleos simples e eficientes em termos energéticos em uma única pastilla. Estes núcleos estão interconectados por uma rede de malla que proporciona uma largura de banda massiva, permitindo que os dados se movam rapidamente entre os núcleos. O WSE também integra uma grande quantidade de memória estática de acesso aleatório (SRAM) diretamente no chip, reduzindo a necessidade de acessar memória externa, que muitas vezes é um gargalo de desempeño em cargas de trabalho de IA.
O design à escala de pastilla elimina a necessidade de empacotamento de chips e comunicação entre chips, que são comuns em sistemas multi-chip. Isto resulta em menor latência e maior rendimento para tarefas intensivas em dados. O WSE é fabricado usando processos semicondutores avançados, com o WSE-2 e o WSE-3 construidos em um processo de 7 nanómetros por TSMC.
Software e Ecosistema
Cerebras desenvolveu uma pilha de software para programar o WSE, incluindo a Plataforma de Software Cerebras (CSoft). CSoft suporta frameworks populares de aprendizado profundo como TensorFlow e PyTorch, permitindo que os desenvolvedores executem modelos existentes com cambios mínimos de código. A plataforma incluye um compilador que mapea os grafos de redes neuronales sobre os núcleos da pastilla, otimizando para desempeño e uso de memória.
A empresa também oferece o Cluster à Escala de Pastilla Cerebras, um sistema que combina múltiples WSEs para escalar o treinamento de modelos muito grandes. Este cluster está diseñado para manejar modelos com trilhões de parámetros, que são comuns em arquitecturas modernas baseadas em transformadores.
Desempeño e Aplicações
O WSE demonstrou vantagens significativas de desempeño tanto em treinamento como em inferencia. Por exemplo, em 2023, Cerebras anunciou que seu sistema CS-2, alimentado pelo WSE-2, podía treinar um modelo de 175 mil milhões de parámetros (similar em escala ao GPT-3) usando uma abordagem simples de paralelismo de datos, sem a necessidade de paralelismo de modelo complexo. Isto foi alcanzado aprovechando a grande memória integrada e a alta largura de banda do WSE.
O desempeño de inferencia também é forte, com o WSE-3 capaz de generar mais de 1.000 tokens por segundo para modelos de linguagem de grande escala, segundo a empresa. Isto o faz adequado para aplicações em tempo real como IA conversacional e generación de código.
O WSE foi adotado por várias organizações, incluindo agências governamentais e instituições de investigación. Por exemplo, o centro de investigación atómica Bhabha na Índia usou sistemas Cerebras para computação científica. Adicionalmente, Cerebras se associou com g42 (uma empresa holding de tecnologia) para construir supercomputadores de IA no Oriente Médio.
Comparação com Outros Chips de IA
O WSE compete com outros processadores de IA especializados, como AWS Trainium de Amazon Web Services, os processadores de streaming de tensores de Groq, e as unidades de fluxo de datos reconfigurables de SambaNova. Diferentemente das GPUs de NVIDIA (que não estão na lista fornecida, mas são um competidor importante), o WSE se concentra em maximizar a memória integrada e minimizar o movimento de datos. Esta abordagem pode ser mais eficiente para certas cargas de trabalho, mas também apresenta desafios em rendimento de fabricação e integração de sistemas.
Comparado com a IPU (Unidade de Processamento de Inteligência) de Graphcore, o WSE oferece uma compensação diferente: mais núcleos, mas menos flexibilidade na programação. O design à escala de pastilla do WSE também o distingue das ofertas de Intel e AMD, que usan empacotamento de chips tradicional com múltiples dies.
Desafios e Limitaciones
Um dos principais desafios do WSE é o rendimento de fabricação. Como a pastilla inteira é usada como um único chip, qualquer defecto na pastilla pode tornar todo o chip inutilizable. Cerebras abordou isto implementando técnicas de redundancia e evitação de defectos, como mapear ao redor de núcleos defectuosos. No entanto, isto ainda limita o tamaño máximo e aumenta o custo.
Outra limitación é o consumo de energía e a refrigeración. O WSE-2 consume até 15 kilovatios de potencia, requerindo soluções de refrigeración especializadas. Cerebras usa um sistema de refrigeración líquida personalizado para disipar o calor de forma efectiva.
A compatibilidade de software também é uma preocupación. Embora CSoft suporte frameworks populares, algumas funcionalidades avançadas ou operações personalizadas podem não estar completamente otimizadas. A empresa continua expandindo seu ecosistema de software para melhorar a usabilidade.
Direcciones Futuras
Cerebras continua evolucionando a arquitectura do WSE. O WSE-3, anunciado em 2024, está diseñado para suportar modelos ainda maiores e tempos de treinamento más rápidos. A empresa também está explorando aplicações além da IA, como simulações científicas e computação de alto desempeño.
Em 2024, Cerebras apresentou uma solicitud de oferta pública inicial (IPO), indicando planos de expansión. A empresa visa competir más directamente com os jugadores estabelecidos no mercado de hardware de IA.
Conclusión
O Cerebras Wafer Scale Engine representa uma partida ousada do diseño de chips convencional, oferecendo escala e desempeño sem precedentes para cargas de trabalho de IA. Embora enfrenta desafios em fabricación e adopción, tem esculpido um nicho no mercado de computación de IA de alta gama. À medida que os modelos de IA continuam creciendo, a abordagem do WSE de maximizar os recursos integrados pode tornar-se cada vez más relevante.