The Wafer-Scale Engine (WSE) é uma série de processadores de grande escala desenvolvidos pela Cerebras Systems, uma empresa fundada em 2015 por Andrew Feldman, Gary Lauterbach e outros. Diferentemente dos chips convencionais, que são cortados de uma pastilla de silício, o WSE utiliza a pastilla inteira como um único die, permitendo um número sem precedentes de núcleos e memória on-chip. Este design visa reduzir os gargalos de comunicação que afligem os sistemas multi-chip, tornando-o particularmente adequado para o treinamento de modelos de linguagem de grande escala e outras cargas de trabalho de aprendizado profundo.
A primeira geração, WSE-1, foi anunciada em agosto de 2019. Contenía 1,2 trilhões de transistores e 400.000 núcleos otimizados para IA, fabricados usando um processo de 16 nanómetros por TSMC. O chip medía 46.225 milímetros quadrados, mais de 50 vezes maior que as maiores unidades de processamento gráfico da época. A segunda geração, WSE-2, seguiu em abril de 2021, usando um processo de 7 nanómetros, dobrando a contagem de núcleos a 850.000 e aumentando a memória on-chip a 40 gigabytes. Em março de 2024, Cerebras introduziu o WSE-3, construído sobre um processo de 5 nanómetros, com 900.000 núcleos e 44 gigabytes de SRAM on-chip, visando o treinamento de modelos com até 24 trilhões de parâmetros.
Arquitectura e Design
A inovação central do WSE é sua integração à escala de pastilla. Em vez de fabricar muitos dies pequenos em uma pastilla e empacotá-los separadamente, Cerebras mantiene a pastilla inteira intacta, com circuitos redundantes para contornar defeitos de fabricação. Esta abordagem elimina a necessidade de comunicação inter-chip sobre uma placa de circuito impresso, que é frequentemente um gargalo de desempeño em sistemas distribuidos. O chip usa uma rede de núcleos conectada em mesh, cada um com sua própria memória, permitendo movimento de dados de alta largura de banda e baixa latencia.
Cada núcleo é um processador simplificado otimizado para as operações de álgebra linear esparsa comuns em redes neurais. Os núcleos suportam uma variedad de formatos de dados, incluindo FP16, BF16 e FP32, e são diseñados para executar operações densas e esparsas eficientemente. A memória on-chip é distribuida entre os núcleos, proporcionando uma largura de banda total que supera amplamente a dos sistemas de memória GPU tradicionais. Esta arquitectura reduce a dependência de memória externa, que é frequentemente um factor limitante no treinamento de IA.
O WSE não é um produto autónomo; é integrado nos sistemas CS-2 e CS-3 da Cerebras, que incluyen um sistema de entrega de energia e solução de refrigeração. O CS-2, lançado em 2020, alberga o WSE-2, enquanto o CS-3, anunciado em 2024, alberga o WSE-3. Estes sistemas são diseñados para ser conectados a centros de dados existentes e são frequentemente usados em clusters para treinamento em grande escala.
Desempeño e Benchmarks
Cerebras publicou vários benchmarks de desempeño para o WSE. Em 2021, a empresa demonstrou que um único sistema CS-2 podía treinar um modelo de 1,8 bilhões de parâmetros usando a arquitectura GPT, alcanzando escalabilidade quase linear quando múltiples sistemas eram conectados. Em 2022, Cerebras e os Laboratorios Nacionais Sandia usaron um CS-2 para simular uma rede neural de picos de 200 milhões de neurones em tempo real, uma tarefa que requeriría um supercomputador com milhares de GPUs.
Em 2023, Cerebras reportó que seus sistemas podían treinar um modelo de 7 bilhões de parâmetros em menos tempo que um cluster de 16 NVIDIA A100 GPUs, devido à reducida sobrecarga de comunicação. O WSE-3, segundo a empresa, pode entregar até 125 petaflops de compute de IA, tornando-o um dos processadores de chip único mais potentes para IA. No entanto, benchmarks independentes são limitados, e a maioria das afirmaciones de desempeño vem da própria Cerebras.
Ecosistema de Software
Para programar o WSE, Cerebras desenvolveu a Plataforma de Software Cerebras (CSoft), que incluye um compilador que mapea modelos de aprendizado automático à arquitectura do chip. CSoft suporta frameworks populares como TensorFlow e PyTorch, permitendo aos pesquisadores executar modelos existentes sem cambios significativos de código. O compilador maneja o agendamento de fluxo de dados, a asignación de memória e a otimización para o design à escala de pastilla.
Cerebras também proporciona uma biblioteca de implementaciones de modelos pré-otimizados, incluindo transformers, redes convolucionais e redes recorrentes. A pila de software incluye herramientas para treinamento distribuido em múltiples sistemas CS, usando uma técnica chamada weight streaming, que canaliza pesos de modelo através da memória do chip. Esta abordagem permite treinar modelos maiores que a memória on-chip, transmitiendo pesos desde almacenamiento externo.
Aplicaciones e Casos de Uso
O WSE foi adotado por várias organizações tanto para fins comerciais como de pesquisa. Em 2021, o grupo G42 nos Emiratos Árabes Unidos se associou com Cerebras para construir um supercomputador para pesquisa em IA, que foi posteriormente usado para treinar os modelos Jais e Falcon. Em 2023, Cerebras anunciou uma colaboração com Qualcomm para desenvolver modelos de IA on-device, embora os detalhes desta parceria permanezcan escasos.
No setor de saúde, Cerebras trabalhou com empresas farmacéuticas para acelerar simulações de descubrimiento de fármacos. A capacidade do chip para manejar redes neurais de grafos em grande escala foi usada para predicción de propriedades moleculares. Adicionalmente, o WSE foi empregado em previsión meteorológica, com experimentos mostrando treinamento mais rápido de modelos climáticos de alta resolución em comparação com clusters de GPU.
Comparación com Outro Hardware de IA
O WSE compete com outros processadores especializados de IA, como as unidades de processamento de linguagem de Groq e as unidades de fluxo de datos reconfigurables de SambaNova. Diferentemente das GPUs, que são processadores paralelos de propósito geral, o WSE é uma arquitectura específica de dominio otimizada para cargas de trabalho de IA. Su principal vantagem é a eliminación da comunicação inter-chip, que pode ser uma sobrecarga significativa no treinamento em grande escala.
No entanto, o tamanho e o consumo de energia do WSE (até 15 kilowatts para o CS-2) limitan sua implantación a centros de dados com refrigeração adequada. Em contraste, AWS Trainium e o TPU de Google são oferecidos como serviços de nube, o que pode ser mais acessible para muitas organizaciones. O WSE também enfrenta competencia de los aceleradores Instinct de AMD e os processadores Gaudi de Intel, que são más convencionales em design, mas se benefician de ecosistemas de software maduros.
Desafíos e Limitaciones
Um dos principais desafíos do WSE é o rendimento. Fabricar uma pastilla sem defeitos é difícil, mas Cerebras usa uma técnica chamada "redundancia" para tolerar defeitos, deshabilitando núcleos defectuosos e redirigiendo a comunicação. Esta abordagem permite à empresa usar pastillas que de outra forma serían descartadas, mas também significa que a contagem efectiva de núcleos varia entre chips.
Outra limitación é a capacidade de memória. Embora a memória on-chip seja grande, ainda é menor que a memória de alta largura de banda disponível nas GPUs. Para modelos que requerem grandes tablas de embedding ou matrices de atención, o WSE deve depender de memória externa, o que reduce sua vantagem de desempeño. Adicionalmente, o ecosistema de software é menos maduro que o de CUDA, e alguns pesquisadores reportaron dificultades ao portar kernels personalizados.
O custo do sistema CS-2 não é divulgado públicamente, mas se estima que esteja na ordem de milhões de dólares, tornando-o inaccesible para muitos grupos de pesquisa pequenos. Cerebras abordou isto ofereciendo acesso à nube através de seus próprios centros de dados e parcerias com Oracle Cloud e Azure.
Direcciones Futuras
Cerebras continua iterando sobre a arquitectura WSE. O WSE-3, anunciado em 2024, é diseñado para suportar o treinamento de modelos com até 24 trilhões de parâmetros, o que requeriría um cluster de múltiples sistemas CS-3. A empresa também está explorando novas tecnologías de empacotado, como chiplets, para aumentar ainda mais o desempeño e reduzir custos.
Em 2023, Cerebras solicitó uma IPO, mas os planos foram atrasados devido às condições do mercado. A empresa arrecadó mais de $700 milhões em financiamento de investidores incluindo o co-fundador de OpenAI, Sam Altman (embora não em capacidade oficial) e Benchmark Capital. A partir de 2024, o WSE permanece como um produto nicho mas influente no panorama de hardware de IA, empujando os límites do que é possível em computación de chip único.
Recepción e Impacto
O WSE recebiu reacciones mixtas da comunidade de IA. Os proponentes destacan sua abordagem innovadora para resolver o problema de largura de banda de memória, enquanto os céticos cuestionan sua praticidad e relação custo-eficacia em comparação com clusters de GPU. Estudios independentes mostraron que para certas cargas de trabalho, como atención esparsa e processamento de grafos, o WSE pode superar às GPUs por uma margen significativa, mas para outras, a vantagem é menos clara.
A pesar dos debates, o WSE influenciou o design de outros chips de IA, particularmente na área de memória on-chip e interconexões. Seu éxito também validó o concepto de integración à escala de pastilla, que anteriormente era considerado impráctico. À medida que os modelos de IA generativa continuan crescendo em tamanho, a demanda por hardware especializado como o WSE provavelmente aumentará, embora o panorama competitivo permanezca dinámico.
Veja Também
Referencias
- Cerebras Systems. "Wafer-Scale Engine: An Introduction." 2019.
- Feldman, A. et al. "The Cerebras Wafer-Scale Engine." IEEE Micro, 2021.
- Cerebras Systems. "CS-3 System Overview." 2024.
- Sandia National Laboratories. "Real-Time Spiking Neural Network Simulation." 2022.
- G42. "Building the World's Largest AI Supercomputer." 2021.