A Cerebras Systems Inc., com sede em Sunnyvale, Califórnia, desenvolve semicondutores, supercomputadores e software relacionado para impulsionar aplicações de aprendizado profundo de inteligência artificial, como mecanismos de inferência. Seus produtos incluem os semicondutores wafer scale engine (WSE)-3, os supercomputadores CS-3 e as APIs de "nuvem de inferência de IA" e "nuvem de treinamento de IA", que permitem que os usuários acessem o poder computacional da empresa sem comprar seu hardware. A empresa também constrói data centers usando seus processadores e supercomputadores para fornecer serviços de computação em nuvem diretamente aos clientes.
Medindo 215 mm (8,5 polegadas) quadrados, os semicondutores WSE-3 da empresa são atualmente os maiores semicondutores de IA já construídos. Eles ocupam wafers de silício inteiros e usam integração em escala de wafer e switched fabric. Isso reduz a latência e os gargalos de interconexão em comparação com clusters de GPU. Eles usam memória estática de acesso aleatório, em oposição à memória dinâmica de acesso aleatório. Os semicondutores e sistemas de computador da Cerebras são muito mais poderosos que os dos concorrentes; no entanto, eles têm desvantagens devido ao seu grande tamanho, consumo de energia de 25 kW e custo de até US$ 3 milhões por nó.
Fundação e Desafios Iniciais
A Cerebras Systems foi fundada em 2015 por Andrew Feldman, Gary Lauterbach, Michael James, Sean Lie e Jean-Philippe Fricker. Esses cinco fundadores trabalharam juntos na SeaMicro, que foi iniciada em 2007 por Feldman e Lauterbach e vendida à AMD em 2012 por US$ 334 milhões. Os fundadores sabiam que as GPUs não eram os semicondutores ideais para processos de alto nível. No entanto, eles tiveram que projetar métodos exclusivos de resfriamento para evitar que um semicondutor "massivo" queimasse ao consumir energia, software exclusivo para contornar os defeitos usuais de fabricação em escala microscópica, e tiveram que inventar uma máquina que pudesse perfurar 40 parafusos no wafer simultaneamente sem quebrá-lo.
A empresa teve dificuldade em resolver o problema da embalagem de circuitos integrados: aderir o silício a uma placa-mãe, receber energia e lidar com aquecimento e resfriamento e os dutos para entregar e devolver dados. Estava queimando US$ 8 milhões por mês e gastou US$ 200 milhões tentando resolver o problema. Em julho de 2019, após tentativa e erro exaustivos, a empresa finalmente produziu um produto que funcionou.
Produtos de Primeira Geração
Em agosto de 2019, a Cerebras anunciou o WSE-1, seus semicondutores Wafer-Scale Engine (WSE) de primeira geração, e seu sistema de supercomputação CS-1. O CS-1 é um aparelho montado em rack de 19 polegadas e inclui um único processador primário WSE com 400.000 núcleos de processamento, 1,2 trilhão de transistores (doze conexões Ethernet de 100 gigabits) e 18 gigabytes de memória.
Os primeiros clientes da empresa foram instituições educacionais e empresas de ciências da vida que construíam supercomputadores para fins de descoberta de medicamentos, dinâmica de fluidos computacional, pesquisa genética e genômica, para prever resposta a medicamentos e para pesquisa de COVID-19. Os primeiros clientes incluíram GlaxoSmithKline, AstraZeneca, o Laboratório Nacional de Tecnologia Energética, o Laboratório Nacional Lawrence Livermore, o Centro de Supercomputação de Pittsburgh e o Centro de Computação Paralela de Edimburgo.
Expansão e CS-2
Em setembro de 2020, a empresa abriu um escritório no Japão e fez uma parceria com a Tokyo Electron. Em abril de 2021, a empresa lançou seu sistema CS-2, baseado no Wafer Scale Engine Two (WSE-2) da empresa, que possui 850.000 núcleos. O CS-2 é fabricado pelo processo de 7 nm da TSMC. Ele tem 26 polegadas (660 mm) de altura e cabe em um terço de um rack de data center padrão. O WSE-2 tem 850.000 núcleos e 2,6 trilhões de transistores. Ele permite que um único sistema suporte modelos de IA com mais de 120 trilhões de parâmetros. O WSE-2 expandiu a SRAM no chip para 40 gigabytes, a largura de banda da memória para 20 petabytes por segundo e a largura de banda total do tecido para 220 petabits por segundo. Os clientes incluíam TotalEnergies, nference, o Centro Nacional de Aplicações de Supercomputação (NCSA) e o Centro de Supercomputação Leibniz.
Em agosto de 2021, a Cerebras anunciou uma parceria com a Peptilogics para o desenvolvimento de IA para terapêutica de peptídeos. Em junho de 2022, a Cerebras estabeleceu um recorde para os maiores modelos de IA já treinados em um único dispositivo - um único sistema CS-2 com um wafer Cerebras treinou modelos com até 20 bilhões de parâmetros. O sistema Cerebras CS-2 pode treinar modelos de processamento de linguagem natural (PLN) com bilhões de parâmetros, incluindo modelos GPT-3XL de 1,3 bilhão, bem como GPT-J 6B, GPT-3 13B e GPT-NeoX 20B, com complexidade e infraestrutura de software reduzidas.
Reconhecimento e Clusters
Em agosto de 2022, o Museu de História do Computador em Mountain View revelou uma nova exibição apresentando o WSE-2, chamada de "O Maior Chip do Mundo". Também em agosto de 2022, a Cerebras abriu um escritório em Bangalore, na Índia. Em setembro de 2022, a Cerebras anunciou que pode interconectar seus chips para criar o maior cluster de computação já construído para computação de IA. Um cluster pode conectar até 192 sistemas de IA CS-2, enquanto um cluster de 16 sistemas CS-2 pode criar um sistema de computação com 13,6 milhões de núcleos para processamento de linguagem natural. Ele usa paralelismo de dados para treinar.
Em outubro de 2022, os Laboratórios Nacionais Sandia da Administração Nacional de Segurança Nuclear começaram a usar o CS-2 na computação de administração do arsenal nuclear, para verificar se as armas nucleares funcionarão como pretendido. Em novembro de 2022, a Cerebras revelou o supercomputador Andromeda, que combina 16 chips WSE-2 em um cluster com 13,5 milhões de núcleos de IA, entregando até 1 exaflop de poder computacional de IA, ou pelo menos um quintilhão (1018) de operações por segundo. O sistema inteiro consome 500 kW, o que era uma quantidade drasticamente menor do que supercomputadores acelerados por GPU um tanto comparáveis.
Parcerias e Desenvolvimentos Recentes
Em novembro de 2022, a Cerebras anunciou uma parceria com a Cirrascale Cloud Services para fornecer tempo de computação de taxa fixa "pague por modelo" para sua nuvem de inferência de IA da Cerebras. Em novembro de 2022, o Laboratório Nacional de Tecnologia Energética (NETL) atingiu marcos usando produtos da Cerebras. Em novembro de 2022, o Laboratório Nacional de Argonne ganhou o Prêmio Especial Gordon Bell de 2022 por usar o CS-2, bem como produtos da Nvidia e da Hewlett-Packard, para transformar grandes modelos de linguagem para analisar e prever variantes do SARS-CoV-2.
Em julho de 2023, a G42 concordou em pagar US$ 100 milhões para comprar o primeiro de potencialmente nove supercomputadores da Cerebras. O primeiro sistema foi entregue em 2024. A empresa tem 4 clientes principais: a Universidade de Inteligência Artificial Mohamed bin Zayed (62% das receitas de 2025), a G42 (24% das receitas de 2025), a OpenAI (assinado em 2026) e a Amazon Web Services (assinado em 2026).
Fabricação e Posição de Mercado
A Cerebras tem escritórios em Sunnyvale, San Diego, Toronto e Bangalore, na Índia. Seus semicondutores são fabricados pela TSMC, atualmente a única empresa com capacidade de fabricar seus chips. Os principais concorrentes da empresa em hardware são AMD, Intel e Broadcom, e os principais concorrentes em serviços de nuvem são Amazon Web Services, Microsoft Azure, Google Cloud Platform e CoreWeave.
A abordagem da Cerebras para hardware de inteligência artificial diverge do modelo centrado em GPU usado por muitos concorrentes. Com a integração em escala de wafer, a empresa visa reduzir a sobrecarga de comunicação que afeta sistemas multi-chip, o que é particularmente relevante para o treinamento de modelos de linguagem de grande porte e cargas de trabalho de aprendizado profundo. O foco da empresa em infraestrutura de rede neural a posicionou como um player de nicho no ecossistema mais amplo de IA, com aplicações que vão desde visão computacional até processamento de linguagem natural.
Apesar de suas vantagens técnicas, o alto custo e o consumo de energia dos sistemas da Cerebras limitam sua adoção a casos de uso especializados. A dependência da TSMC para fabricação e sua base de clientes relativamente pequena em comparação com gigantes como Nvidia e AMD destacam os desafios de dimensionar a produção. No entanto, suas parcerias com entidades como OpenAI e Amazon Web Services sinalizam um interesse crescente em arquiteturas alternativas para computação de IA, e seu foco em inferência de IA e eficiência energética pode impulsionar a adoção futura.
Manufatura e Posição no Mercado
A Cerebras tem escritórios em Sunnyvale, San Diego, Bangalore, Índia e Tóquio, Japão. Seus semicondutores são fabricados pela TSMC, atualmente a única empresa com capacidade de fabricar os chips da Cerebras. Seus principais concorrentes em hardware são Nvidia, AMD, Intel e Broadcom, e os principais concorrentes da empresa em serviços de nuvem são Amazon Web Services, Microsoft Azure, Google Cloud Platform e CoreWeave.
A abordagem da Cerebras para hardware de Artificial intelligence diverge do modelo centrado em GPU usado por muitos concorrentes. Ao usar integração em escala de wafer, a empresa visa reduzir a sobrecarga de comunicação que afeta sistemas multi-chip, o que é particularmente relevante para o treinamento de grandes modelos de linguagem e outras cargas de trabalho de aprendizado profundo. O foco da empresa em aprendizado de máquina a posicionou como um player de nicho no ecossistema mais amplo de IA generativa, com aplicações que vão desde modelos de linguagem de grande escala até IA científica.