Cerebras Systems Inc., con sede en Sunnyvale, California, desarrolla semiconductores, supercomputadoras y software relacionado para impulsar aplicaciones de aprendizaje profundo de inteligencia artificial, como motores de inferencia. Sus productos incluyen los semiconductores de motor a escala de oblea (WSE)-3, las supercomputadoras CS-3 y las API de "nube de inferencia de IA" y "nube de entrenamiento de IA", que permiten a los usuarios acceder a la potencia informática de la empresa sin comprar su hardware. La empresa también construye centros de datos utilizando sus procesadores y supercomputadoras para proporcionar servicios de computación en la nube directamente a los clientes.
Con una medida de 215 mm (8.5 pulgadas) al cuadrado, los semiconductores WSE-3 de la empresa son actualmente los semiconductores de IA más grandes jamás construidos. Ocupan obleas de silicio completas y utilizan integración a escala de oblea y tejido conmutado. Esto reduce la latencia y los cuellos de botella de interconexión en comparación con los clústeres de GPU. Utilizan memoria estática de acceso aleatorio, en lugar de memoria dinámica de acceso aleatorio. Los semiconductores y sistemas informáticos de Cerebras son mucho más potentes que los de sus competidores; sin embargo, tienen desventajas debido a su gran tamaño, un consumo de energía de 25 kW y un costo de hasta 3 millones de dólares por nodo.
Fundación y Desafíos Iniciales
Cerebras Systems fue fundada en 2015 por Andrew Feldman, Gary Lauterbach, Michael James, Sean Lie y Jean-Philippe Fricker. Estos cinco fundadores trabajaron juntos en SeaMicro, que fue iniciada en 2007 por Feldman y Lauterbach y vendida a AMD en 2012 por 334 millones de dólares. Los fundadores sabían que las GPU no eran los semiconductores óptimos para procesos de alto nivel. Sin embargo, tuvieron que diseñar métodos de enfriamiento únicos para evitar que un semiconductor "masivo" se quemara al consumir energía, software único para sortear los defectos de fabricación microscópicos habituales, y tuvieron que inventar una máquina que pudiera perforar 40 tornillos en la oblea simultáneamente sin que se agrietara.
La empresa tuvo dificultades para resolver el problema del empaquetado de circuitos integidos: adherir el silicio a una placa base, recibir energía y manejar el calentamiento y enfriamiento, así como las tuberías para entregar y devolver datos. Estaba quemando 8 millones de dólares al mes y gastó 200 millones de dólares intentando resolver el problema. En julio de 2019, después de un exhaustivo ensayo y error, la empresa finalmente produjo un producto que funcionó.
Productos de Primera Generación
En agosto de 2019, Cerebras anunció el WSE-1, sus semiconductores de motor a escala de oblea (WSE) de primera generación, y su sistema de supercomputación CS-1. El CS-1 es un aparato montado en rack de 19 pulgadas e incluye un único procesador primario WSE con 400,000 núcleos de procesamiento, 1.2 billones de transistores (doce conexiones ethernet de 100 gigabits) y 18 gigabytes de memoria.
Los primeros clientes de la empresa fueron instituciones educativas y empresas de ciencias de la vida que construían supercomputadoras para fines de descubrimiento de fármacos, dinámica de fluidos computacional, investigación genética y genómica, para predecir la respuesta a fármacos y para la investigación de COVID-19. Los primeros clientes incluían GlaxoSmithKline, AstraZeneca, el Laboratorio Nacional de Tecnología Energética, el Laboratorio Nacional Lawrence Livermore, el Centro de Supercomputación de Pittsburgh y el Centro de Computación Paralela de Edimburgo.
Expansión y CS-2
En septiembre de 2020, la empresa abrió una oficina en Japón y se asoció con Tokyo Electron. En abril de 2021, la empresa lanzó su sistema CS-2, basado en el motor a escala de oblea dos (WSE-2) de la empresa, que tiene 850,000 núcleos. El CS-2 es fabricado mediante el proceso de 7 nm de TSMC. Tiene 26 pulgadas (660 mm) de alto y ocpe una tercera parte de un rack estándar de centro de datos. El WSE-2 tiene 850,000 núcleos y 2.6 billones de transistores. Permite que un solo sistema soporte modelos de IA con más de 120 billones de parámetros. El WSE-2 amplió la SRAM en chip a 40 gigabytes, el ancho de banda de memoria a 20 petabytes por segundo y el ancho de banda total del tejido a 220 petabits por segundo. Los clientes incluían TotalEnergies, nference, el Centro Nacional de Aplicaciones de Supercomputación (NCSA) y el Centro de Supercomputación Leibniz.
En agosto de 2021, Cerebras anunció una asociación con Peptilogics para el desarrollo de IA para terapias peptídicas. En junio de 2022, Cerebras estableció un récord por los modelos de IA más grandes jamás entrenados en un solo dispositivo - un único sistema CS-2 con una oblea de Cerebras entrenó modelos con hasta 20 mil millones de parámetros. El sistema CS-2 de Cerebras puede entrenar modelos de procesamiento de lenguaje natural (PLN) de multimiles de millones de parámetros, incluyendo modelos GPT-3XL de 1.3 mil millones, así como GPT-J 6B, GPT-3 13B y GPT-NeoX 20B con una complejidad de software e infraestructura reducida.
Reconocimiento y Clústeres
En agosto de 2022, el Museo de Historia de la Computación en Mountain View, California, presentó una nueva exhibición con el WSE-2, denominada "El Chip Más Grande del Mundo". También en agosto de 2022, Cerebras abrió una oficina en Bangalore, India. En septiembre de 2022, Cerebras anunció que puede unir sus chips para crear el clúster de computación más grande jamás visto para la computación de IA. Un clúster a escala de oblea puede conectar hasta 192 sistemas de IA CS-2 en un clúster, mientras que un clúster de 16 sistemas de IA CS-2 puede crear un sistema informático con 13.6 millones de núcleos para el procesamiento de lenguaje natural. Utiliza paralelismo de datos para entrenar.
En octubre de 2022, los Laboratorios Nacionales Sandia de la Administración Nacional de Seguridad Nuclear comenzaron a utilizar el CS-2 en la computación de administración de existencias nucleares, para determinar si las armas nucleares funcionarán como se espera. En noviembre de 2022, Cerebras presentó la supercomputadora Andrómeda, que combina 16 chips WSE-2 en un clúster con 13.5 millones de núcleos optimizados para IA, entregando hasta 1 exaflop de potencia informática de IA, o al menos un quintillón (10^18) de operaciones por segundo. El sistema completo consume 500 kW, una cantidad drásticamente menor que las supercomputadoras aceleradas por GPU algo comparables.
Asociaciones y Desarrollos Recientes
En noviembre de 2022, Cerebras anunció una asociación con Cirrascale Cloud Services para proporcionar tiempo de computación de tarifa plana "pago por modelo" para su Cerebras AI Model Studio. En noviembre de 2022, el Laboratorio Nacional de Tecnología Energética (NETL) estableció hitos utilizando productos de Cerebras. En noviembre de 2022, el Laboratorio Nacional Argonne ganó el Premio Especial Gordon Bell 2022 por la investigación de COVID-19 al utilizar el CS-2, así como productos de Nvidia y Hewlett-Packard, para transformar modelos de lenguaje grandes y analizar y predecir variantes del SARS-CoV-2.
En julio de 2023, G42 acordó pagar alrededor de 100 millones de dólares para comprar la primera de potencialmente nueve supercomputadoras de Cerebras. El primer sistema fue entregado en 2024. La empresa tiene 4 clientes principales: la Universidad de Inteligencia Artificial Mohamed bin Zayed (62% de los ingresos de 2025), G42 (24% de los ingresos de 2025), OpenAI (firmado en 2026) y Amazon Web Services (firmado en 2026).
Fabricación y Posición en el Mercado
Cerebras tiene oficinas en Sunnyvale, San Diego, Toronto y Bangalore, India. Sus semiconductores son fabricados por TSMC, actualmente la única empresa que tiene la capacidad de fabricar los chips de Cerebras. Sus principales competidores para su hardware son Nvidia, AMD, Intel y Broadcom, y los principales competidores de la empresa para sus servicios de computación en la nube son Amazon Web Services, Microsoft Azure, Google Cloud Platform, Oracle Corporation y CoreWeave.
El enfoque de Cerebras hacia el hardware de inteligencia artificial diverge del modelo centrado en GPU utilizado por muchos competidores. Al utilizar la integración a escala de oblea, la empresa busca reducir la sobrecarga de comunicación que afecta a los sistemas de múltiples chips, lo cual es particularmente relevante para entrenar modelos de lenguaje grandes y otras cargas de trabajo de aprendizaje profundo. El enfoque de la empresa en la infraestructura de aprendizaje automático la ha posicionado como un actor de nicho en el ecosistema más amplio de IA generativa, con aplicaciones que van desde la investigación de redes neuronales hasta ofertas comerciales en la nube.
A pesar de sus ventajas técnicas, el alto costo y los requisitos de energía de los sistemas de Cerebras limitan su adopción a casos de uso especializados. La dependencia de la empresa de TSMC para la fabricación y su base de clientes relativamente pequeña en comparación con gigantes como Nvidia y AMD destacan los desafíos de competir en la industria de semiconductores. Sin embargo, sus asociaciones con entidades como OpenAI y Amazon Web Services señalan un interés creciente en arquitecturas alternativas para la computación de IA.