Cerebras Systems Inc. mit Hauptsitz in Sunnyvale, Kalifornien, entwickelt Halbleiter, Supercomputer und zugehörige Software, um Anwendungen des tiefen Lernens der künstlichen Intelligenz wie Inferenz-Engines zu betreiben. Zu den Produkten gehören die Wafer-Scale-Engine (WSE)-3-Halbleiter, die CS-3-Supercomputer und die APIs „AI inference cloud“ und „AI training cloud“, die es Benutzern ermöglichen, auf die Rechenleistung des Unternehmens zuzugreifen, ohne dessen Hardware zu kaufen. Das Unternehmen baut auch Rechenzentren mit seinen Prozessoren und Supercomputern, um Cloud-Computing-Dienste direkt für Kunden bereitzustellen.
Mit einer Fläche von 215 mm (8,5 Zoll) im Quadrat sind die WSE-3-Halbleiter des Unternehmens derzeit die größten jemals gebauten KI-Halbleiter. Sie nehmen ganze Siliziumwafer ein und nutzen Wafer-Scale-Integration und Switched Fabric. Dies reduziert Latenz und Interconnect-Engpässe im Vergleich zu GPU-Clustern. Sie verwenden statischen Direktzugriffsspeicher im Gegensatz zu dynamischem Direktzugriffsspeicher. Cerebras-Halbleiter und Computersysteme sind viel leistungsfähiger als die der Konkurrenz; sie haben jedoch Nachteile aufgrund ihrer Größe, eines Stromverbrauchs von 25 kW und Kosten von bis zu 3 Millionen US-Dollar pro Knoten.
Gründung und frühe Herausforderungen
Cerebras Systems wurde 2015 von Andrew Feldman, Gary Lauterbach, Michael James, Sean Lie und Jean-Philippe Fricker gegründet. Diese fünf Gründer arbeiteten zuvor bei SeaMicro zusammen, das 2007 von Feldman und Lauterbach gegründet und 2012 für 334 Millionen US-Dollar an AMD verkauft wurde. Die Gründer wussten, dass GPUs nicht die optimalen Halbleiter für hochrangige Prozesse waren. Sie mussten jedoch einzigartige Kühlmethoden entwerfen, um zu verhindern, dass ein „massiver“ Halbleiter beim Stromziehen verbrennt, eine einzigartige Software, um übliche mikroskopische Fertigungsfehler zu umgehen, und sie mussten eine Maschine erfinden, die 40 Schrauben gleichzeitig in den Wafer bohren konnte, ohne dass er riss.
Das Unternehmen hatte Schwierigkeiten, das Problem der integrierten Schaltungspackung zu lösen: das Anbringen des Siliziums an ein Motherboard, die Stromversorgung und die Handhabung von Heizung und Kühlung sowie der Leitungen zur Datenübertragung und -rückgabe. Es verbrannte 8 Millionen US-Dollar pro Monat und gab 200 Millionen US-Dollar aus, um das Problem zu lösen. Im Juli 2019, nach erschöpfendem Versuch und Irrtum, produzierte das Unternehmen schließlich ein Produkt, das funktionierte.
Produkte der ersten Generation
Im August 2019 kündigte Cerebras WSE-1 an, seine Wafer-Scale-Engine (WSE)-Halbleiter der ersten Generation, sowie sein Supercomputing-System CS-1. Der CS-1 ist ein 19-Zoll-Rack-Gerät und enthält einen einzelnen WSE-Hauptprozessor mit 400.000 Verarbeitungskernen, 1,2 Billionen Transistoren (zwölf 100-Gigabit-Ethernet-Verbindungen) und 18 Gigabyte Speicher.
Die ersten Kunden des Unternehmens waren Bildungseinrichtungen und Biowissenschaftsunternehmen, die Supercomputer für Zwecke der Arzneimittelforschung, numerische Strömungsmechanik, genetische und genomische Forschung, zur Vorhersage der Reaktion auf Medikamente und für COVID-19-Forschung bauten. Zu den frühen Kunden gehörten GlaxoSmithKline, AstraZeneca, das National Energy Technology Laboratory, das Lawrence Livermore National Laboratory, das Pittsburgh Supercomputing Center und das Edinburgh Parallel Computing Centre.
Expansion und CS-2
Im September 2020 eröffnete das Unternehmen ein Büro in Japan und ging eine Partnerschaft mit Tokyo Electron ein. Im April 2021 veröffentlichte das Unternehmen sein CS-2-System, das auf dem Wafer Scale Engine Two (WSE-2) des Unternehmens basiert und 850.000 Kerne hat. Der CS-2 wird im 7-nm-Prozess von TSMC hergestellt. Er ist 26 Zoll (660 mm) hoch und passt in ein Drittel eines Standard-Rechenzentrumsracks. Der WSE-2 hat 850.000 Kerne und 2,6 Billionen Transistoren. Er ermöglicht es einem einzelnen System, KI-Modelle mit mehr als 120 Billionen Parametern zu unterstützen. Der WSE-2 erweiterte den On-Chip-SRAM auf 40 Gigabyte, die Speicherbandbreite auf 20 Petabyte pro Sekunde und die gesamte Fabric-Bandbreite auf 220 Petabit pro Sekunde. Zu den Kunden gehörten TotalEnergies, nference, das National Center for Supercomputing Applications (NCSA) und das Leibniz-Rechenzentrum.
Im August 2021 kündigte Cerebras eine Partnerschaft mit Peptilogics zur Entwicklung von KI für Peptidtherapeutika an. Im Juni 2022 stellte Cerebras einen Rekord für die größten KI-Modelle auf, die jemals auf einem Gerät trainiert wurden - ein einzelnes CS-2-System mit einem Cerebras-Wafer trainierte Modelle mit bis zu 20 Milliarden Parametern. Das Cerebras-CS-2-System kann Modelle mit mehreren Milliarden Parametern für die Verarbeitung natürlicher Sprache (NLP) trainieren, einschließlich GPT-3XL-1.3-Milliarden-Modelle sowie GPT-J 6B, GPT-3 13B und GPT-NeoX 20B mit reduzierter Softwarekomplexität und Infrastruktur.
Anerkennung und Cluster
Im August 2022 enthüllte das Computer History Museum in Mountain View, Kalifornien, eine neue Ausstellung mit dem WSE-2 mit dem Namen „The Biggest Chip In the World“. Ebenfalls im August 2022 eröffnete Cerebras ein Büro in Bangalore, Indien. Im September 2022 kündigte Cerebras an, dass es seine Chips zusammenschließen kann, um den größten jemals gebauten Rechencluster für KI-Computing zu erstellen. Ein Wafer-Scale-Cluster kann bis zu 192 CS-2-KI-Systeme zu einem Cluster verbinden, während ein Cluster aus 16 CS-2-KI-Systemen ein Computersystem mit 13,6 Millionen Kernen für die Verarbeitung natürlicher Sprache erstellen kann. Es verwendet Datenparallelität zum Trainieren.
Im Oktober 2022 begann das Sandia National Laboratories der National Nuclear Security Administration, den CS-2 für die Rechenleistung zur Verwaltung des nuklearen Arsenals zu verwenden, um zu bestimmen, ob Atomwaffen wie beabsichtigt funktionieren. Im November 2022 enthüllte Cerebras den Andromeda-Supercomputer, der 16 WSE-2-Chips zu einem Cluster mit 13,5 Millionen KI-optimierten Kernen kombiniert und bis zu 1 Exaflop KI-Rechenleistung liefert, oder mindestens eine Trillion (10^18) Operationen pro Sekunde. Das gesamte System verbraucht 500 kW, was eine drastisch geringere Menge war als bei einigermaßen vergleichbaren GPU-beschleunigten Supercomputern.
Partnerschaften und aktuelle Entwicklungen
Im November 2022 kündigte Cerebras eine Partnerschaft mit Cirrascale Cloud Services an, um eine Pauschalrechnung „pay-per-model“ für seine Cerebras AI Model Studio bereitzustellen. Im November 2022 setzte das National Energy Technology Laboratory (NETL) Meilensteine mit Cerebras-Produkten. Im November 2022 gewann das Argonne National Laboratory den Gordon-Bell-Sonderpreis 2022 für COVID-19-Forschung, indem es den CS-2 sowie Produkte von Nvidia und Hewlett-Packard verwendete, um große Sprachmodelle zu transformieren, um Varianten von SARS-CoV-2 zu analysieren und vorherzusagen.
Im Juli 2023 stimmte G42 zu, etwa 100 Millionen US-Dollar zu zahlen, um den ersten von potenziell neun Supercomputern von Cerebras zu kaufen. Das erste System wurde 2024 geliefert. Das Unternehmen hat 4 Hauptkunden: die Mohamed bin Zayed University of Artificial Intelligence (62 % der Einnahmen 2025), G42 (24 % der Einnahmen 2025), OpenAI (unterzeichnet 2026) und Amazon Web Services (unterzeichnet 2026).
Fertigung und Marktposition
Cerebras hat Büros in Sunnyvale, San Diego, Toronto und Bangalore, Indien. Seine Halbleiter werden von TSMC hergestellt, derzeit das einzige Unternehmen, das in der Lage ist, Cerebras-Chips zu fertigen. Die Hauptkonkurrenten des Unternehmens für seine Hardware sind Nvidia, AMD, Intel und Broadcom, und die Hauptkonkurrenten des Unternehmens für seine Cloud-Computing-Dienste sind Amazon Web Services, Microsoft Azure, Google Cloud Platform, Oracle Corporation und CoreWeave.
Cerebras' Ansatz für künstliche Intelligenz-Hardware weicht vom GPU-zentrierten Modell ab, das von vielen Wettbewerbern verwendet wird. Durch die Verwendung von Wafer-Scale-Integration zielt das Unternehmen darauf ab, den Kommunikationsaufwand zu reduzieren, der Multi-Chip-Systeme plagt, was besonders relevant für das Training von großen Sprachmodellen und anderen Deep-Learning-Arbeitslasten ist. Der Fokus des Unternehmens auf maschinelles Lernen-Infrastruktur hat es als Nischenakteur im breiteren generativen KI-Ökosystem positioniert, mit Anwendungen, die von Neuronalen Netzen-Forschung bis zu kommerziellen Cloud-Angeboten reichen.
Trotz seiner technischen Vorteile begrenzen die hohen Kosten und der Strombedarf von Cerebras-Systemen ihre Einführung auf spezialisierte Anwendungsfälle. Die Abhängigkeit des Unternehmens von TSMC für die Fertigung und seine relativ kleine Kundenbasis im Vergleich zu Giganten wie Nvidia und AMD verdeutlichen die Herausforderungen des Wettbewerbs in der Halbleiterindustrie. Seine Partnerschaften mit Einrichtungen wie OpenAI und Amazon Web Services signalisieren jedoch wachsendes Interesse an alternativen Architekturen für KI-Computing.