Der Wafer-Scale Engine (WSE) ist eine Serie von großskaligen Prozessoren, die von Cerebras Systems entwickelt wurde, einem Unternehmen, das 2015 von Andrew Feldman, Gary Lauterbach und anderen gegründet wurde. Im Gegensatz zu herkömmlichen Chips, die aus einem Siliziumwafer geschnitten werden, nutzt der WSE den gesamten Wafer als ein einziges Die, was eine beispiellose Anzahl von Kernen und On-Chip-Speicher ermöglicht. Dieses Design zielt darauf ab, die Kommunikationsengpässe zu reduzieren, die Multi-Chip-Systeme plagen, und eignet sich daher besonders für das Training von Large Language Models und anderen Deep Learning-Workloads.
Die erste Generation, WSE-1, wurde im August 2019 angekündigt. Sie enthielt 1,2 Billionen Transistoren und 400.000 AI-optimierte Kerne, gefertigt in einem 16-Nanometer-Prozess von TSMC. Der Chip maß 46.225 Quadratmillimeter, mehr als 50-mal größer als die größten Grafikprozessoren jener Zeit. Die zweite Generation, WSE-2, folgte im April 2021 mit einem 7-Nanometer-Prozess, die Anzahl der Kerne wurde verdoppelt auf 850.000, und der On-Chip-Speicher wurde auf 40 Gigabyte erhöht. Im März 2024 führte Cerebras den WSE-3 ein, gefertigt in einem 5-Nanometer-Prozess, mit 900.000 Kernen und 44 Gigabyte On-Chip-SRAM, der das Training von Modellen mit bis zu 24 Billionen Parametern anvisiert.
Architektur und Design
Die Kerninnovation des WSE ist seine Wafer-Scale-Integration. Statt viele kleine Dies auf einem Wafer herzustellen und sie separat zu packen, hält Cerebras den gesamten Wafer intakt, mit redundanten Schaltkreisen, um Fertigungsfehler zu umgehen. Dieser Ansatz eliminiert die Notwendigkeit einer Inter-Chip-Kommunikation über eine Leiterplatte, die oft ein Leistungsengpass in verteilten Systemen darstellt. Der Chip verwendet ein mesh-verbundenes Netzwerk von Kernen, jeweils mit eigenem Speicher, was einen hohen Durchsatz und eine niedrige Latenz bei der Datenbewegung ermöglicht.
Jeder Kern ist ein vereinfachter Prozessor, er optimiert auf die spärlichen linearen Algebra-Operationen, die in neural networks üblich sind. Die Kerne unterstützen eine Reihe von Datenformaten, darunter FP16, BF16 und FP32, und sind darauf ausgelegt, sowohl dichte als auch spärliche Operationen effizient auszuführen. Der On-Chip-Speicher ist über die Kerne verteilt und bietet eine Bandbreite, die weit über die traditioneller GPU-Speichersystemen hinausgeht. Diese Architektur reduziert die Abhängigkeit von externem Speicher, der oft ein limitierender Faktor bei KI-Training ist.
Der WSE ist kein eigenständiges Produkt; er ist in die CS-2- und CS-3-Systeme von Cerebras integriert, die ein Energieversorgungssystem und eine Kühllösung umfassen. Das CS-2, das 2020 veröffentlicht wurde, beherbergt den WSE-2, während das CS-3, das 2024 angekündigt wurde, den WSE-3 beherbergt. Diese Systeme sind darauf ausgelegt, in bestehende Datenzentren eingesteckt zu werden, und werden oft in auf Clustern für großskaliges Training eingesetzt.
Leistung und Benchmarks
Cerebras hat mehrere Leistungsbenchmarks für den WSE veröffentlicht. Im Jahr 2021 demonstrierte das Unternehmen, dass ein einzelnes CS-2-System ein 1,8-Milliarden-Parameter-Modell mit der GPT-Architektur trainieren kann, wobei nahezu lineares Skalieren erreicht wird, wenn mehrere Systeme verbunden sind. Im Jahr 2022 nutzten Cerebras und Sandia National Laboratories ein CS-2, um ein spikendes neuronales Netz .-Netz mit 200 Millionen Neuronen in Echtzeit zu simulieren, eine Aufgabe, die einen Supercomputer mit Tausenden von GPUs erfordern würde.
Im Jahr 2023 berichtete Cerebras, dass seine Systeme ein 7-Milliarden-Parameter-Modell in kürzerer Zeit trainieren könnten als ein Cluster von 16 NVIDIA A100-GPUs, aufgrund der redzierten Kommunikationsoverhead. Der WSE-3 kann, laut Unternehmen, bis zu 125 Petaflops an AI-Rechenleistung liefern, was ihn zu einem der leistungsfähigsten Single-Chip-Prozessoren für KI macht. Unabhängige Benchmarks sind jedoch begrenzt, und die meisten Leistungsaussagen stammen von Cerebras selbst.
Software-Ökosystem
Um den WSE zu programmieren, entwickelte Cerebras die Cerebras Software Platform (CSoft), die einen Compiler umfasst, der Machine-Learning-Modelle auf die Architektur des Chips abbildet. CSoft unterstützt beliebte Frameworks wie TensorFlow und PyTorch, sodass Forscher bestehende Modelle ohne wesentliche Codeänderungen ausführen können. Der Compiler übernimmt die Datenflussplanung, Speicherdatierung und Optimierung für das Wafer-Scale-Design.
Cerebras bietet auch eine Bibliothek mit voroptimierten Modellimplementierungen an, einschließlich Transformern, Faltungsnetzwerken und wiederkehrenden Netzwerken. Der Software-Stack umfasst Werkzeuge für das verteilte Training über mehrere CS-Systeme mithilfe einer Technik namens Weight Streaming, die Modellgewichte durch den Speicher des Chips leitet. Dieser Ansatz ermöglicht das Training von Modellen, die größer sind als der On-Chip-Speicher, indem Protokollgewichte von externem Speicher ge streamt werden.
Anwendungen und Verwendungszwecke
Der WSE wurde von verschiedenen Organisationen für sowohl kommerzielle als auch Forschungzwecke übernommen. Im Jahr 2021 schloss sich die-G42-Gruppe in den Vereinigten Arabischen Emirate mit Cerebras zusammen, um einen Supercomputer für KI-Forschung zu bauen, der später zur Ausbildung der Modelle Jais und Falcon verwendet wurde. Im Jahr 2023 kündigte Cerebras eine Zusammenarbeit mit Qualcomm an, um On-Device-AI Modelle zu entwickeln, wobei die Details dieser Partnerschaft nach wie vor spärlich sind.
Im Gesundheitssektor arbeitete Cerebras mit Pharmaunternehmen zusammen, um Simulationen zur Arzneimittelfindung zu beschleunigen. Die Fähigkeit des Chips, großskalige graph neural networks zu bewältigen, wurde für die Vorhersage molekularer Eigenschaften genutzt. Darüberhinaus wurde der WSE in der Wetter Vorhersage eingesetzt, wobei Experimente zur Fähigkeit mit schnellerem Training von hochauflösenden Klimamodellen im Vergleich zu GPU-Clustern wurden deutlich vorgelegt.
Vergleich mit anderer AI-Hardware
Der WSE konkurriert mit anderen spezialisierten KI-Prozessoren wie Groq's Language Processing Units und SambaNova's rekonfigurierbaren Dataflow-En. Anders als GPUs, die Allzweck- parallele Prozessoren sind, ist der WSE eine domänenspezifische Architektur, die für KI-Workloads optimiert ist. Sein Hauptvorteil ist die Eliminierung der Inter-Chip-Kommunikation demonstriert, die in großskaligen Trainings erhebliche overhead sein kann.
Jedoch begrenzen die Größe des WSE und der Stromverbrauch (bis zu 15 Kilowatt für das CS-2) die Bereitstellung auf Rechenzentren mit ausreichender Kühlung. Im Gegensatz zu werden AWS Trainium und Googles TPU als Cloud-Services angeboten, was für viele Organisationen zugängiger sein könnte. Der WSE steht auch im Wettbewerb mit AMDs Instinct-Beschleunigern und Intels Gaudi-Prozessoren, die konventioneller im-Design sind, aber von ausgereiften Software-Ökosystems profitieren.
Herausforderungen und Einschränkungen
Eine Hauptherausforderung des WSE ist die Ausbeute. Die Herstellung eines fehlerfreien Wafers ist schwierig, aber Cerebras verwendet eine Technik namens "Redundanz", um Defekte zu tolerieren, indem die fehlerhaften Kerne deaktiviert und die Kommunikation umgeleitet. Dies ermöglicht dem Unternehmen, Wafer zu verwenden, die sonstique verworfen würden, bedeutet aber auch, dass die effektive Kernezahl variiert zwischen Chips.
Eine weitere Einschränkung ist die Speicherkapazität. Obwohl der On-Chip-Speicher groß ist, ist er dennoch kleiner als direkte Bandbreitenspeicher von GPUs. Für Modelle, die große Einbettungstabellen oder aber auch Aufmerksamkeitsmatrizen erfordern, muss der WSE auf externen Speicher zurückgreifen, was seinen Leistungsvorteil verringert. Die Software-Ökosystem ist auch weniger reif als das von CUDA, und einige Forscher berichtet über Schwierigkeiten beim Übertragen von eigenen Kerneln.
Die Kosten des CS-2-Systems werden nicht öffentlich genannt, aber es wird auf Millionen Euro geschätzt, was es für kleine Forschungsgruppen unzugänglich macht. Cerebras hat darauf reagiert, indem es Cloud-Zugang durch eigene Rechenzentren und Kooperation mit Oracle Cloud und Azure anbietet.
Zukunftsaussichten
Cerebras entwickelt weiterhin an der WSE-Architektur. Der WSE-3, angekündigt 2024, wurde entwickelt, um das Training von Modellen mit bis zu 24 Billionen Param unterstützen, was erfordert erforderlich wäre, einen Cluster aus mehreren CS-3-Systemen aufzubauen. Das Unternehmen untersucht auch neue Packaging-Technologien, wie Chiplets, um Performance weiter zu erhöhen undnten Kosten zu senken.
Im Jahr 2023 reichte Cerebras einen Börsengang ein, aber die Pläne wurden auf dem Markt aufgeschoben. Das Unternehmen hat über 700 Millionen Dollar an Fördermitteln von Investoren erhalten, einschließlich OpenAI-Co-Founder Sam Altman (allerdings nicht in formeller Funktion) und Benchmark Capital. Der WSE bleibt bis 2024 ein Nischen- aber einflussreiches Produkt in der KI-Hardware-Landschaft, treibt die Grenzen dessen, was im Einzelchip-Computing möglich ist.
Rezeption und Auswirkungen
Der WSE hat gemischte Reaktionen von der KI-Community erhalten. Befürworterge liegt hervorheben seinen innovativen Ansatz zur Lösung des Speicher-Bandbreiten-Problems, während Skeptiker seine Praktikbarkeit und Kosten-Nutzen-E E Verfahren in Frage stellen. Unabhängige Studien Einfluss darauf gezeigt, dass für bestimmte Workloads, wie das spärliche Attentionnetzwerk und Graphprozessierung, der WSE-GPUs erheblich übertreffen kann, aber für andere ist der Vorteil weniger klar ist.
Trotz der Debatten beeinflusst der WSE das Design anderer KI-Chips, insbesondere im Bereich On-Chip-Speicher und Interconnect. Sein Erfolg hat hat auch die Konzept der Wafer-Scale-Integration bestätigt, die früher als unpraktisch galt. Da die generative AI-Modelle weiterhin wachsen, ist die sich fortschreitende Nachfrage nach spezialisierten Hardware wie dem WSE, obwohl die Wettbewerbslage dynamisch bleibt.
Siehe Auch
Referenzen
- Cerebras Systems. "Wafer-Scale Engine: An Introduction." 2019.
- Feldman, A. et al. "The Cerebras Wafer-Scale Engine." IEEE Micro, 2021.
- Cerebras Systems. "CS-3 System Oberblick." 2024.
- Sandia National Laboratories. "Real-Time Spiking Neural Network Simulation." 2022.
- G42. "Building the World's Largest KI Supercomputer." 2021.