Le Wafer-Scale Engine (WSE) est une série de processeurs à grande échelle développée par Cerebras Systems, une entreprise fondée en 2015 par Andrew Feldman, Gary Lauterbach et d'autres. Contrairement aux puces conventionnelles découpées dans une plaquette de silicium, le WSE utilise la plaquette entière comme une seule puce, permettant un nombre sans précédent de cœurs et de mémoire sur puce. Cette conception vise à réduire les goulots d'étranglement de communication qui affectent les systèmes multi-puces, ce qui la rend particulièrement adaptée à l'entraînement de grands modèles de langage et à d'autres charges de travail de apprentissage profond.
La première génération, WSE-1, a été annoncée en août 2019. Elle contenait 1,2 billion de transistors et 400 000 cœurs optimisés pour l'IA, fabriqués selon un processus de 16 nanomètres par TSMC. La puce mesurait 46 225 millimètres carrés, soit plus de 50 fois la taille des plus grandes unités de traitement graphique de l'époque. La deuxième génération, WSE-2, a suivi en avril 2021, utilisant un processus de 7 nanomètres, doublant le nombre de cœurs à 850 000 et augmentant la mémoire sur puce à 40 gigaoctets. En mars 2024, Cerebras a introduit le WSE-3, construit sur un processus de 5 nanomètres, avec 900 000 cœurs et 44 gigaoctets de SRAM sur puce, visant l'entraînement de modèles avec jusqu'à 24 billions de paramètres.
Architecture et conception
L'innovation principale du WSE réside dans son intégration à l'échelle de la plaquette. Au lieu de fabriquer de nombreuses petites puces sur une plaquette et de les conditionner séparément, Cerebras maintient la plaquette entière intacte, avec des circuits redondants pour contourner les défauts de fabrication. Cette approche élimine le besoin de communication inter-puces sur un circuit imprimé, souvent un goulot d'étranglement de performance dans les systèmes distribués. La puce utilise un réseau de cœurs connectés en maille, chacun avec sa propre mémoire, permettant un mouvement de données à haute bande passante et faible latence.
Chaque cœur est un processeur simplifié optimisé pour les opérations d'algèbre linéaire creuse courantes dans les réseaux de neurones. Les cœurs prennent en charge une gamme de formats de données, notamment FP16, BF16 et FP32, et sont conçus pour exécuter efficacement des opérations denses et creuses. La mémoire sur puce est distribuée à travers les cœurs, fournissant une bande passante totale qui dépasse de loin celle des systèmes de mémoire GPU traditionnels. Cette architecture réduit la dépendance à la mémoire externe, souvent un facteur limitant dans l'entraînement de l'IA.
Le WSE n'est pas un produit autonome ; il est intégré dans les systèmes CS-2 et CS-3 de Cerebras, qui incluent un système d'alimentation électrique et une solution de refroidissement. Le CS-2, sorti en 2020, héberge le WSE-2, tandis que le CS-3, annoncé en 2024, héberge le WSE-3. Ces systèmes sont conçus pour être branchés dans des centres de données existants et sont souvent utilisés en grappes pour l'entraînement à grande échelle.
Performance et benchmarks
Cerebras a publié plusieurs benchmarks de performance pour le WSE. En 2021, l'entreprise a démontré qu'un seul système CS-2 pouvait entraîner un modèle de 1,8 milliard de paramètres utilisant l'architecture GPT, atteignant une mise à l'échelle quasi linéaire lorsque plusieurs systèmes étaient connectés. En 2022, Cerebras et les laboratoires nationaux de Sandia ont utilisé un CS-2 pour simuler un réseau de neurones impulsionnels de 200 millions de neurones en temps réel, une tâche qui nécessiterait un supercalculateur avec des milliers de GPU.
En 2023, Cerebras a rapporté que ses systèmes pouvaient entraîner un modèle de 7 milliards de paramètres en moins de temps qu'une grappe de 16 NVIDIA A100 GPU, en raison de la réduction des frais de communication. Le WSE-3, selon l'entreprise, peut fournir jusqu'à 125 pétaflops de calcul IA, ce qui en fait l'un des processeurs à puce unique les plus puissants pour l'IA. Cependant, les benchmarks indépendants sont limités, et la plupart des affirmations de performance proviennent de Cerebras elle-même.
Écosystème logiciel
Pour programmer le WSE, Cerebras a développé la plateforme logicielle Cerebras (CSoft), qui comprend un compilateur qui mappe les modèles de apprentissage automatique à l'architecture de la puce. CSoft prend en charge des frameworks populaires comme TensorFlow et PyTorch, permettant aux chercheurs d'exécuter des modèles existants sans modifications majeures du code. Le compilateur gère la planification du flux de données, l'allocation de mémoire et l'optimisation pour la conception à l'échelle de la plaquette.
Cerebras fournit également une bibliothèque d'implémentations de modèles pré-optimisés, y compris des transformeurs, des réseaux convolutifs et des réseaux récurrents. La pile logicielle inclut des outils pour l'entraînement distribué sur plusieurs systèmes CS, utilisant une technique appelée diffusion de poids, qui achemine les poids du modèle à travers la mémoire de la puce. Cette approche permet d'entraîner des modèles plus grands que la mémoire sur puce en diffusant les poids depuis un stockage externe.
Applications et cas d'utilisation
Le WSE a été adopté par diverses organisations à des fins commerciales et de recherche. En 2021, le groupe G42 aux Émirats arabes unis a établi un partenariat avec Cerebras pour construire un supercalculateur pour la recherche en IA, qui a ensuite été utilisé pour entraîner les modèles Jais et Falcon. En 2023, Cerebras a annoncé une collaboration avec Qualcomm pour développer des modèles d'IA sur appareil, bien que les détails de ce partenariat restent limités.
Dans le secteur de la santé, Cerebras a travaillé avec des entreprises pharmaceutiques pour accélérer les simulations de découverte de médicaments. La capacité de la puce à gérer des réseaux de neurones graphiques à grande échelle a été utilisée pour la prédiction de propriétés moléculaires. De plus, le WSE a été employé dans la prévision météorologique, avec des expériences montrant un entraînement plus rapide de modèles climatiques à haute résolution par rapport aux grappes GPU.
Comparaison avec d'autres matériels IA
Le WSE concurrence d'autres processeurs IA spécialisés, tels que les unités de traitement de langage de Groq et les unités de flux de données reconfigurables de SambaNova. Contrairement aux GPU, qui sont des processeurs parallèles à usage général, le WSE est une architecture spécifique à un domaine optimisée pour les charges de travail IA. Son principal avantage est l'élimination de la communication inter-puces, qui peut représenter un frais significatif dans l'entraînement à grande échelle.
Cependant, la taille et la consommation d'énergie du WSE (jusqu'à 15 kilowatts pour le CS-2) limitent son déploiement aux centres de données avec un refroidissement adéquat. En revanche, AWS Trainium et les TPU de Google sont proposés comme services cloud, ce qui peut être plus accessible pour de nombreuses organisations. Le WSE fait également face à la concurrence des accélérateurs Instinct d'AMD et des processeurs Gaudi d'Intel, qui sont plus conventionnels dans leur conception mais bénéficient d'écosystèmes logiciels matures.
Défis et limitations
L'un des principaux défis du WSE est le rendement de fabrication. Produire une plaquette sans défaut est difficile, mais Cerebras utilise une technique appelée « redondance » pour tolérer les défauts en désactivant les cœurs défectueux et en réacheminant la communication. Cette approche permet à l'entreprise d'utiliser des plaquettes qui seraient autrement jetées, mais elle signifie également que le nombre effectif de cœurs varie entre les puces.
Une autre limitation est la capacité mémoire. Bien que la mémoire sur puce soit grande, elle reste plus petite que la mémoire à haute bande passante disponible sur les GPU. Pour les modèles qui nécessitent de grandes tables d'incorporation ou des matrices d'attention, le WSE doit s'appuyer sur la mémoire externe, ce qui réduit son avantage de performance. De plus, l'écosystème logiciel est moins mature que celui de CUDA, et certains chercheurs ont signalé des difficultés à porter des noyaux personnalisés.
Le coût du système CS-2 n'est pas divulgué publiquement, mais il est estimé à plusieurs millions de dollars, ce qui le rend inaccessible pour de nombreux petits groupes de recherche. Cerebras a répondu à cela en offrant un accès cloud via ses propres centres de données et des partenariats avec Oracle Cloud et Azure.
Directions futures
Cerebras continue d'itérer sur l'architecture WSE. Le WSE-3, annoncé en 2024, est conçu pour prendre en charge l'entraînement de modèles avec jusqu'à 24 billions de paramètres, ce qui nécessiterait une grappe de plusieurs systèmes CS-3. L'entreprise explore également de nouvelles technologies de conditionnement, telles que les chiplets, pour augmenter davantage les performances et réduire les coûts.
En 2023, Cerebras a déposé une demande d'introduction en bourse, mais les plans ont été retardés en raison des conditions du marché. L'entreprise a levé plus de 700 millions de dollars de financement auprès d'investisseurs, y compris le cofondateur d'OpenAI Sam Altman (bien que non à titre officiel) et Benchmark Capital. En 2024, le WSE reste un produit de niche mais influent dans le paysage du matériel IA, repoussant les limites de ce qui est possible dans le calcul à puce unique.
Réception et impact
Le WSE a reçu des réactions mitigées de la communauté IA. Les partisans soulignent son approche innovante pour résoudre le problème de la bande passante mémoire, tandis que les sceptiques remettent en question sa praticité et son rapport coût-efficacité par rapport aux grappes GPU. Des études indépendantes ont montré que pour certaines charges de travail, telles que l'attention creuse et le traitement de graphes, le WSE peut surpasser les GPU d'une marge significative, mais pour d'autres, l'avantage est moins clair.
Malgré les débats, le WSE a influencé la conception d'autres puces IA, en particulier dans le domaine de la mémoire sur puce et des interconnexions. Son succès a également validé le concept d'intégration à l'échelle de la plaquette, auparavant considéré comme impraticable. Alors que les modèles de IA générative continuent de croître en taille, la demande pour du matériel spécialisé comme le WSE est susceptible d'augmenter, bien que le paysage concurrentiel reste dynamique.
Voir aussi
Références
- Cerebras Systems. « Wafer-Scale Engine: An Introduction. » 2019.
- Feldman, A. et al. « The Cerebras Wafer-Scale Engine. » IEEE Micro, 2021.
- Cerebras Systems. « CS-3 System Overview. » 2024.
- Sandia National Laboratories. « Real-Time Spiking Neural Network Simulation. » 2022.
- G42. « Building the World's Largest AI Supercomputer. » 2021.