Le Cerebras Wafer Scale Engine (WSE) est un processeur d'intelligence artificielle massif développé par Cerebras Systems, une entreprise fondée en 2015 par Andrew Feldman et d'autres. Contrairement aux puces conventionnelles découpées à partir d'une plaquette de silicium, le WSE utilise une plaquette entière comme une seule puce, intégrant des centaines de milliers de cœurs et une mémoire sur puce énorme. Cette conception vise à réduire les goulots d'étranglement de communication et les limitations de mémoire qui affectent les systèmes traditionnels basés sur GPU pour les charges de travail de apprentissage automatique et de apprentissage profond.
La première génération, le WSE-1, annoncée en 2019, contenait 1,2 billion de transistors et 400 000 cœurs optimisés pour l'IA, ce qui en faisait la plus grande puce jamais construite à l'époque. La deuxième génération, le WSE-2, sortie en 2021, a doublé le nombre de transistors pour atteindre 2,6 billions et augmenté le nombre de cœurs à 850 000, tout en portant la mémoire sur puce à 40 gigaoctets. En 2024, Cerebras a introduit le WSE-3, qui a encore amélioré les performances et l'efficacité, ciblant l'entraînement de grands modèles de langage et d'autres applications de IA générative.
Architecture et Conception
L'architecture du WSE est fondamentalement différente de celle des processeurs conventionnels. Au lieu de s'appuyer sur un petit nombre de cœurs puissants, le WSE regroupe des centaines de milliers de cœurs simples et économes en énergie sur une seule plaquette. Ces cœurs sont interconnectés par un réseau maillé qui offre une bande passante massive, permettant aux données de se déplacer rapidement entre les cœurs. Le WSE intègre également une grande quantité de mémoire statique à accès aléatoire (SRAM) directement sur la puce, réduisant ainsi le besoin d'accéder à la mémoire externe, souvent un goulot d'étranglement de performance dans les charges de travail d'IA.
La conception à l'échelle de la plaquette élimine le besoin d'encapsulation de puce et de communication inter-puces, courants dans les systèmes multi-puces. Cela se traduit par une latence plus faible et un débit plus élevé pour les tâches intensives en données. Le WSE est fabriqué à l'aide de processus semi-conducteurs avancés, le WSE-2 et le WSE-3 étant construits sur un processus de 7 nanomètres par TSMC.
Logiciel et Écosystème
Cerebras a développé une pile logicielle pour programmer le WSE, comprenant la plateforme logicielle Cerebras (CSoft). CSoft prend en charge des frameworks d'apprentissage profond populaires tels que TensorFlow et PyTorch, permettant aux développeurs d'exécuter des modèles existants avec des modifications minimales du code. La plateforme inclut un compilateur qui mappe les graphes de réseaux neuronaux sur les cœurs de la plaquette, optimisant les performances et l'utilisation de la mémoire.
L'entreprise propose également le Cerebras Wafer-Scale Cluster, un système qui combine plusieurs WSE pour faire évoluer l'entraînement de très grands modèles. Ce cluster est conçu pour gérer des modèles avec des billions de paramètres, courants dans les architectures modernes basées sur les transformeurs.
Performances et Applications
Le WSE a démontré des avantages significatifs en termes de performances tant pour l'entraînement que pour l'inférence. Par exemple, en 2023, Cerebras a annoncé que son système CS-2, alimenté par le WSE-2, pouvait entraîner un modèle de 175 milliards de paramètres (d'une échelle similaire à GPT-3) en utilisant une approche simple de parallélisme de données, sans nécessiter de parallélisme de modèle complexe. Cela a été réalisé en tirant parti de la grande mémoire sur puce et de la bande passante élevée du WSE.
Les performances d'inférence sont également solides, le WSE-3 étant capable de générer plus de 1 000 jetons par seconde pour les grands modèles de langage, selon l'entreprise. Cela le rend adapté aux applications en temps réel telles que l'IA conversationnelle et la génération de code.
Le WSE a été adopté par diverses organisations, notamment des agences gouvernementales et des institutions de recherche. Par exemple, le centre de recherche atomique Bhabha en Inde a utilisé les systèmes Cerebras pour le calcul scientifique. De plus, Cerebras a conclu un partenariat avec g42 (une société holding technologique) pour construire des supercalculateurs d'IA au Moyen-Orient.
Comparaison avec d'Autres Puces d'IA
Le WSE concurrence d'autres processeurs d'IA spécialisés, tels que AWS Trainium de Amazon Web Services, les processeurs de streaming tensoriel de Groq et les unités de flux de données reconfigurables de SambaNova. Contrairement aux GPU de NVIDIA (qui ne figurent pas dans la liste fournie mais constituent un concurrent majeur), le WSE se concentre sur la maximisation de la mémoire sur puce et la minimisation des déplacements de données. Cette approche peut être plus efficace pour certaines charges de travail, mais elle présente également des défis en termes de rendement de fabrication et d'intégration système.
Comparé à l'IPU (Intelligence Processing Unit) de Graphcore, le WSE offre un compromis différent : plus de cœurs mais moins de flexibilité en programmation. La conception à l'échelle de la plaquette du WSE le distingue également des offres d'Intel et d'AMD, qui utilisent un encapsulage de puce traditionnel avec plusieurs dies.
Défis et Limitations
L'un des principaux défis du WSE est le rendement de fabrication. Étant donné que la plaquette entière est utilisée comme une seule puce, tout défaut dans la plaquette peut rendre la puce entière inutilisable. Cerebras a résolu ce problème en mettant en œuvre des techniques de redondance et d'évitement des défauts, comme la cartographie autour des cœurs défectueux. Cependant, cela limite toujours la taille maximale et augmente le coût.
Une autre limitation concerne la consommation d'énergie et le refroidissement. Le WSE-2 consomme jusqu'à 15 kilowatts, nécessitant des solutions de refroidissement spécialisées. Cerebras utilise un système de refroidissement liquide personnalisé pour dissiper efficacement la chaleur.
La compatibilité logicielle est également une préoccupation. Bien que CSoft prenne en charge les frameworks populaires, certaines fonctionnalités avancées ou opérations personnalisées peuvent ne pas être entièrement optimisées. L'entreprise continue d'élargir son écosystème logiciel pour améliorer la convivialité.
Orientations Futures
Cerebras continue de faire évoluer l'architecture du WSE. Le WSE-3, annoncé en 2024, est conçu pour prendre en charge des modèles encore plus grands et des temps d'entraînement plus rapides. L'entreprise explore également des applications au-delà de l'IA, telles que les simulations scientifiques et le calcul haute performance.
En 2024, Cerebras a déposé une demande d'introduction en bourse (IPO), indiquant des plans d'expansion. L'entreprise vise à concurrencer plus directement les acteurs établis du marché du matériel d'IA.
Conclusion
Le Cerebras Wafer Scale Engine représente une rupture audacieuse par rapport à la conception de puces conventionnelle, offrant une échelle et des performances sans précédent pour les charges de travail d'IA. Bien qu'il soit confronté à des défis en matière de fabrication et d'adoption, il s'est taillé une niche sur le marché de l'informatique d'IA haut de gamme. Alors que les modèles d'IA continuent de croître, l'approche du WSE consistant à maximiser les ressources sur puce pourrait devenir de plus en plus pertinente.