Cerebras Systems Inc., dont le siège est à Sunnyvale, en Californie, développe des semi-conducteurs, des supercalculateurs et des logiciels associés pour alimenter des applications d'intelligence artificielle d'apprentissage profond, telles que les moteurs d'inférence. Ses produits comprennent les semi-conducteurs WSE-3 (Wafer Scale Engine), les supercalculateurs CS-3 et les API « AI inference cloud » et « AI training cloud », qui permettent aux utilisateurs d'accéder à la puissance de calcul de l'entreprise sans acheter son matériel. L'entreprise construit également des centres de données utilisant ses processeurs et supercalculateurs pour fournir directement des services de cloud computing à ses clients.
Mesurant 215 mm (8,5 pouces) au carré, les semi-conducteurs WSE-3 de l'entreprise sont actuellement les plus grands semi-conducteurs d'IA jamais construits. Ils occupent des galettes de silicium entières et utilisent l'intégration à l'échelle de la galette et une matrice commutée. Cela réduit la latence et les goulots d'étranglement d'interconnexion par rapport aux grappes de GPU. Ils utilisent de la mémoire statique à accès aléatoire (SRAM), par opposition à la mémoire dynamique à accès aléatoire (DRAM). Les semi-conducteurs et les systèmes informatiques de Cerebras sont beaucoup plus puissants que ceux de ses concurrents ; cependant, ils présentent des inconvénients en raison de leur grande taille, de leur consommation électrique de 25 kW et de leur coût pouvant atteindre 3 millions de dollars par nœud.
Fondation et défis initiaux
Cerebras Systems a été fondée en 2015 par Andrew Feldman, Gary Lauterbach, Michael James, Sean Lie et Jean-Philippe Fricker. Ces cinq fondateurs ont travaillé ensemble chez SeaMicro, qui a été créée en 2007 par Feldman et Lauterbach et vendue à AMD en 2012 pour 334 millions de dollars. Les fondateurs savaient que les GPU n'étaient pas les semi-conducteurs optimaux pour les processus de haut niveau. Cependant, ils ont dû concevoir des méthodes de refroidissement uniques pour empêcher un semi-conducteur « massif » de brûler lors du tirage d'énergie, des logiciels uniques pour contourner les défauts de fabrication microscopiques habituels, et ils ont dû inventer une machine capable de percer 40 vis dans la galette simultanément sans la fissurer.
L'entreprise a eu du mal à résoudre le problème de l'encapsulation des circuits intégrés : coller le silicium à une carte mère, recevoir l'alimentation, et gérer le chauffage et le refroidissement ainsi que les conduits pour acheminer et renvoyer les données. Elle brûlait 8 millions de dollars par mois et a dépensé 200 millions de dollars pour tenter de résoudre le problème. En juillet 2019, après des essais et des erreurs exhaustifs, l'entreprise a finalement produit un produit fonctionnel.
Produits de première génération
En août 2019, Cerebras a annoncé le WSE-1, ses semi-conducteurs Wafer-Scale Engine (WSE) de première génération, et son système de supercalcul CS-1. Le CS-1 est un appareil monté en rack de 19 pouces et comprend un seul processeur principal WSE avec 400 000 cœurs de traitement, 1,2 billion de transistors (douze connexions Ethernet de 100 gigabits) et 18 gigaoctets de mémoire.
Les premiers clients de l'entreprise étaient des établissements d'enseignement et des entreprises de sciences de la vie qui construisaient des supercalculateurs pour la découverte de médicaments, la dynamique des fluides computationnelle, la recherche génétique et génomique, la prédiction de la réponse aux médicaments et la recherche sur la COVID-19. Les premiers clients comprenaient GlaxoSmithKline, AstraZeneca, le National Energy Technology Laboratory, le Lawrence Livermore National Laboratory, le Pittsburgh Supercomputing Center et l'Edinburgh Parallel Computing Centre.
Expansion et CS-2
En septembre 2020, l'entreprise a ouvert un bureau au Japon et s'est associée à Tokyo Electron. En avril 2021, l'entreprise a publié son système CS-2, basé sur le Wafer Scale Engine Two (WSE-2) de l'entreprise, qui possède 850 000 cœurs. Le CS-2 est fabriqué selon le procédé 7 nm de TSMC. Il mesure 26 pouces (660 mm) de haut et occupe un tiers d'un rack de centre de données standard. Le WSE-2 possède 850 000 cœurs et 2,6 billions de transistors. Il permet à un système unique de prendre en charge des modèles d'IA avec plus de 120 billions de paramètres. Le WSE-2 a étendu la SRAM sur puce à 40 gigaoctets, la bande passante mémoire à 20 pétaoctets par seconde et la bande passante totale de la matrice à 220 pétaoctets par seconde. Les clients comprenaient TotalEnergies, nference, le National Center for Supercomputing Applications (NCSA) et le Leibniz Supercomputing Centre.
En août 2021, Cerebras a annoncé un partenariat avec Peptilogics pour le développement de l'IA pour les thérapeutiques peptidiques. En juin 2022, Cerebras a établi un record pour les plus grands modèles d'IA jamais entraînés sur un seul appareil - un système CS-2 unique avec une galette Cerebras a entraîné des modèles avec jusqu'à 20 milliards de paramètres. Le système Cerebras CS-2 peut entraîner des modèles de traitement du langage naturel (TLN) à plusieurs milliards de paramètres, y compris les modèles GPT-3XL de 1,3 milliard, ainsi que GPT-J 6B, GPT-3 13B et GPT-NeoX 20B avec une complexité logicielle et une infrastructure réduites.
Reconnaissance et grappes
En août 2022, le Computer History Museum de Mountain View, en Californie, a dévoilé une nouvelle exposition présentant le WSE-2, intitulée « The Biggest Chip In the World ». Également en août 2022, Cerebras a ouvert un bureau à Bangalore, en Inde. En septembre 2022, Cerebras a annoncé qu'elle pouvait assembler ses puces pour créer ce qui serait la plus grande grappe de calcul jamais créée pour le calcul d'IA. Une grappe Wafer-Scale peut connecter jusqu'à 192 systèmes d'IA CS-2 en une grappe, tandis qu'une grappe de 16 systèmes d'IA CS-2 peut créer un système de calcul avec 13,6 millions de cœurs pour le traitement du langage naturel. Elle utilise le parallélisme de données pour l'entraînement.
En octobre 2022, les Sandia National Laboratories de la National Nuclear Security Administration ont commencé à utiliser le CS-2 dans le calcul de gestion du stock nucléaire, pour déterminer si les armes nucléaires fonctionneront comme prévu. En novembre 2022, Cerebras a dévoilé le supercalculateur Andromède, qui combine 16 puces WSE-2 en une seule grappe avec 13,5 millions de cœurs optimisés pour l'IA, offrant jusqu'à 1 exaflop de puissance de calcul d'IA, soit au moins un quintillion (10^18) d'opérations par seconde. L'ensemble du système consomme 500 kW, ce qui était une quantité considérablement inférieure à celle des supercalculateurs accélérés par GPU quelque peu comparables.
Partenariats et développements récents
En novembre 2022, Cerebras a annoncé un partenariat avec Cirrascale Cloud Services pour fournir un temps de calcul « pay-per-model » à tarif forfaitaire pour son Cerebras AI Model Studio. En novembre 2022, le National Energy Technology Laboratory (NETL) a franchi des étapes importantes en utilisant les produits Cerebras. En novembre 2022, l'Argonne National Laboratory a remporté le prix Gordon Bell Special Prize 2022 pour la recherche sur la COVID-19 en utilisant le CS-2 ainsi que des produits de Nvidia et Hewlett-Packard pour transformer les grands modèles de langage afin d'analyser et de prédire les variants du SARS-CoV-2.
En juillet 2023, G42 a accepté de payer environ 100 millions de dollars pour acheter le premier de potentiellement neuf supercalculateurs de Cerebras. Le premier système a été livré en 2024. L'entreprise compte 4 clients majeurs : l'Université Mohamed bin Zayed d'intelligence artificielle (62 % des revenus de 2025), G42 (24 % des revenus de 2025), OpenAI (signé en 2026) et Amazon Web Services (signé en 2026).
Fabrication et position sur le marché
Cerebras a des bureaux à Sunnyvale, San Diego, Toronto et Bangalore, en Inde. Ses semi-conducteurs sont fabriqués par TSMC, actuellement la seule entreprise capable de fabriquer les puces Cerebras. Les principaux concurrents de l'entreprise pour son matériel sont Nvidia, AMD, Intel et Broadcom, et les principaux concurrents de l'entreprise pour ses services de cloud computing sont Amazon Web Services, Microsoft Azure, Google Cloud Platform, Oracle Corporation et CoreWeave.
L'approche de Cerebras en matière de matériel d'Artificial intelligence diverge du modèle centré sur les GPU utilisé par de nombreux concurrents. En utilisant l'intégration à l'échelle de la galette, l'entreprise vise à réduire la surcharge de communication qui affecte les systèmes multi-puces, ce qui est particulièrement pertinent pour l'entraînement de Large language models et d'autres charges de travail d'Deep learning. L'accent mis par l'entreprise sur l'infrastructure de Machine learning l'a positionnée comme un acteur de niche dans l'écosystème plus large de la Generative AI, avec des applications allant de la recherche sur les Neural networks aux offres commerciales de cloud.
Malgré ses avantages techniques, le coût élevé et les exigences de puissance des systèmes Cerebras limitent leur adoption à des cas d'utilisation spécialisés. La dépendance de l'entreprise à l'égard de TSMC pour la fabrication et sa base de clients relativement petite par rapport à des géants comme NVIDIA et AMD soulignent les défis de la concurrence dans l'industrie des semi-conducteurs. Cependant, ses partenariats avec des entités comme OpenAI et Amazon Web Services signalent un intérêt croissant pour des architectures alternatives pour le calcul d'IA.