Cerebras Inference est un service d'inférence IA basé sur le cloud, développé par Cerebras Systems, une entreprise connue pour ses puces à moteur à l'échelle de la tranche (WSE). Le service est conçu pour exécuter de grands modèles de langage et d'autres modèles d'apprentissage profond à des vitesses nettement supérieures à celles des infrastructures conventionnelles basées sur GPU, ciblant les entreprises et les développeurs qui nécessitent des réponses à faible latence pour des applications d'IA en production. Lancé en 2024, il exploite le matériel personnalisé de l'entreprise pour offrir une alternative aux fournisseurs de cloud établis et aux startups spécialisées dans les puces d'IA.
Le service fonctionne via une API simple, permettant aux utilisateurs de déployer des modèles sans gérer l'infrastructure sous-jacente. Il prend en charge une gamme de modèles à poids ouverts, y compris ceux des familles Llama et Mistral, et a été commercialisé comme une solution rentable pour les tâches d'inférence à haut débit. En se concentrant sur la phase d'inférence plutôt que sur l'entraînement, Cerebras Inference répond à la demande croissante de service de modèles rapide et évolutif dans des domaines tels que les chatbots, la génération de code et l'analyse en temps réel.
Fondement matériel
Cerebras Inference repose sur le moteur à l'échelle de la tranche de l'entreprise, une tranche de silicium unique qui fonctionne comme un processeur massif. Contrairement aux puces traditionnelles découpées en dés individuels, le WSE intègre des milliers de cœurs et de mémoire sur puce, réduisant ainsi le besoin de déplacement de données entre composants séparés. Le WSE-2 de deuxième génération, introduit en 2021, contient 850 000 cœurs et 40 gigaoctets de SRAM sur puce, lui permettant de conserver des modèles entiers en mémoire et d'éviter les goulots d'étranglement associés à l'accès mémoire externe.
Cette architecture est particulièrement adaptée à l'inférence car elle permet une bande passante mémoire extrêmement élevée et une faible latence. Par exemple, le service a rapporté des taux de génération de jetons dépassant 1 800 jetons par seconde pour certains modèles, un chiffre qui surpasse de nombreux systèmes basés sur GPU. Le matériel est fabriqué en partenariat avec TSMC, qui produit les composants à l'échelle de la tranche en utilisant des nœuds de processus avancés.
Fonctionnalités du service et modèles
Le service fournit une API gérée qui prend en charge les réponses en streaming et non streaming, avec une compatibilité pour les points de terminaison de style OpenAI afin de faciliter l'intégration pour les développeurs. Il a initialement été lancé avec le support des modèles Llama 3.1 8B et 70B, suivi d'ajouts comme Mistral 7B et des versions ultérieures de Llama et Qwen. En 2025, la plateforme s'est étendue pour inclure des modèles avec jusqu'à 405 milliards de paramètres, bien que de tels grands modèles puissent nécessiter une exécution distribuée sur plusieurs tranches.
Cerebras Inference propose également un niveau sans serveur avec une limite de débit gratuite pour l'expérimentation, ainsi que des plans payants pour les charges de travail de production. Le service inclut des fonctionnalités comme la sortie structurée, l'appel de fonctions et le mode JSON, courantes dans les plateformes modernes de LLM. Il ne propose pas de capacités de réglage fin lors de ses premières versions, se concentrant plutôt sur le service de modèles pré-entraînés.
Performance et benchmarks
Des benchmarks indépendants ont mis en évidence la vitesse de Cerebras Inference, en particulier pour les modèles plus petits. Dans des tests menés par artificial analysis, le service a atteint le débit le plus élevé parmi les principaux fournisseurs pour certains modèles Llama, surpassant les offres de Groq, SambaNova et AWS. La faible latence est attribuée à la conception à l'échelle de la tranche, qui élimine le besoin de déplacement des données entre des puces mémoire séparées.
Cependant, les performances varient selon la taille du modèle et le schéma de requêtes. Pour de très grands modèles, le service peut ne pas surpasser les clusters GPU de premier plan, et l'entreprise a reconnu que son avantage est le plus prononcé pour les modèles qui tiennent entièrement dans la mémoire sur puce. Le service prend également en charge le traitement par lots, ce qui peut améliorer l'efficacité pour les applications à volume élevé.
Paysage concurrentiel
Cerebras Inference concurrence un marché encombré de fournisseurs d'inférence IA. Les grandes plateformes cloud comme Google Cloud, Azure et AWS offrent des services d'inférence basés sur GPU, tandis que des startups spécialisées comme Groq et SambaNova fournissent des solutions matérielles personnalisées. Cerebras se différencie par son approche à l'échelle de la tranche, qui offre une combinaison unique de bande passante mémoire et de densité de calcul.
Le service fait partie d'une tendance plus large vers une infrastructure IA dédiée, aux côtés d'entreprises comme Graphcore et D-Wave, bien que ces entreprises se concentrent sur des segments différents. Cerebras s'est également positionné comme un partenaire pour les entreprises cherchant à éviter le verrouillage fournisseur, offrant des modèles à poids ouverts qui peuvent être déployés sur plusieurs plateformes.
Adoption et cas d'utilisation
Les premiers adoptants de Cerebras Inference incluent des startups et des organisations de recherche qui nécessitent des réponses IA en temps réel, telles que des agents conversationnels et des assistants de codage. Le service a été utilisé dans des applications allant de l'automatisation du support client à l'analyse de données scientifiques. Sa faible latence le rend adapté aux cas d'utilisation interactifs où les utilisateurs attendent un retour immédiat, comme dans les outils de IA générative.
L'entreprise a rapporté des partenariats avec des institutions académiques et des entreprises, bien que les noms de clients spécifiques ne soient pas toujours divulgués. En 2025, le service continue d'évoluer, avec des plans pour ajouter plus de modèles et de fonctionnalités en fonction des retours des utilisateurs. Son modèle de tarification est compétitif, sous-cotant souvent les alternatives basées sur GPU pour les charges de travail à haut débit.
Orientations futures
Cerebras Systems a indiqué qu'il étendra le service d'inférence pour prendre en charge des architectures de modèles supplémentaires et des nombres de paramètres plus importants. L'entreprise travaille également sur l'amélioration de la mise à l'échelle multi-tranches pour gérer des modèles qui dépassent la capacité mémoire d'une seule puce. Avec l'avancement rapide des modèles de apprentissage automatique, le service vise à rester à la pointe de l'inférence à faible latence, en intégrant potentiellement des technologies émergentes comme les variantes de transformers et les innovations en réseaux de neurones.
Alors que la demande pour l'inférence IA croît, Cerebras Inference représente une tentative notable de défier la domination des fabricants de puces traditionnels et des fournisseurs de cloud. Son succès dépendra de l'amélioration continue du matériel et de la capacité à attirer une large communauté de développeurs.