d-Matrix est une startup de semi-conducteurs spécialisée dans la construction de systèmes informatiques pour l'inférence en intelligence artificielle, en particulier pour les grands modèles de langage. L'entreprise développe une architecture de puce qui intègre la mémoire et le calcul afin de réduire l'énergie et la latence associées à l'exécution de réseaux neuronaux entraînés. Fondée en 2019, d-Matrix s'est positionnée dans le domaine concurrentiel des accélérateurs d'IA, ciblant les déploiements en centre de données où les charges de travail d'inférence dominent.
La technologie de base derrière les produits de d-Matrix est le calcul numérique en mémoire (DIMC), qui diffère des architectures von Neumann traditionnelles séparant les unités de traitement de la mémoire. En effectuant des opérations de multiplication-accumulation directement dans les matrices de mémoire, la conception vise à minimiser le mouvement des données, un goulot d'étranglement majeur dans l'inférence en IA. La première puce commerciale de l'entreprise, le Nighthawk, a été annoncée en 2024, avec un successeur, le Corsair, prévu pour 2025.
Fondation et historique initial
d-Matrix a été fondée en 2019 par Sid Sheth, qui a précédemment travaillé chez Intel et AMD, et Sudeep Bhoja, un ancien ingénieur chez Broadcom. Les deux se sont rencontrés en travaillant sur les interconnexions à haute vitesse et ont reconnu la demande croissante pour du matériel d'inférence efficace. L'entreprise a initialement opéré en mode furtif, levant un financement d'amorçage auprès de sociétés de capital-risque, notamment Wing Venture Capital et M12, le fonds de capital-risque de Microsoft.
En 2021, d-Matrix est sortie de la clandestinité avec 44 millions de dollars en financement de série A, mené par Playground Global. Ce tour de financement a également inclus la participation de SK Hynix, un grand fabricant de mémoire, signalant l'intérêt de l'industrie de la mémoire pour les technologies de calcul en mémoire. D'ici 2023, l'entreprise avait levé 110 millions de dollars supplémentaires en financement de série B, avec des investisseurs tels que Temasek et Innovation Endeavors, portant le financement total à plus de 154 millions de dollars.
L'objectif initial de l'entreprise était de développer une puce capable de gérer les exigences spécifiques des modèles basés sur les transformeurs, qui étaient devenus l'architecture dominante dans le traitement du langage naturel et la IA générative. Les fondateurs pensaient que les GPU conventionnels, bien que puissants pour l'entraînement, étaient inefficaces pour l'inférence en raison de leurs exigences élevées en bande passante mémoire.
Technologie : Calcul numérique en mémoire
L'innovation fondamentale chez d-Matrix est son architecture de calcul numérique en mémoire. Contrairement aux approches de calcul en mémoire analogique, qui utilisent des propriétés physiques comme la résistance ou la capacitance pour effectuer des calculs, d-Matrix utilise une logique numérique intégrée dans les cellules mémoire. Cette approche vise à combiner les avantages d'une réduction du mouvement des données avec la précision et la fiabilité du calcul numérique.
Dans une inférence de réseau neuronal traditionnelle, les poids sont stockés en mémoire et doivent être récupérés vers une unité de calcul séparée pour chaque opération. Ce transfert constant de données consomme une énergie et un temps considérables. L'architecture DIMC de d-Matrix place les éléments de calcul directement adjacents ou dans la matrice mémoire, permettant aux opérations de multiplication-accumulation de se produire là où les données résident. Cela réduit le besoin de mouvement extensif des données, potentiellement en abaissant la latence et la consommation d'énergie.
Les puces de l'entreprise sont conçues pour prendre en charge l'inférence de grands modèles de langage, y compris des modèles avec des milliards de paramètres. L'architecture est optimisée pour les opérations de multiplication matricielle qui dominent les modèles de transformeurs, qui sont la base de systèmes comme la série GPT de OpenAI et Claude de Anthropic. d-Matrix affirme que son approche peut atteindre un débit par watt plus élevé par rapport aux accélérateurs traditionnels, bien que les benchmarks indépendants aient été limités en 2025.
Gamme de produits : Nighthawk et Corsair
d-Matrix a annoncé son premier produit, le Nighthawk, en mars 2024. Le Nighthawk est une carte PCIe conçue pour l'accélération de l'inférence, avec 32 Go de mémoire sur puce et prenant en charge des modèles jusqu'à 70 milliards de paramètres sur une seule carte. La carte est fabriquée avec un processus de 5 nanomètres de TSMC, une fonderie de semi-conducteurs de premier plan. Le Nighthawk est destiné à être utilisé dans des serveurs, où plusieurs cartes peuvent être combinées pour gérer des modèles plus grands.
En octobre 2024, d-Matrix a dévoilé sa puce de deuxième génération, le Corsair, qui devrait être expédiée en 2025. Le Corsair est conçu pour offrir des performances supérieures au Nighthawk, avec une capacité mémoire et une densité de calcul améliorées. L'entreprise a déclaré que le Corsair prendra en charge des modèles dépassant 100 milliards de paramètres sur une seule carte, ciblant les déploiements d'entreprise d'applications de IA générative.
Les deux puces sont accompagnées d'une pile logicielle appelée le compilateur d-Matrix, qui traduit les modèles de frameworks comme PyTorch en code optimisé pour le matériel. Le logiciel inclut le support des architectures de modèles courantes, y compris les transformeurs et les variantes de réseaux résiduels, et vise à simplifier le processus de déploiement pour les développeurs.
Position sur le marché et concurrence
d-Matrix opère dans un marché saturé d'accélérateurs d'inférence en IA. Les principaux concurrents incluent Groq, qui propose une unité de traitement du langage (LPU) optimisée pour les charges de travail séquentielles, et SambaNova, qui utilise une architecture de flux de données reconfigurable. Des acteurs établis comme Nvidia dominent le marché plus large des accélérateurs d'IA, tandis que AMD et Intel ont également introduit des produits axés sur l'inférence.
L'entreprise se différencie par son accent sur le calcul en mémoire, qu'elle soutient être plus efficace que les approches reposant sur la mémoire à haute bande passante (HBM) comme celles utilisées par les GPU de Nvidia. La technologie de d-Matrix vise particulièrement à réduire le coût par jeton pour servir de grands modèles, un indicateur clé pour les fournisseurs de cloud et les entreprises.
En 2025, d-Matrix n'a pas divulgué de grands clients publics, bien qu'elle ait annoncé des partenariats avec Amazon Web Services pour une intégration potentielle dans ses offres cloud. L'entreprise travaille également avec Oracle Cloud et Azure pour explorer des options de déploiement, bien que ces relations en soient à un stade précoce.
Financement et investisseurs
d-Matrix a levé un total de 154 millions de dollars sur plusieurs tours. Le tour d'amorçage, dont le montant n'est pas divulgué, a été suivi du financement de série A de 44 millions de dollars en 2021 et du financement de série B de 110 millions de dollars en 2023. Les investisseurs clés incluent Playground Global, Wing Venture Capital, M12, Temasek et Innovation Endeavors. La participation de SK Hynix, un fabricant de puces mémoire, est notable compte tenu de l'accent mis par l'entreprise sur le calcul en mémoire.
Le financement a été utilisé pour développer la pile matérielle et logicielle, ainsi que pour recruter des talents en ingénierie. En 2025, l'entreprise emploie environ 100 personnes, avec des bureaux à Santa Clara, en Californie, et à Bangalore, en Inde. Le bureau de Bangalore se concentre sur le développement logiciel et l'optimisation du compilateur.
Applications et cas d'utilisation
Le principal marché cible de d-Matrix est l'inférence en centre de données pour les applications de grands modèles de langage. Cela inclut les chatbots, la génération de code et le résumé de documents, qui sont de plus en plus déployés par les entreprises. Le matériel de l'entreprise est conçu pour gérer les exigences de débit élevé du service à de nombreux utilisateurs simultanément, un scénario courant dans les environnements cloud.
Au-delà des modèles de langage, les puces de d-Matrix peuvent accélérer d'autres charges de travail de apprentissage profond, y compris la vision par ordinateur et les systèmes de recommandation. L'architecture est suffisamment générale pour prendre en charge divers types de réseaux neuronaux, bien que le marketing de l'entreprise mette l'accent sur les modèles basés sur les transformeurs. La faible latence du calcul en mémoire pourrait bénéficier aux applications en temps réel comme la conduite autonome, bien que d-Matrix n'ait pas annoncé de partenariats dans ce secteur.
L'entreprise cible également les scénarios d'inférence en périphérie où l'efficacité énergétique est critique. Cependant, ses produits actuels sont conçus pour des environnements serveur, et le déploiement en périphérie nécessiterait une miniaturisation et une réduction de puissance supplémentaires.
Défis et perspectives d'avenir
Le marché des accélérateurs d'IA est hautement concurrentiel, avec des avancées technologiques rapides et des exigences de capital importantes. d-Matrix fait face à des défis pour passer à l'échelle de la production et convaincre les clients d'adopter une nouvelle architecture. L'entreprise doit également concurrencer l'écosystème et la maturité logicielle de la plateforme CUDA de Nvidia, qui est devenue la norme de l'industrie.
Des obstacles techniques subsistent pour prouver la fiabilité et les performances du calcul en mémoire à grande échelle. Bien que les approches numériques atténuent certains problèmes du calcul analogique, tels que le bruit et la perte de précision, elles nécessitent toujours une intégration minutieuse avec l'infrastructure serveur existante. Le succès de la puce Corsair en 2025 sera un test critique de la technologie de l'entreprise.
À l'avenir, d-Matrix vise à étendre sa gamme de produits et potentiellement à entrer sur le marché de l'entraînement, bien que l'entraînement soit plus intensif en calcul et puisse ne pas bénéficier autant des techniques en mémoire. L'entreprise explore également des partenariats avec TSMC pour la fabrication avancée et avec Arm Holdings pour une intégration potentielle dans des serveurs basés sur ARM. En 2025, d-Matrix reste une entreprise privée sans plans annoncés pour une introduction en bourse.
Direction et équipe
Sid Sheth, le PDG, a plus de deux décennies d'expérience dans l'industrie des semi-conducteurs, ayant occupé des postes d'ingénierie et de gestion chez Intel et AMD. Sudeep Bhoja, le CTO, a précédemment travaillé chez Broadcom sur les technologies d'interconnexion à haute vitesse. L'équipe de direction comprend des vétérans d'entreprises comme Qualcomm et Samsung Electronics, apportant une expertise en conception de puces et en fabrication.
Le conseil consultatif technique de l'entreprise comprend des universitaires et des experts de l'industrie en apprentissage automatique et en architecture informatique, bien que les noms spécifiques n'aient pas été divulgués publiquement. L'équipe a publié plusieurs articles sur les techniques de calcul en mémoire, contribuant à la communauté de recherche plus large.