d-Matrix ist ein Halbleiter-Startup, das sich auf den Bau von Computersystemen für die Inferenz künstlicher Intelligenz konzentriert, insbesondere für große Sprachmodelle. Das Unternehmen entwickelt eine Chip-Architektur, die Speicher und Berechnung integriert, um die Energie und Latenz zu reduzieren, die mit dem Betrieb trainierter neuronaler Netze verbunden sind. d-Matrix wurde 2019 gegründet und hat sich im wettbewerbsintensiven Bereich der KI-Beschleuniger positioniert, mit dem Ziel von Rechenzentrumsbereitstellungen, in denen Inferenz-Workloads dominieren.
Die Kerntechnologie hinter den Produkten von d-Matrix ist digitales In-Memory-Computing (DIMC), das sich von traditionellen Von-Neumann-Architekturen unterscheidet, die Verarbeitungseinheiten vom Speicher trennen. Durch die direkte Durchführung von Multiplikations-Akkumulations-Operationen innerhalb von Speicherarrays soll das Design den Datenverkehr minimieren, einen großen Engpass bei der KI-Inferenz. Der erste kommerzielle Chip des Unternehmens, der Nighthawk, wurde 2024 angekündigt, mit einem Nachfolger, dem Corsair, der für 2025 geplant ist.
Gründung und frühe Geschichte
d-Matrix wurde 2019 von Sid Sheth gegründet, der zuvor bei Intel und AMD arbeitete, und Sudeep Bhoja, einem ehemaligen Ingenieur bei Broadcom. Die beiden lernten sich bei der Arbeit an Hochgeschwindigkeits-Verbindungen kennen und erkannten die wachsende Nachfrage nach effizienter Inferenz-Hardware. Das Unternehmen operierte zunächst im Stealth-Modus und sammelte Startkapital von Risikokapitalfirmen wie Wing Venture Capital und M12, dem Venture-Fonds von Microsoft.
Im Jahr 2021 trat d-Matrix aus dem Stealth-Modus hervor mit 44 Millionen US-Dollar an Series-A-Finanzierung, angeführt von Playground Global. Die Finanzierungsrunde umfasste auch die Beteiligung von SK Hynix, einem großen Speicherhersteller, was das Interesse der Speicherindustrie an Compute-in-Memory-Technologien signalisierte. Bis 2023 hatte das Unternehmen weitere 110 Millionen US-Dollar an Series-B-Finanzierung aufgebracht, mit Investoren wie Temasek und Innovation Endeavors, was die Gesamtfinanzierung auf über 154 Millionen US-Dollar brachte.
Der frühe Fokus des Unternehmens lag auf der Entwicklung eines Chips, der die spezifischen Anforderungen transformerbasierter Modelle bewältigen konnte, die zur dominierenden Architektur in natürlicher Sprachverarbeitung und generativer KI geworden waren. Die Gründer glaubten, dass konventionelle GPUs, obwohl leistungsstark für das Training, für die Inferenz aufgrund ihrer hohen Speicherbandbreitenanforderungen ineffizient seien.
Technologie: Digitales In-Memory-Computing
Die grundlegende Innovation bei d-Matrix ist seine digitale In-Memory-Computing-Architektur. Im Gegensatz zu analogen In-Memory-Computing-Ansätzen, die physikalische Eigenschaften wie Widerstand oder Kapazität zur Durchführung von Berechnungen nutzen, verwendet d-Matrix digitale Logik, die in Speicherzellen eingebettet ist. Dieser Ansatz zielt darauf ab, die Vorteile reduzierten Datenverkehrs mit der Präzision und Zuverlässigkeit digitaler Berechnung zu kombinieren.
In einem traditionellen neuronalen Netz-Inferenz werden Gewichte im Speicher gespeichert und müssen für jede Operation zu einer separaten Recheneinheit geholt werden. Dieser ständige Datentransfer verbraucht erhebliche Energie und Zeit. Die DIMC-Architektur von d-Matrix platziert Rechenelemente direkt neben oder innerhalb des Speicherarrays, sodass Multiplikations-Akkumulations-Operationen dort stattfinden können, wo sich die Daten befinden. Dies reduziert den Bedarf an umfangreichem Datenverkehr und senkt potenziell Latenz und Stromverbrauch.
Die Chips des Unternehmens sind darauf ausgelegt, große Sprachmodelle-Inferenz zu unterstützen, einschließlich Modellen mit Milliarden von Parametern. Die Architektur ist für die Matrixmultiplikationsoperationen optimiert, die Transformermodelle dominieren, die die Grundlage für Systeme wie die GPT-Serie von OpenAI und Claude von Anthropic bilden. d-Matrix behauptet, dass sein Ansatz einen höheren Durchsatz pro Watt im Vergleich zu traditionellen Beschleunigern erreichen kann, obwohl unabhängige Benchmarks bis 2025 begrenzt waren.
Produktlinie: Nighthawk und Corsair
d-Matrix kündigte sein erstes Produkt, den Nighthawk, im März 2024 an. Der Nighthawk ist eine PCIe-Karte, die für die Inferenzbeschleunigung entwickelt wurde, mit 32 GB On-Chip-Speicher und Unterstützung für Modelle mit bis zu 70 Milliarden Parametern auf einer einzigen Karte. Die Karte wird unter Verwendung eines 5-Nanometer-Prozesses von TSMC, einer führenden Halbleiter-Gießerei, hergestellt. Der Nighthawk ist für den Einsatz in Servern gedacht, wo mehrere Karten kombiniert werden können, um größere Modelle zu bewältigen.
Im Oktober 2024 enthüllte d-Matrix seinen Chip der zweiten Generation, den Corsair, der voraussichtlich 2025 ausgeliefert wird. Der Corsair ist darauf ausgelegt, eine höhere Leistung als der Nighthawk zu liefern, mit verbesserter Speicherkapazität und Rechendichte. Das Unternehmen hat angegeben, dass der Corsair Modelle mit über 100 Milliarden Parametern auf einer einzigen Karte unterstützen wird, die auf Unternehmensbereitstellungen von generativen KI-Anwendungen abzielt.
Beide Chips werden von einem Software-Stack namens d-Matrix-Compiler begleitet, der Modelle aus Frameworks wie PyTorch in optimierten Code für die Hardware übersetzt. Die Software umfasst Unterstützung für gängige Modellarchitekturen, einschließlich Transformatoren und Residualnetzwerk-Varianten, und zielt darauf ab, den Bereitstellungsprozess für Entwickler zu vereinfachen.
Marktposition und Wettbewerb
d-Matrix operiert in einem überfüllten Markt für KI-Inferenzbeschleuniger. Zu den Hauptkonkurrenten gehören Groq, das eine Sprachverarbeitungseinheit (LPU) anbietet, die für sequenzielle Workloads optimiert ist, und Samba Nova, das eine rekonfigurierbare Datenflussarchitektur verwendet. Etablierte Akteure wie Nvidia dominieren den breiteren KI-Beschleunigermarkt, während AMD und Intel ebenfalls inferenzfokussierte Produkte eingeführt haben.
Das Unternehmen differenziert sich durch seinen Fokus auf In-Memory-Computing, das es als effizienter argumentiert als Ansätze, die auf Hochbandbreitenspeicher (HBM) wie bei Nvidias GPUs setzen. Die Technologie von d-Matrix zielt insbesondere darauf ab, die Kosten pro Token für die Bereitstellung großer Modelle zu senken, eine Schlüsselkennzahl für Cloud-Anbieter und Unternehmen.
Bis 2025 hat d-Matrix keine größeren öffentlichen Kunden bekannt gegeben, obwohl es Partnerschaften mit Amazon Web Services für eine mögliche Integration in seine Cloud-Angebote angekündigt hat. Das Unternehmen arbeitet auch mit Oracle Cloud und Azure zusammen, um Bereitstellungsoptionen zu erkunden, obwohl sich diese Beziehungen in einem frühen Stadium befinden.
Finanzierung und Investoren
d-Matrix hat insgesamt 154 Millionen US-Dollar über mehrere Runden aufgebracht. Die Seed-Runde, deren Größe nicht bekannt gegeben wurde, wurde von der 44-Millionen-US-Dollar-Series-A im Jahr 2021 und der 110-Millionen-US-Dollar-Series-B im Jahr 2023 gefolgt. Zu den wichtigsten Investoren gehören Playground Global, Wing Venture Capital, M12, Temasek und Innovation Endeavors. Die Beteiligung von SK Hynix, einem Speicherchip-Hersteller, ist angesichts des Compute-in-Memory-Fokus des Unternehmens bemerkenswert.
Die Finanzierung wurde verwendet, um den Hardware- und Software-Stack zu entwickeln sowie Ingenieurtalente einzustellen. Bis 2025 beschäftigt das Unternehmen etwa 100 Mitarbeiter, mit Büros in Santa Clara, Kalifornien, und Bangalore, Indien. Das Büro in Bangalore konzentriert sich auf Softwareentwicklung und Compiler-Optimierung.
Anwendungen und Anwendungsfälle
Der primäre Zielmarkt von d-Matrix ist die Inferenz in Rechenzentren für große Sprachmodelle-Anwendungen. Dazu gehören Chatbots, Codegenerierung und Dokumentzusammenfassung, die zunehmend von Unternehmen bereitgestellt werden. Die Hardware des Unternehmens ist darauf ausgelegt, die hohen Durchsatzanforderungen der gleichzeitigen Bedienung vieler Benutzer zu bewältigen, ein Szenario, das in Cloud-Umgebungen üblich ist.
Über Sprachmodelle hinaus können die Chips von d-Matrix andere Deep-Learning-Workloads beschleunigen, einschließlich Computer Vision und Empfehlungssystemen. Die Architektur ist allgemein genug, um verschiedene neuronale Netzwerktypen zu unterstützen, obwohl das Marketing des Unternehmens transformerbasierte Modelle betont. Die geringe Latenz des In-Memory-Computings könnte Echtzeitanwendungen wie autonomes Fahren zugutekommen, obwohl d-Matrix keine Partnerschaften in diesem Sektor angekündigt hat.
Das Unternehmen zielt auch auf Edge-Inferenzszenarien ab, in denen Energieeffizienz entscheidend ist. Seine aktuellen Produkte sind jedoch für Serverumgebungen ausgelegt, und eine Edge-Bereitstellung würde weitere Miniaturisierung und Leistungsreduzierung erfordern.
Herausforderungen und Zukunftsaussichten
Der KI-Beschleunigermarkt ist stark wettbewerbsintensiv, mit schnellen technologischen Fortschritten und erheblichen Kapitalanforderungen. d-Matrix steht vor Herausforderungen bei der Skalierung der Produktion und der Überzeugung von Kunden, eine neue Architektur zu übernehmen. Das Unternehmen muss auch mit dem Ökosystem und der Software-Reife der CUDA-Plattform von Nvidia konkurrieren, die zum Industriestandard geworden ist.
Technische Hürden bleiben beim Nachweis der Zuverlässigkeit und Leistung von In-Memory-Computing in großem Maßstab. Während digitale Ansätze einige Probleme des analogen Computings wie Rauschen und Präzisionsverlust mildern, erfordern sie dennoch eine sorgfältige Integration in bestehende Serverinfrastruktur. Der Erfolg des Corsair-Chips im Jahr 2025 wird ein kritischer Test für die Technologie des Unternehmens sein.
In der Zukunft plant d-Matrix, seine Produktlinie zu erweitern und möglicherweise in den Trainingsmarkt einzutreten, obwohl das Training rechenintensiver ist und möglicherweise nicht so stark von In-Memory-Techniken profitiert. Das Unternehmen erkundet auch Partnerschaften mit TSMC für fortschrittliche Fertigung und mit ARM Holdings für eine mögliche Integration in ARM-basierte Server. Bis 2025 bleibt d-Matrix ein privates Unternehmen ohne angekündigte Pläne für einen Börsengang.
Führung und Team
Sid Sheth, der CEO, verfügt über mehr als zwei Jahrzehnte Erfahrung in der Halbleiterindustrie und hatte Ingenieurs- und Managementrollen bei Intel und AMD inne. Sudeep Bhoja, der CTO, arbeitete zuvor bei Broadcom an Hochgeschwindigkeits-Verbindungstechnologien. Das Führungsteam umfasst Veteranen von Unternehmen wie Qualcomm und Samsung Electronics, die Fachwissen in Chipdesign und Fertigung mitbringen.
Der technische Beirat des Unternehmens umfasst Akademiker und Branchenexperten für maschinelles Lernen und Computerarchitektur, obwohl spezifische Namen nicht öffentlich bekannt gegeben wurden. Das Team hat mehrere Arbeiten zu In-Memory-Computing-Techniken veröffentlicht und trägt so zur breiteren Forschungsgemeinschaft bei.