d-Matrixは、人工知能推論、特に大規模言語モデル向けのコンピューティングシステムの構築に注力する半導体スタートアップである。同社は、メモリと計算を統合したチップアーキテクチャを開発し、訓練済みニューラルネットワークの実行に伴うエネルギーとレイテンシを削減することを目指している。2019年に設立されたd-Matrixは、推論ワークロードが支配的なデータセンター展開をターゲットに、AIアクセラレータの競争の激しい分野に自らを位置づけている。
d-Matrixの製品の中核技術はデジタルインメモリコンピュート（DIMC）であり、これは処理ユニットとメモリを分離する従来のフォンノイマンアーキテクチャとは異なる。メモリアレイ内で直接乗算累積演算を実行することで、この設計はAI推論における主要なボトルネックであるデータ移動を最小限に抑えることを目的としている。同社の最初の商用チップであるNighthawkは2024年に発表され、その後継機であるCorsairは2025年に予定されている。
設立と初期の歴史
d-Matrixは2019年に、以前IntelとAMDで働いていたSid Shethと、Broadcomの元エンジニアであるSudeep Bhojaによって設立された。二人は高速インターコネクトの研究で出会い、効率的な推論ハードウェアへの需要の高まりを認識した。同社は当初ステルスモードで運営され、Wing Venture CapitalやMicrosoftのベンチャーファンドであるM12を含むベンチャーキャピタルからシード資金を調達した。
2021年、d-MatrixはPlayground Globalが主導する4400万ドルのシリーズA資金調達でステルス状態から姿を現した。この資金調達ラウンドには、主要なメモリメーカーであるSK Hynixも参加し、メモリ業界からのコンピュートインメモリ技術への関心を示した。2023年までに、同社はTemasekやInnovation Endeavorsなどの投資家から追加で1億1000万ドルのシリーズB資金を調達し、総調達額は1億5400万ドルを超えた。
同社の初期の焦点は、Natural language processingとGenerative AIの支配的なアーキテクチャとなっていたトランスフォーマーベースのモデルの特定の要求を処理できるチップの開発にあった。創業者たちは、従来のGPUはトレーニングには強力であるものの、高いメモリ帯域幅要件のために推論には非効率であると信じていた。
技術：デジタルインメモリコンピュート
d-Matrixの根本的な革新は、デジタルインメモリコンピュートアーキテクチャである。抵抗や容量などの物理的特性を使用して計算を実行するアナログインメモリコンピューティングアプローチとは異なり、d-Matrixはメモリセル内に埋め込まれたデジタルロジックを使用する。このアプローチは、データ移動の削減という利点と、デジタル計算の精度と信頼性を組み合わせることを目的としている。
従来のNeural network推論では、重みはメモリに格納され、各操作のために別の計算ユニットにフェッチする必要がある。この絶え間ないデータ転送は、かなりのエネルギーと時間を消費する。d-MatrixのDIMCアーキテクチャは、計算要素をメモリアレイのすぐ隣または内部に配置し、データが存在する場所で乗算累積演算を実行できるようにする。これにより、広範なデータ移動の必要性が減り、レイテンシと消費電力が低下する可能性がある。
同社のチップは、数十億のパラメータを持つモデルを含むLarge language model推論をサポートするように設計されている。このアーキテクチャは、OpenAIのGPTシリーズやAnthropicのClaudeなどのシステムの基盤であるトランスフォーマーモデルを支配する行列乗算演算に最適化されている。d-Matrixは、そのアプローチが従来のアクセラレータと比較してワットあたりのスループットを向上できると主張しているが、独立したベンチマークは2025年時点で限られている。
製品ライン：NighthawkとCorsair
d-Matrixは2024年3月に最初の製品であるNighthawkを発表した。Nighthawkは推論加速用に設計されたPCIeカードで、32 GBのオンチップメモリを搭載し、単一カードで最大700億パラメータのモデルをサポートする。このカードは、大手半導体ファウンドリであるTSMCの5ナノメートルプロセスを使用して構築されている。Nighthawkはサーバーでの使用を目的としており、複数のカードを組み合わせてより大きなモデルを処理できる。
2024年10月、d-Matrixは第2世代チップであるCorsairを発表し、2025年に出荷される予定である。CorsairはNighthawkよりも高いパフォーマンスを提供するように設計されており、メモリ容量と計算密度が改善されている。同社は、Corsairが単一カードで1000億パラメータを超えるモデルをサポートし、Generative AIアプリケーションのエンタープライズ展開をターゲットにすると述べている。
両チップには、d-Matrix Compilerと呼ばれるソフトウェアスタックが付属しており、PyTorchなどのフレームワークからモデルをハードウェア用に最適化されたコードに変換する。このソフトウェアには、トランスフォーマーやResidual Network (ResNet)の変種を含む一般的なモデルアーキテクチャのサポートが含まれており、開発者の展開プロセスを簡素化することを目的としている。
市場での位置づけと競争
d-Matrixは、AI推論アクセラレータの混雑した市場で運営されている。主な競合には、シーケンシャルワークロードに最適化された言語処理ユニット（LPU）を提供するGroqや、再構成可能なデータフローアーキテクチャを使用するSambaNovaが含まれる。NVIDIAなどの確立されたプレーヤーは、より広範なAIアクセラレータ市場を支配しており、AMDやIntelも推論に焦点を当てた製品を導入している。
同社は、NvidiaのGPUで使用されているような高帯域幅メモリ（HBM）に依存するアプローチよりも効率的であると主張するインメモリコンピューティングへの焦点を通じて差別化を図っている。d-Matrixの技術は、特に大規模モデルの提供におけるトークンあたりのコストを削減することを目的としており、これはクラウドプロバイダーやエンタープライズにとって重要な指標である。
2025年時点で、d-Matrixは主要な公開顧客を明らかにしていないが、Amazon Web Servicesとのパートナーシップを発表し、そのクラウドオファリングへの潜在的な統合を検討している。同社はまた、Oracle Cloud InfrastructureやMicrosoft Azureとの展開オプションを模索しているが、これらの関係は初期段階にある。
資金調達と投資家
d-Matrixは複数のラウンドで合計1億5400万ドルを調達している。規模が非公開のシードラウンドに続き、2021年の4400万ドルのシリーズA、2023年の1億1000万ドルのシリーズBが行われた。主要な投資家には、Playground Global、Wing Venture Capital、M12、Temasek、Innovation Endeavorsが含まれる。メモリチップメーカーであるSK Hynixの参加は、同社のコンピュートインメモリ焦点を考えると注目に値する。
調達された資金は、ハードウェアとソフトウェアスタックの開発、およびエンジニアリング人材の採用に使用されている。2025年時点で、同社は約100人を雇用しており、カリフォルニア州サンタクララとインドのバンガロールにオフィスを構えている。バンガロールオフィスは、ソフトウェア開発とコンパイラ最適化に焦点を当てている。
アプリケーションとユースケース
d-Matrixの主なターゲット市場は、Large language modelアプリケーション向けのデータセンター推論である。これには、チャットボット、コード生成、ドキュメント要約が含まれ、これらはエンタープライズでますます展開されている。同社のハードウェアは、クラウド環境で一般的なシナリオである、多くのユーザーを同時にサービスするための高スループット要件を処理するように設計されている。
言語モデル以外にも、d-Matrixのチップは、コンピュータビジョンやレコメンデーションシステムを含む他のDeep learningワークロードを加速できる。このアーキテクチャは、さまざまなニューラルネットワークタイプをサポートするのに十分な汎用性があるが、同社のマーケティングはトランスフォーマーベースのモデルを強調している。インメモリコンピューティングの低レイテンシは、自動運転などのリアルタイムアプリケーションに利益をもたらす可能性があるが、d-Matrixはそのセクターでのパートナーシップを発表していない。
同社はまた、電力効率が重要なエッジ推論シナリオもターゲットにしている。ただし、現在の製品はサーバー環境向けに設計されており、エッジ展開にはさらなる小型化と電力削減が必要になる。
課題と将来の見通し
AIアクセラレータ市場は非常に競争が激しく、急速な技術進歩と多大な資本要件がある。d-Matrixは、生産規模の拡大と、新しいアーキテクチャの採用を顧客に納得させるという課題に直面している。同社はまた、業界標準となっているNvidiaのCUDAプラットフォームのエコシステムとソフトウェアの成熟度と競争する必要がある。
インメモリコンピューティングの大規模での信頼性とパフォーマンスを証明するという技術的なハードルは残っている。デジタルアプローチは、ノイズや精度損失などのアナログコンピュートのいくつかの問題を軽減するが、既存のサーバーインフラストラクチャとの慎重な統合が依然として必要である。2025年のCorsairチップの成功は、同社の技術の重要なテストとなるだろう。
今後、d-Matrixは製品ラインを拡大し、トレーニング市場に参入する可能性を模索しているが、トレーニングはより計算集約的であり、インメモリ技術からそれほど恩恵を受けない可能性がある。同社はまた、高度な製造のためのTSMCとのパートナーシップや、ARMベースのサーバーへの潜在的な統合のためのArm Holdingsとの協力を模索している。2025年時点で、d-Matrixは非公開企業であり、新規株式公開の計画は発表されていない。
リーダーシップとチーム
CEOのSid Shethは、半導体業界で20年以上の経験を持ち、IntelとAMDでエンジニアリングおよび管理職を歴任した。CTOのSudeep Bhojaは、以前Broadcomで高速インターコネクト技術に携わった。リーダーシップチームには、QualcommやSamsung Electronicsなどの企業のベテランが含まれており、チップ設計と製造の専門知識をもたらしている。
同社の技術諮問委員会には、機械学習とコンピュータアーキテクチャの学者や業界専門家が含まれているが、具体的な名前は公開されていない。チームはインメモリコンピューティング技術に関するいくつかの論文を発表し、より広範な研究コミュニティに貢献している。