d-Matrix é uma startup de semicondutores focada na construção de sistemas de computação para inferência de inteligência artificial, particularmente para grandes modelos de linguagem. A empresa desenvolve uma arquitetura de chip que integra memória e computação para reduzir a energia e a latência associadas à execução de redes neurais treinadas. Fundada em 2019, a d-Matrix se posicionou no campo competitivo de aceleradores de IA, visando implantações em data centers onde cargas de trabalho de inferência dominam.
A tecnologia central por trás dos produtos da d-Matrix é a computação digital em memória (DIMC), que difere das arquiteturas tradicionais de von Neumann que separam unidades de processamento da memória. Ao realizar operações de multiplicação-acumulação diretamente dentro dos arranjos de memória, o design visa minimizar o movimento de dados, um grande gargalo na inferência de IA. O primeiro chip comercial da empresa, o Nighthawk, foi anunciado em 2024, com um sucessor, o Corsair, previsto para 2025.
Fundação e História Inicial
A d-Matrix foi fundada em 2019 por Sid Sheth, que trabalhou anteriormente na Intel e na AMD, e Sudeep Bhoja, ex-engenheiro da Broadcom. Os dois se conheceram enquanto trabalhavam em interconexões de alta velocidade e reconheceram a crescente demanda por hardware eficiente de inferência. A empresa inicialmente operou em modo furtivo, levantando financiamento inicial de empresas de capital de risco, incluindo Wing Venture Capital e M12, o fundo de risco da Microsoft.
Em 2021, a d-Matrix emergiu do modo furtivo com US$ 44 milhões em financiamento da Série A, liderado pela Playground Global. A rodada de financiamento também incluiu a participação da SK Hynix, um importante fabricante de memória, sinalizando o interesse da indústria de memória em tecnologias de computação em memória. Em 2023, a empresa havia levantado mais US$ 110 milhões em financiamento da Série B, com investidores como Temasek e Innovation Endeavors, elevando o financiamento total para mais de US$ 154 milhões.
O foco inicial da empresa era desenvolver um chip que pudesse lidar com as demandas específicas de modelos baseados em transformadores, que se tornaram a arquitetura dominante em processamento de linguagem natural e IA generativa. Os fundadores acreditavam que as GPUs convencionais, embora poderosas para treinamento, eram ineficientes para inferência devido aos seus altos requisitos de largura de banda de memória.
Tecnologia: Computação Digital em Memória
A inovação fundamental na d-Matrix é sua arquitetura de computação digital em memória. Diferentemente das abordagens de computação em memória analógica, que usam propriedades físicas como resistência ou capacitância para realizar cálculos, a d-Matrix usa lógica digital incorporada dentro das células de memória. Essa abordagem visa combinar os benefícios da redução do movimento de dados com a precisão e confiabilidade da computação digital.
Em uma inferência tradicional de rede neural, os pesos são armazenados na memória e devem ser buscados por uma unidade de computação separada para cada operação. Essa transferência constante de dados consome energia e tempo significativos. A arquitetura DIMC da d-Matrix coloca elementos computacionais diretamente adjacentes ou dentro do arranjo de memória, permitindo que operações de multiplicação-acumulação ocorram onde os dados residem. Isso reduz a necessidade de movimento extensivo de dados, potencialmente diminuindo a latência e o consumo de energia.
Os chips da empresa são projetados para suportar inferência de grandes modelos de linguagem, incluindo modelos com bilhões de parâmetros. A arquitetura é otimizada para as operações de multiplicação de matrizes que dominam os modelos de transformadores, que são a base para sistemas como a série GPT da OpenAI e o Claude da Anthropic. A d-Matrix afirma que sua abordagem pode alcançar maior rendimento por watt em comparação com aceleradores tradicionais, embora benchmarks independentes tenham sido limitados até 2025.
Linha de Produtos: Nighthawk e Corsair
A d-Matrix anunciou seu primeiro produto, o Nighthawk, em março de 2024. O Nighthawk é uma placa PCIe projetada para aceleração de inferência, com 32 GB de memória no chip e suporte a modelos de até 70 bilhões de parâmetros em uma única placa. A placa é construída usando um processo de 5 nanômetros da TSMC, uma fundição de semicondutores líder. O Nighthawk é destinado ao uso em servidores, onde múltiplas placas podem ser combinadas para lidar com modelos maiores.
Em outubro de 2024, a d-Matrix revelou seu chip de segunda geração, o Corsair, que deve ser lançado em 2025. O Corsair é projetado para entregar maior desempenho que o Nighthawk, com capacidade de memória e densidade de computação melhoradas. A empresa afirmou que o Corsair suportará modelos que excedem 100 bilhões de parâmetros em uma única placa, visando implantações empresariais de aplicações de IA generativa.
Ambos os chips são acompanhados por uma pilha de software chamada d-Matrix Compiler, que traduz modelos de frameworks como PyTorch em código otimizado para o hardware. O software inclui suporte para arquiteturas de modelos comuns, incluindo transformadores e variantes de redes residuais, e visa simplificar o processo de implantação para desenvolvedores.
Posição de Mercado e Concorrência
A d-Matrix opera em um mercado saturado de aceleradores de inferência de IA. Principais concorrentes incluem Groq, que oferece uma unidade de processamento de linguagem (LPU) otimizada para cargas de trabalho sequenciais, e SambaNova, que usa uma arquitetura de fluxo de dados reconfigurável. Players estabelecidos como Nvidia dominam o mercado mais amplo de aceleradores de IA, enquanto AMD e Intel também introduziram produtos focados em inferência.
A empresa se diferencia através de seu foco em computação em memória, que argumenta ser mais eficiente do que abordagens que dependem de memória de alta largura de banda (HBM), como as usadas pelas GPUs da Nvidia. A tecnologia da d-Matrix é particularmente voltada para reduzir o custo por token no serviço de modelos grandes, uma métrica chave para provedores de nuvem e empresas.
Até 2025, a d-Matrix não divulgou grandes clientes públicos, embora tenha anunciado parcerias com Amazon Web Services para potencial integração em suas ofertas de nuvem. A empresa também está trabalhando com Oracle Cloud e Azure para explorar opções de implantação, embora essas relações estejam em estágios iniciais.
Financiamento e Investidores
A d-Matrix levantou um total de US$ 154 milhões em múltiplas rodadas. A rodada inicial, de tamanho não divulgado, foi seguida pelos US$ 44 milhões da Série A em 2021 e pelos US$ 110 milhões da Série B em 2023. Os principais investidores incluem Playground Global, Wing Venture Capital, M12, Temasek e Innovation Endeavors. A participação da SK Hynix, um fabricante de chips de memória, é notável dado o foco da empresa em computação em memória.
O financiamento foi usado para desenvolver a pilha de hardware e software, bem como para contratar talentos de engenharia. Até 2025, a empresa emprega aproximadamente 100 pessoas, com escritórios em Santa Clara, Califórnia, e Bangalore, Índia. O escritório de Bangalore foca no desenvolvimento de software e otimização de compiladores.
Aplicações e Casos de Uso
O principal mercado-alvo da d-Matrix é a inferência em data centers para aplicações de grandes modelos de linguagem. Isso inclui chatbots, geração de código e sumarização de documentos, que são cada vez mais implantados por empresas. O hardware da empresa é projetado para lidar com os altos requisitos de rendimento do serviço a muitos usuários simultaneamente, um cenário comum em ambientes de nuvem.
Além de modelos de linguagem, os chips da d-Matrix podem acelerar outras cargas de trabalho de aprendizado profundo, incluindo visão computacional e sistemas de recomendação. A arquitetura é geral o suficiente para suportar vários tipos de redes neurais, embora o marketing da empresa enfatize modelos baseados em transformadores. A baixa latência da computação em memória poderia beneficiar aplicações em tempo real como direção autônoma, embora a d-Matrix não tenha anunciado parcerias nesse setor.
A empresa também visa cenários de inferência de borda onde a eficiência energética é crítica. No entanto, seus produtos atuais são projetados para ambientes de servidor, e a implantação na borda exigiria maior miniaturização e redução de energia.
Desafios e Perspectivas Futuras
O mercado de aceleradores de IA é altamente competitivo, com avanços tecnológicos rápidos e requisitos significativos de capital. A d-Matrix enfrenta desafios em escalar a produção e convencer clientes a adotar uma nova arquitetura. A empresa também deve competir com o ecossistema e a maturidade de software da plataforma CUDA da Nvidia, que se tornou o padrão da indústria.
Desafios técnicos permanecem em provar a confiabilidade e o desempenho da computação em memória em escala. Embora abordagens digitais mitiguem alguns problemas da computação analógica, como ruído e perda de precisão, elas ainda exigem integração cuidadosa com a infraestrutura de servidores existente. O sucesso do chip Corsair em 2025 será um teste crítico da tecnologia da empresa.
Olhando para o futuro, a d-Matrix visa expandir sua linha de produtos e potencialmente entrar no mercado de treinamento, embora o treinamento seja mais intensivo em computação e possa não se beneficiar tanto das técnicas em memória. A empresa também está explorando parcerias com a TSMC para fabricação avançada e com a Arm Holdings para potencial integração em servidores baseados em ARM. Até 2025, a d-Matrix permanece uma empresa privada sem planos anunciados para uma oferta pública inicial.
Liderança e Equipe
Sid Sheth, o CEO, tem mais de duas décadas de experiência na indústria de semicondutores, tendo ocupado cargos de engenharia e gestão na Intel e na AMD. Sudeep Bhoja, o CTO, trabalhou anteriormente na Broadcom em tecnologias de interconexão de alta velocidade. A equipe de liderança inclui veteranos de empresas como Qualcomm e Samsung Electronics, trazendo expertise em design de chips e fabricação.
O conselho consultivo técnico da empresa inclui acadêmicos e especialistas da indústria em aprendizado de máquina e arquitetura de computadores, embora nomes específicos não tenham sido divulgados publicamente. A equipe publicou vários artigos sobre técnicas de computação em memória, contribuindo para a comunidade de pesquisa mais ampla.