d-Matrix es una startup de semiconductores centrada en la construcción de sistemas informáticos para la inferencia de inteligencia artificial, particularmente para grandes modelos de lenguaje. La empresa desarrolla una arquitectura de chip que integra memoria y computación para reducir la energía y la latencia asociadas con la ejecución de redes neuronales entrenadas. Fundada en 2019, d-Matrix se ha posicionado en el competitivo campo de los aceleradores de IA, dirigida a implementaciones en centros de datos donde dominan las cargas de trabajo de inferencia.
La tecnología central detrás de los productos de d-Matrix es la computación digital en memoria (DIMC), que difiere de las arquitecturas tradicionales de von Neumann que separan las unidades de procesamiento de la memoria. Al realizar operaciones de multiplicación-acumulación directamente dentro de las matrices de memoria, el diseño busca minimizar el movimiento de datos, un cuello de botella importante en la inferencia de IA. El primer chip comercial de la empresa, el Nighthawk, se anunció en 2024, con un sucesor, el Corsair, previsto para 2025.
Fundación e Historia Temprana
d-Matrix fue fundada en 2019 por Sid Sheth, quien trabajó anteriormente en Intel y AMD, y Sudeep Bhoja, un ex ingeniero de Broadcom. Ambos se conocieron mientras trabajaban en interconexiones de alta velocidad y reconocieron la creciente demanda de hardware de inferencia eficiente. La empresa operó inicialmente en modo sigiloso, recaudando financiación inicial de firmas de capital de riesgo, incluyendo Wing Venture Capital y M12, el fondo de riesgo de Microsoft.
En 2021, d-Matrix salió del sigilo con 44 millones de dólares en financiación Serie A, liderada por Playground Global. La ronda de financiación también incluyó la participación de SK Hynix, un importante fabricante de memoria, lo que señaló el interés de la industria de la memoria en las tecnologías de computación en memoria. Para 2023, la empresa había recaudado 110 millones de dólares adicionales en financiación Serie B, con inversores como Temasek e Innovation Endeavors, elevando la financiación total a más de 154 millones de dólares.
El enfoque inicial de la empresa fue desarrollar un chip que pudiera manejar las demandas específicas de los modelos basados en transformadores, que se habían convertido en la arquitectura dominante en procesamiento de lenguaje natural y IA generativa. Los fundadores creían que las GPU convencionales, aunque potentes para el entrenamiento, eran ineficientes para la inferencia debido a sus altos requisitos de ancho de banda de memoria.
Tecnología: Computación Digital en Memoria
La innovación fundamental en d-Matrix es su arquitectura de computación digital en memoria. A diferencia de los enfoques de computación en memoria analógica, que utilizan propiedades físicas como la resistencia o la capacitancia para realizar cálculos, d-Matrix utiliza lógica digital integrada dentro de las celdas de memoria. Este enfoque busca combinar los beneficios de la reducción del movimiento de datos con la precisión y fiabilidad de la computación digital.
En una red neuronal de inferencia tradicional, los pesos se almacenan en la memoria y deben ser transferidos a una unidad de cómputo separada para cada operación. Esta transferencia constante de datos consume energía y tiempo significativos. La arquitectura DIMC de d-Matrix coloca elementos computacionales directamente adyacentes o dentro de la matriz de memoria, permitiendo que las operaciones de multiplicación-acumulación ocurran donde residen los datos. Esto reduce la necesidad de un movimiento extenso de datos, potencialmente disminuyendo la latencia y el consumo de energía.
Los chips de la empresa están diseñados para soportar la inferencia de grandes modelos de lenguaje, incluidos modelos con miles de millones de parámetros. La arquitectura está optimizada para las operaciones de multiplicación de matrices que dominan los modelos de transformadores, que son la base de sistemas como la serie GPT de OpenAI y Claude de Anthropic. d-Matrix afirma que su enfoque puede lograr un mayor rendimiento por vatio en comparación con los aceleradores tradicionales, aunque los puntos de referencia independientes han sido limitados hasta 2025.
Línea de Productos: Nighthawk y Corsair
d-Matrix anunció su primer producto, el Nighthawk, en marzo de 2024. El Nighthawk es una tarjeta PCIe diseñada para la aceleración de inferencia, con 32 GB de memoria en el chip y soporte para modelos de hasta 70 mil millones de parámetros en una sola tarjeta. La tarjeta está construida utilizando un proceso de 5 nanómetros de TSMC, una fundición de semiconductores líder. El Nighthawk está destinado a su uso en servidores, donde múltiples tarjetas pueden combinarse para manejar modelos más grandes.
En octubre de 2024, d-Matrix presentó su chip de segunda generación, el Corsair, que se espera que se envíe en 2025. El Corsair está diseñado para ofrecer un rendimiento superior al Nighthawk, con una mayor capacidad de memoria y densidad de cómputo. La empresa ha declarado que el Corsair soportará modelos que superen los 100 mil millones de parámetros en una sola tarjeta, dirigido a implementaciones empresariales de aplicaciones de IA generativa.
Ambos chips están acompañados por una pila de software llamada d-Matrix Compiler, que traduce modelos de marcos como PyTorch a código optimizado para el hardware. El software incluye soporte para arquitecturas de modelos comunes, incluidos transformadores y variantes de redes residuales, y busca simplificar el proceso de implementación para los desarrolladores.
Posición en el Mercado y Competencia
d-Matrix opera en un mercado saturado de aceleradores de inferencia de IA. Los principales competidores incluyen Groq, que ofrece una unidad de procesamiento de lenguaje (LPU) optimizada para cargas de trabajo secuenciales, y SambaNova, que utiliza una arquitectura de flujo de datos reconfigurable. Actores establecidos como Nvidia dominan el mercado más amplio de aceleradores de IA, mientras que AMD e Intel también han introducido productos centrados en la inferencia.
La empresa se diferencia a través de su enfoque en la computación en memoria, que argumenta es más eficiente que los enfoques que dependen de memoria de alto ancho de banda (HBM), como los utilizados por las GPU de Nvidia. La tecnología de d-Matrix está particularmente dirigida a reducir el costo por token para servir modelos grandes, una métrica clave para proveedores de nube y empresas.
Hasta 2025, d-Matrix no ha revelado clientes públicos importantes, aunque ha anunciado asociaciones con Amazon Web Services para una posible integración en sus ofertas de nube. La empresa también está trabajando con Oracle Cloud y Azure para explorar opciones de implementación, aunque estas relaciones están en etapas tempranas.
Financiación e Inversores
d-Matrix ha recaudado un total de 154 millones de dólares en múltiples rondas. La ronda inicial, de tamaño no revelado, fue seguida por la Serie A de 44 millones de dólares en 2021 y la Serie B de 110 millones de dólares en 2023. Los inversores clave incluyen Playground Global, Wing Venture Capital, M12, Temasek e Innovation Endeavors. La participación de SK Hynix, un fabricante de chips de memoria, es notable dado el enfoque de la empresa en la computación en memoria.
La financiación se ha utilizado para desarrollar la pila de hardware y software, así como para contratar talento de ingeniería. Hasta 2025, la empresa emplea aproximadamente a 100 personas, con oficinas en Santa Clara, California, y Bangalore, India. La oficina de Bangalore se centra en el desarrollo de software y la optimización del compilador.
Aplicaciones y Casos de Uso
El principal mercado objetivo de d-Matrix es la inferencia en centros de datos para aplicaciones de grandes modelos de lenguaje. Estos incluyen chatbots, generación de código y resumen de documentos, que son cada vez más implementados por las empresas. El hardware de la empresa está diseñado para manejar los requisitos de alto rendimiento de servir a muchos usuarios simultáneamente, un escenario común en entornos de nube.
Más allá de los modelos de lenguaje, los chips de d-Matrix pueden acelerar otras cargas de trabajo de aprendizaje profundo, incluida la visión por computadora y los sistemas de recomendación. La arquitectura es lo suficientemente general como para soportar varios tipos de redes neuronales, aunque el marketing de la empresa enfatiza los modelos basados en transformadores. La baja latencia de la computación en memoria podría beneficiar aplicaciones en tiempo real como la conducción autónoma, aunque d-Matrix no ha anunciado asociaciones en ese sector.
La empresa también se dirige a escenarios de inferencia en el borde donde la eficiencia energética es crítica. Sin embargo, sus productos actuales están diseñados para entornos de servidor, y la implementación en el borde requeriría una mayor miniaturización y reducción de energía.
Desafíos y Perspectivas Futuras
El mercado de aceleradores de IA es altamente competitivo, con avances tecnológicos rápidos y requisitos de capital significativos. d-Matrix enfrenta desafíos en escalar la producción y convencer a los clientes de adoptar una nueva arquitectura. La empresa también debe competir con el ecosistema y la madurez del software de la plataforma CUDA de Nvidia, que se ha convertido en el estándar de la industria.
Quedan obstáculos técnicos para demostrar la fiabilidad y el rendimiento de la computación en memoria a escala. Si bien los enfoques digitales mitigan algunos problemas de la computación analógica, como el ruido y la pérdida de precisión, aún requieren una integración cuidadosa con la infraestructura de servidores existente. El éxito del chip Corsair en 2025 será una prueba crítica de la tecnología de la empresa.
De cara al futuro, d-Matrix busca expandir su línea de productos y potencialmente entrar en el mercado de entrenamiento, aunque el entrenamiento es más intensivo en cómputo y puede no beneficiarse tanto de las técnicas en memoria. La empresa también está explorando asociaciones con TSMC para la fabricación avanzada y con Arm Holdings para una posible integración en servidores basados en ARM. Hasta 2025, d-Matrix sigue siendo una empresa privada sin planes anunciados para una oferta pública inicial.
Liderazgo y Equipo
Sid Sheth, el CEO, tiene más de dos décadas de experiencia en la industria de semiconductores, habiendo ocupado roles de ingeniería y gestión en Intel y AMD. Sudeep Bhoja, el CTO, trabajó anteriormente en Broadcom en tecnologías de interconexión de alta velocidad. El equipo de liderazgo incluye veteranos de empresas como Qualcomm y Samsung Electronics, aportando experiencia en diseño de chips y fabricación.
El consejo asesor técnico de la empresa incluye académicos y expertos de la industria en aprendizaje automático y arquitectura de computadores, aunque los nombres específicos no han sido divulgados públicamente. El equipo ha publicado varios artículos sobre técnicas de computación en memoria, contribuyendo a la comunidad de investigación más amplia.