d-Matrix는 인공지능 추론, 특히 대규모 언어 모델을 위한 컴퓨팅 시스템 구축에 주력하는 반도체 스타트업이다. 이 회사는 메모리와 연산을 통합하여 훈련된 신경망 실행과 관련된 에너지 및 지연 시간을 줄이는 칩 아키텍처를 개발한다. 2019년에 설립된 d-Matrix는 AI 가속기 분야의 경쟁적인 시장에서 데이터 센터 배포를 목표로 자리매김했으며, 추론 워크로드가 지배적인 환경에 초점을 맞추고 있다.
d-Matrix 제품의 핵심 기술은 디지털 인메모리 컴퓨트(DIMC)로, 처리 장치와 메모리를 분리하는 전통적인 폰 노이만 아키텍처와는 다르다. 메모리 배열 내에서 직접 곱셈-누적 연산을 수행함으로써, 이 설계는 AI 추론의 주요 병목 현상인 데이터 이동을 최소화하는 것을 목표로 한다. 이 회사의 첫 상용 칩인 Nighthawk는 2024년에 발표되었으며, 후속 모델인 Corsair는 2025년에 출시될 예정이다.
설립 및 초기 역사
d-Matrix는 2019년에 인텔과 AMD에서 근무한 Sid Sheth와 브로드컴 출신 엔지니어 Sudeep Bhoja에 의해 설립되었다. 두 사람은 고속 인터커넥트 작업 중 만나 효율적인 추론 하드웨어에 대한 증가하는 수요를 인식했다. 이 회사는 처음에는 스텔스 모드로 운영되며 Wing Venture Capital과 마이크로소프트의 벤처 펀드인 M12를 포함한 벤처 캐피털로부터 시드 펀딩을 모금했다.
2021년, d-Matrix는 Playground Global이 주도한 4,400만 달러의 시리즈 A 펀딩으로 스텔스 모드를 벗어났다. 이 펀딩 라운드에는 주요 메모리 제조업체인 SK하이닉스도 참여하여 메모리 산업의 컴퓨트-인-메모리 기술에 대한 관심을 시사했다. 2023년까지 회사는 Temasek과 Innovation Endeavors와 같은 투자자들로부터 추가로 1억 1,000만 달러의 시리즈 B 펀딩을 모금하여 총 펀딩 규모가 1억 5,400만 달러를 넘어섰다.
회사의 초기 초점은 자연어 처리와 생성형 AI에서 지배적인 아키텍처가 된 트랜스포머 기반 모델의 특정 요구 사항을 처리할 수 있는 칩을 개발하는 것이었다. 창립자들은 기존 GPU가 훈련에는 강력하지만 높은 메모리 대역폭 요구 사항으로 인해 추론에는 비효율적이라고 믿었다.
기술: 디지털 인메모리 컴퓨트
d-Matrix의 근본적인 혁신은 디지털 인메모리 컴퓨트 아키텍처이다. 저항이나 커패시턴스와 같은 물리적 특성을 사용하여 계산을 수행하는 아날로그 인메모리 컴퓨팅 접근 방식과 달리, d-Matrix는 메모리 셀 내에 내장된 디지털 로직을 사용한다. 이 접근 방식은 데이터 이동 감소의 이점과 디지털 계산의 정밀성 및 신뢰성을 결합하는 것을 목표로 한다.
전통적인 신경망 추론에서 가중치는 메모리에 저장되며 각 연산을 위해 별도의 컴퓨트 유닛으로 가져와야 한다. 이러한 지속적인 데이터 전송은 상당한 에너지와 시간을 소비한다. d-Matrix의 DIMC 아키텍처는 메모리 배열에 인접하거나 그 내부에 컴퓨팅 요소를 배치하여 데이터가 있는 곳에서 곱셈-누적 연산이 발생하도록 한다. 이는 광범위한 데이터 이동의 필요성을 줄여 지연 시간과 전력 소비를 낮출 수 있다.
이 회사의 칩은 수십억 개의 매개변수를 가진 모델을 포함한 대규모 언어 모델 추론을 지원하도록 설계되었다. 이 아키텍처는 OpenAI의 GPT 시리즈와 Anthropic의 Claude와 같은 시스템의 기반이 되는 트랜스포머 모델을 지배하는 행렬 곱셈 연산에 최적화되어 있다. d-Matrix는 자사의 접근 방식이 기존 가속기보다 와트당 더 높은 처리량을 달성할 수 있다고 주장하지만, 2025년 현재 독립적인 벤치마크는 제한적이다.
제품 라인: Nighthawk 및 Corsair
d-Matrix는 2024년 3월 첫 제품인 Nighthawk를 발표했다. Nighthawk는 추론 가속화를 위해 설계된 PCIe 카드로, 32GB의 온칩 메모리를 갖추고 있으며 단일 카드에서 최대 700억 개의 매개변수 모델을 지원한다. 이 카드는 선도적인 반도체 파운드리인 TSMC의 5나노미터 공정을 사용하여 제작되었다. Nighthawk는 서버에서 사용하도록 설계되었으며, 여러 카드를 결합하여 더 큰 모델을 처리할 수 있다.
2024년 10월, d-Matrix는 2세대 칩인 Corsair를 공개했으며, 2025년에 출시될 예정이다. Corsair는 Nighthawk보다 더 높은 성능을 제공하도록 설계되었으며, 메모리 용량과 컴퓨트 밀도가 개선되었다. 회사는 Corsair가 단일 카드에서 1,000억 개 이상의 매개변수 모델을 지원하여 기업의 생성형 AI 애플리케이션 배포를 목표로 할 것이라고 밝혔다.
두 칩 모두 d-Matrix 컴파일러라는 소프트웨어 스택과 함께 제공되며, PyTorch와 같은 프레임워크의 모델을 하드웨어에 최적화된 코드로 변환한다. 이 소프트웨어는 트랜스포머 및 잔차 네트워크 변형을 포함한 일반적인 모델 아키텍처를 지원하며, 개발자의 배포 프로세스를 간소화하는 것을 목표로 한다.
시장 위치 및 경쟁
d-Matrix는 AI 추론 가속기 시장에서 경쟁이 치열한 환경에서 운영된다. 주요 경쟁사로는 순차적 워크로드에 최적화된 언어 처리 장치(LPU)를 제공하는 Groq와 재구성 가능한 데이터플로우 아키텍처를 사용하는 SambaNova가 있다. NVIDIA와 같은 기존 업체는 더 넓은 AI 가속기 시장을 지배하고 있으며, AMD와 Intel도 추론 중심 제품을 출시했다.
이 회사는 NVIDIA GPU가 사용하는 고대역폭 메모리(HBM)에 의존하는 접근 방식보다 더 효율적이라고 주장하는 인메모리 컴퓨팅에 초점을 맞춰 차별화한다. d-Matrix의 기술은 특히 대규모 모델 서빙을 위한 토큰당 비용을 줄이는 것을 목표로 하며, 이는 클라우드 제공업체와 기업에게 중요한 지표이다.
2025년 현재 d-Matrix는 주요 공개 고객을 공개하지 않았지만, Amazon Web Services와 클라우드 제공에 잠재적 통합을 위한 파트너십을 발표했다. 또한 Oracle Cloud 및 Azure와 배포 옵션을 모색하기 위해 협력하고 있지만, 이러한 관계는 초기 단계에 있다.
펀딩 및 투자자
d-Matrix는 여러 라운드에 걸쳐 총 1억 5,400만 달러를 모금했다. 규모가 공개되지 않은 시드 라운드에 이어 2021년 4,400만 달러의 시리즈 A와 2023년 1억 1,000만 달러의 시리즈 B가 이어졌다. 주요 투자자로는 Playground Global, Wing Venture Capital, M12, Temasek, Innovation Endeavors가 있다. 메모리 칩 제조업체인 SK하이닉스의 참여는 컴퓨트-인-메모리 초점을 고려할 때 주목할 만하다.
이 펀딩은 하드웨어 및 소프트웨어 스택 개발과 엔지니어링 인재 고용에 사용되었다. 2025년 현재 회사는 약 100명의 직원을 고용하고 있으며, 캘리포니아주 산타클라라와 인도 방갈로르에 사무소를 두고 있다. 방갈로르 사무소는 소프트웨어 개발과 컴파일러 최적화에 중점을 둔다.
애플리케이션 및 사용 사례
d-Matrix의 주요 목표 시장은 대규모 언어 모델 애플리케이션을 위한 데이터 센터 추론이다. 여기에는 기업에서 점점 더 많이 배포되는 챗봇, 코드 생성, 문서 요약이 포함된다. 이 회사의 하드웨어는 클라우드 환경에서 흔한 많은 사용자를 동시에 서빙하는 높은 처리량 요구 사항을 처리하도록 설계되었다.
언어 모델 외에도 d-Matrix의 칩은 컴퓨터 비전 및 추천 시스템을 포함한 다른 딥러닝 워크로드를 가속화할 수 있다. 이 아키텍처는 다양한 신경망 유형을 지원할 만큼 일반적이지만, 회사의 마케팅은 트랜스포머 기반 모델을 강조한다. 인메모리 컴퓨팅의 낮은 지연 시간은 자율 주행과 같은 실시간 애플리케이션에 이점을 줄 수 있지만, d-Matrix는 해당 분야에서 파트너십을 발표하지 않았다.
이 회사는 전력 효율이 중요한 엣지 추론 시나리오도 목표로 한다. 그러나 현재 제품은 서버 환경을 위해 설계되었으며, 엣지 배포에는 추가적인 소형화와 전력 감소가 필요할 것이다.
과제 및 향후 전망
AI 가속기 시장은 빠른 기술 발전과 상당한 자본 요구 사항으로 인해 경쟁이 매우 치열하다. d-Matrix는 생산 규모 확대와 고객이 새로운 아키텍처를 채택하도록 설득하는 데 어려움을 겪고 있다. 또한 회사는 업계 표준이 된 NVIDIA의 CUDA 플랫폼의 생태계와 소프트웨어 성숙도와도 경쟁해야 한다.
대규모 인메모리 컴퓨팅의 신뢰성과 성능을 입증하는 데는 기술적 장애물이 남아 있다. 디지털 접근 방식은 노이즈 및 정밀도 손실과 같은 아날로그 컴퓨팅의 일부 문제를 완화하지만, 기존 서버 인프라와의 신중한 통합이 여전히 필요하다. 2025년 Corsair 칩의 성공은 회사 기술의 중요한 시험대가 될 것이다.
앞으로 d-Matrix는 제품 라인을 확장하고 잠재적으로 훈련 시장에 진출하는 것을 목표로 하지만, 훈련은 더 계산 집약적이며 인메모리 기술의 이점을 덜 받을 수 있다. 또한 회사는 TSMC와의 고급 제조 협력 및 ARM Holdings와의 ARM 기반 서버 통합 가능성을 모색하고 있다. 2025년 현재 d-Matrix는 기업공개 계획이 발표되지 않은 비상장 회사로 남아 있다.
리더십 및 팀
CEO인 Sid Sheth는 반도체 업계에서 20년 이상의 경력을 보유하고 있으며, 인텔과 AMD에서 엔지니어링 및 관리 역할을 역임했다. CTO인 Sudeep Bhoja는 브로드컴에서 고속 인터커넥트 기술을 담당했다. 리더십 팀에는 Qualcomm과 Samsung Electronics 출신 베테랑들이 포함되어 칩 설계 및 제조 전문성을 제공한다.
회사의 기술 자문 위원회에는 머신러닝 및 컴퓨터 아키텍처 분야의 학계 및 업계 전문가가 포함되어 있지만, 구체적인 이름은 공개되지 않았다. 팀은 인메모리 컴퓨팅 기술에 대한 여러 논문을 발표하여 더 넓은 연구 커뮤니티에 기여했다.