Decart는 인공지능 인프라를 전문으로 하는 기술 기업입니다. 이 조직은 대규모 머신러닝 모델의 훈련과 추론을 가속화하도록 설계된 소프트웨어 및 하드웨어 솔루션을 개발하며, 특히 계산 효율성을 개선하고 AI 워크로드와 관련된 비용을 절감하는 데 중점을 둡니다. 이 회사는 생성형 AI 붐이라는 더 넓은 맥락에서 운영되며, 전문화된 컴퓨팅 리소스에 대한 증가하는 수요에 대응합니다.
Decart의 작업은 Transformer (architecture) 아키텍처의 최적화와 대규모 언어 모델의 배포를 포함한 현대 AI 개발의 여러 핵심 영역과 교차합니다. 이 회사의 접근 방식은 특정 칩에서 신경망의 성능을 극대화하기 위해 하드웨어 공급업체와 긴밀히 협력하는 경우가 많으며, AI 모델의 규모가 계속 확장됨에 따라 이러한 관행은 점점 더 중요해지고 있습니다.
설립 및 초기 개발
Decart는 2023년 Dean Leitersdorf와 Moshe Shalom에 의해 설립되었습니다. 이 회사는 버클리 AI 연구 생태계에서 탄생했으며, Leitersdorf는 이전에 학술 연구에 참여한 바 있습니다. 창립자들은 AI 산업의 핵심 병목 현상, 즉 최첨단 모델을 훈련하고 실행하는 데 드는 막대한 계산 비용을 식별했습니다. 그들의 초기 초점은 AMD GPU를 포함한 다양한 하드웨어에서 모델 실행을 최적화할 수 있는 플랫폼을 개발하는 것이었으며, AMD GPU는 종종 Nvidia의 지배적인 제품보다 더 비용 효율적인 대안으로 여겨졌습니다.
첫 해 안에 Decart는 상당한 벤처 캐피털 자금을 확보했습니다. 2024년, 이 회사는 실리콘밸리의 저명한 벤처 캐피털 회사인 Benchmark가 주도하는 3,200만 달러 규모의 시리즈 A 자금 조달 라운드를 발표했습니다. 이 투자는 Decart의 기술과 AI 인프라 환경을 혁신할 잠재력에 대한 강한 시장 신뢰를 나타냈으며, 당시 이 환경은 소수의 대형 클라우드 제공업체가 지배하고 있었습니다.
기술 및 핵심 제품
Decart의 주요 제품은 탁월한 속도와 효율성으로 AI 모델을 실행하도록 설계된 추론 엔진 및 오케스트레이션 플랫폼입니다. 이 회사의 소프트웨어 스택은 하드웨어에 구애받지 않도록 구축되어, AMD GPU 외에도 AWS Trainium 칩, Google Cloud TPU, Intel 가속기 등 다양한 가속기에서 성능을 최적화할 수 있습니다. 이러한 유연성은 고객이 공급업체 종속을 피하고 특정 요구에 가장 비용 효율적인 하드웨어를 선택할 수 있게 해주는 핵심 차별화 요소입니다.
Decart의 주목할 만한 성과는 U-Net 기반 이미지 생성 모델(예: Stable Diffusion)을 일반적인 구현보다 훨씬 빠른 속도로 실행할 수 있는 시스템을 개발한 것입니다. 이 회사는 모델 가지치기 및 배치 정규화 최적화와 같은 고급 기술을 통해 경쟁사보다 몇 배 빠른 추론 속도를 달성했다고 보고했습니다. 이 성능은 AMD 하드웨어에서 텍스트-이미지 모델을 실행하는 라이브 데모에서 입증되어 실시간 대화형 AI 애플리케이션의 잠재력을 보여주었습니다.
시장 위치 및 파트너십
Decart는 Oracle Cloud 및 Microsoft Azure와 같은 기존 AI 클라우드 제공업체에 도전하는 위치를 차지합니다. Decart의 플랫폼은 거대한 중앙 집중식 데이터 센터를 구축하는 대신 잠재적으로 활용도가 낮은 소비자급 GPU를 포함한 분산 컴퓨팅 리소스를 집계하고 활용하도록 설계되었습니다. 이 접근 방식은 더 효율적이고 접근 가능한 컴퓨팅 시장을 창출하여 AI 스타트업과 연구자들의 진입 장벽을 낮추는 것을 목표로 합니다.
이 회사는 하드웨어 제조업체와 전략적 파트너십을 형성하여 새로운 칩 설계와 소프트웨어를 공동 최적화하고 있습니다. 주목할 만한 협력 중 하나는 AMD와의 협력으로, Decart는 추론 엔진이 AMD의 Instinct 시리즈 가속기의 기능을 완전히 활용하도록 노력해 왔습니다. 이 파트너십은 소프트웨어 기업이 칩 설계자와 긴밀히 협력하여 Nvidia의 CUDA 생태계와의 성능 격차를 줄이는 더 넓은 산업 트렌드의 일부입니다.
영향 및 향후 방향
Decart의 부상은 효율성과 비용 최적화를 향한 AI 산업의 더 넓은 변화를 반영합니다. 생성형 AI 모델을 훈련하고 실행하는 비용이 급증함에 따라 더 적은 자원으로 더 많은 것을 해결할 방법을 찾으라는 압력이 증가하고 있습니다. 추론 비용이 대규모 AI 서비스 운영의 총 비용을 지배하는 경우가 많기 때문에 Decart의 추론 속도에 대한 초점은 특히 관련성이 높습니다.
이 회사의 기술은 대화형 에이전트, 게임, 자율 시스템과 같은 실시간 응답이 필요한 인공지능 애플리케이션 개발에 영향을 미칩니다. 고성능 추론을 더 저렴하게 만듦으로써 Decart는 다양한 분야에서 AI 배포를 가속화하는 것을 목표로 합니다. 2025년 현재, 이 회사는 엔지니어링 팀을 계속 확장하고 새로운 기능을 개발하고 있으며, 차세대 AI 애플리케이션을 위한 기반 계층이 되는 것을 목표로 하고 있습니다.