Deci AI는 딥러닝 가속화를 전문으로 하는 이스라엘의 기술 기업이다. 2019년에 설립된 이 회사는 다양한 하드웨어 플랫폼(엣지 디바이스 및 클라우드 서버 포함)에서의 효율적인 배포를 위해 인공지능 모델을 최적화하는 소프트웨어 도구를 개발한다. Deci AI의 핵심 기술은 신경망의 계산 비용을 줄이면서 정확도를 유지하거나 개선하는 것을 목표로 하며, AI 시스템의 실질적인 채택에 있어 주요 병목 현상을 해결한다.
이 회사는 자동화된 신경망 아키텍처 탐색 및 모델 압축에 대한 연구에서 출발하여, 머신러닝 운영이라는 더 넓은 분야에 자리 잡고 있다. Deci AI의 제품은 대규모 언어 모델, 컴퓨터 비전 시스템 및 기타 AI 워크로드를 배포하는 조직을 대상으로 하며, 추론 속도를 개선하고 인프라 비용을 절감한다고 주장하는 솔루션을 제공한다. 2024년 기준으로, 이 회사는 상당한 벤처 캐피털 자금을 조달했으며 주요 클라우드 제공업체 및 반도체 기업과 파트너십을 구축했다
설립 및 자금 조달
Deci AI는 2019년 요나탄 게이프만, 란 엘-야니브, 조나단 엘스터에 의해 설립되었다. 최고 경영자를 역임한 게이프만은 이전에 인텔에서 AI 연구를 수행했다. 엘-야니브는 이스라엘 공과대학(테크니온)의 교수로, 머신러닝 및 신경망 최적화에 대한 학문적 전문성을 제공했다. 이 회사는 이스라엘 텔아비브에 본사를 두고 있다
이 스타트업은 2020년에 925만 달러의 초기 시드 라운드를 조달했으며, Emerge가 주도하고 Square Peg Capital 및 기타 투자자들이 참여했다. 2021년에는 Deci AI가 2100만 달러의 시리즈 A 자금 조달 라운드를 확보하여 총 자금을 약 3000만 달러로 늘렸다. 시리즈 A는 Insight Partners가 주도했으며, 기존 투자자들의 지속적인 지원을 받았다. 2023년에는 AME Cloud Ventures가 주도하는 2500만 달러의 시리즈 B 라운드를 마감하여 누적 자금이 5500만 달러를 초과했다. 이러한 수치는 AI 인프라 및 모델 최적화 기술에 대한 투자자 관심의 증가를 반영한다
핵심 기술: AutoNAS 및 Infery
Deci AI의 기반 기술은 AutoNAS(자동화된 신경망 아키텍처 탐색)로, 효율적인 신경망 아키텍처를 자동으로 설계하는 독점 시스템이다. AutoNAS는 강화 학습 및 기타 최적화 기법을 사용하여 가능한 네트워크 설계 공간을 탐색하며, 정확도와 계산 비용 간의 균형을 맞춘다. 이 시스템은 ARM 프로세서, Intel 칩 또는 NVIDIA GPU와 같은 특정 하드웨어 대상에 맞춘 맞춤형 아키텍처를 생성할 수 있지만, NVIDIA는 회사의 공개 파트너 목록에 명시적으로 포함되지는 않는다
AutoNAS 위에 구축된 주요 상용 제품은 Infery로, 추론 런타임 및 최적화 엔진이다. Infery에는 프루닝, 양자화, 지식 증류와 같은 기법을 적용하여 모델 크기와 지연 시간을 줄이는 모델 최적화 툴킷이 포함된다. 이 런타임은 TensorFlow 및 PyTorch를 포함한 여러 프레임워크에서의 배포를 지원하며, Docker 및 Kubernetes와 같은 컨테이너화된 환경과 통합된다. Infery는 엣지 디바이스에서 최대 10배, 클라우드 서버에서 최대 4배의 추론 속도 향상을 제공한다고 주장하지만, 이러한 수치는 특정 모델 및 하드웨어에 따라 달라진다
제품 제공 및 사용 사례
Deci AI의 제품군은 Infery를 넘어, 신경망 그래프의 비효율성을 식별하는 모델 분석 도구인 DeciLint와, 대상 하드웨어에 맞춰 모델을 미세 조정하는 그래디언트 기반 최적화 모듈인 DeciGrad를 포함한다. 이러한 도구는 엄격한 지연 시간 및 비용 제약이 있는 프로덕션 환경에서 모델을 배포해야 하는 데이터 과학 및 머신러닝 팀을 위해 설계되었다
주요 사용 사례에는 객체 감지 및 이미지 분할과 같은 컴퓨터 비전 애플리케이션, 텍스트 분류 및 질문 응답과 같은 자연어 처리 작업, 그리고 더 최근에는 대규모 언어 모델 추론이 포함된다. 예를 들어, Deci AI는 공격적인 압축 기법을 적용하여 단일 서버 노드에서 1750억 파라미터 트랜스포머 모델을 실행할 수 있음을 입증했지만, 이러한 주장은 내부 벤치마크에 기반하며 독립적으로 검증되지는 않았다. 이 회사는 또한 고객이 자체 인프라를 구축하지 않고도 최적화된 모델을 테스트하고 벤치마킹할 수 있는 관리형 플랫폼인 Deci Cloud를 제공한다
파트너십 및 생태계
Deci AI는 영향력을 확장하기 위해 여러 주요 기술 기업과 파트너십을 구축했다. 2022년에는 Qualcomm과 협력하여 Qualcomm의 Snapdragon 모바일 플랫폼용 AI 모델을 최적화하고, 스마트폰 및 IoT 디바이스의 온디바이스 추론을 목표로 했다. 이 파트너십은 더 낮은 전력 소비로 이미지 향상 및 음성 인식과 같은 실시간 AI 기능을 가능하게 하는 것을 목표로 했다
클라우드 분야에서 Deci AI는 Amazon Web Services 및 Google Cloud와 협력하여 자사의 최적화 도구를 AI 마켓플레이스의 일부로 제공했다. 이 회사는 또한 2023년에 AMD와 파트너십을 맺어 AMD의 Instinct 가속기를 지원하고, 데이터 센터 워크로드용 최적화된 모델 라이브러리를 제공했다. 또한 Deci AI는 소비자 전자제품의 엣지 AI 애플리케이션을 위해 Samsung Electronics와 협력했지만, 구체적인 제품 세부 사항은 공개되지 않았다
이러한 파트너십은 Deci AI에게 전략적 이유가 있는데, 하드웨어별 최적화 및 유통 채널에 대한 접근을 제공하기 때문이다. 칩 제조업체 및 클라우드 제공업체와 협력함으로써, 이 회사는 AWS Trainium에서 Groq 및 SambaNova 시스템에 이르는 다양한 AI 가속기 환경에서 자사 소프트웨어가 효율적으로 작동하도록 보장할 수 있다
경쟁 구도
Deci AI는 기존 업체와 스타트업을 모두 포함하는 경쟁 시장에서 운영된다. 직접적인 경쟁사로는 특수 AI 프로세서를 개발하는 Graphcore와 초고속 추론 하드웨어에 초점을 맞춘 Groq가 있다. 소프트웨어 측면에서는 SambaNova 및 Neural Magic과 같은 기업이 최적화 솔루션을 제공하지만, Neural Magic은 제공된 링크 목록에 포함되지 않는다. 또한 주요 클라우드 제공업체는 Amazon SageMaker 및 Azure Machine Learning과 같은 자체 최적화 서비스를 제공하며, 이는 Deci AI의 제품과 경쟁할 수 있다
Deci AI는 사후 압축에만 의존하지 않고 아키텍처 탐색 프로세스를 자동화하는 AutoNAS 기술을 통해 차별화한다. 이러한 접근 방식은 기존 아키텍처를 축소하는 대신 처음부터 본질적으로 더 효율적인 모델을 생성할 수 있다. 이 회사는 또한 하드웨어 인지 최적화를 강조하여 특정 칩에 맞춰 모델을 조정하는데, 이는 AI 워크로드가 다양한 엣지 및 데이터 센터 환경으로 이동함에 따라 업계에서 성장하는 추세이다
연구 및 오픈 소스 기여
Deci AI는 학술 논문을 발표하고 더 넓은 AI 커뮤니티에 기여하는 활발한 연구 팀을 유지한다. 주목할 만한 발표로는 양자화 인지 훈련 및 효율적인 트랜스포머 아키텍처에 대한 연구가 있으며, NeurIPS 및 ICML과 같은 학회에서 발표되었다. 이 회사는 또한 외부 개발자들이 사용한 모델 압축용 라이브러리를 포함한 오픈 소스 도구를 출시했다
2023년에 Deci AI는 압축된 버전에서 고정확도 네트워크를 재구성하기 위해 생성 모델을 사용하는 "신경망용 초해상도"라는 기법을 도입했다. 이 연구는 생성형 AI에 잠재적인 응용 분야가 있으며 트랜스포머 모델의 효율성을 개선할 수 있다. 그러나 이러한 기여는 빠르게 진화하는 분야의 일부이며, 장기적 영향은 아직 지켜봐야 한다
과제 및 향후 방향
많은 AI 인프라 기업과 마찬가지로, Deci AI는 하드웨어 및 모델 개발의 빠른 속도와 관련된 과제에 직면한다. Google DeepMind의 TPU 및 Tesla의 맞춤형 칩과 같은 새로운 가속기 아키텍처는 최적화 도구의 지속적인 적응을 요구한다. 또한 수십억 개의 파라미터를 가진 파운데이션 모델의 부상은 전통적인 압축 기법의 적용 가능성을 제한할 수 있는 확장 과제를 제시한다
향후 Deci AI는 텍스트 생성 및 멀티모달 모델을 포함한 생성형 AI 워크로드에 대한 지원을 확장하는 것을 목표로 한다. 이 회사는 또한 클라우드 범위를 넓히기 위해 Microsoft Azure 및 Oracle Cloud와의 통합을 모색하고 있다. 2024년 기준으로, Deci AI는 기업공개 계획을 공개하지 않았지만, 자금 조달 궤적은 AI 최적화 시장에서의 지속적인 성장을 시사한다
결론
Deci AI는 딥러닝 가속화 분야에서 주목할 만한 플레이어로 자리 잡았으며, 다양한 하드웨어 플랫폼에서 AI 모델 효율성을 개선하는 소프트웨어 도구를 제공한다. AutoNAS 기술과 Infery 런타임을 통해, 이 회사는 규모에 맞게 AI를 배포하는 조직의 핵심 요구를 해결한다. 경쟁이 치열하지만, Deci AI의 자동화된 아키텍처 탐색 및 하드웨어 인지 최적화에 대한 초점은 뚜렷한 가치 제안을 제공한다. 이 회사의 미래 성공은 진화하는 AI 모델 및 하드웨어와 보조를 맞추는 능력과, 기술 혁신을 상업적 채택으로 전환하는 역량에 달려 있다.