Deci AI는 딥러닝 가속화를 전문으로 하는 이스라엘의 기술 기업이다. 2019년에 설립된 이 회사는 다양한 하드웨어 플랫폼(엣지 디바이스 및 클라우드 서버 포함)에 AI 모델을 효율적으로 배포하기 위한 소프트웨어 도구를 개발한다. Deci AI의 핵심 기술은 신경망의 계산 비용을 줄이면서 정확도를 유지하거나 개선하는 것을 목표로 하며, AI 시스템의 실질적인 도입에 있어 주요 병목 현상을 해결한다.
이 회사는 자동화된 신경망 아키텍처 탐색 및 모델 압축에 대한 연구에서 출발하여, 머신러닝 운영 분야의 더 넓은 영역에 자리 잡았다. Deci AI의 제품은 대규모 언어 모델, 컴퓨터 비전 시스템 및 기타 AI 워크로드를 배포하는 조직을 대상으로 하며, 추론 속도를 개선하고 인프라 비용을 절감하는 솔루션을 제공한다. 2024년 기준으로 이 회사는 상당한 벤처 캐피털 자금을 유치했으며 주요 클라우드 제공업체 및 반도체 기업과 파트너십을 구축했다.
설립 및 자금 조달
Deci AI는 2019년 요나탄 게이프먼(Yonatan Geifman), 란 엘-야니브(Ran El-Yaniv), 조나단 엘스터(Jonathan Elster)에 의해 설립되었다. 최고경영자를 역임한 게이프먼은 이전에 인텔에서 AI 연구를 수행했다. 엘-야니브는 이스라엘 공과대학교(Technion - Israel Institute of Technology)의 교수로, 머신러닝 및 신경망 최적화에 대한 학계 전문성을 제공했다. 이 회사의 본사는 이스라엘 텔아비브에 있다.
이 스타트업은 2020년에 Emerge가 주도하고 Square Peg Capital 및 기타 투자자가 참여한 925만 달러의 시드 라운드를 유치했다. 2021년에는 Deci AI가 2100만 달러의 시리즈 A 자금 조달 라운드를 확보하여 총 자금을 약 3000만 달러로 늘렸다. 시리즈 A는 Insight Partners가 주도했으며 기존 투자자들의 지속적인 지원을 받았다. 2023년에는 AME Cloud Ventures가 주도한 2500만 달러 규모의 시리즈 B 라운드를 마감하여 누적 자금이 5500만 달러를 넘어섰다. 이러한 수치는 AI 인프라 및 모델 최적화 기술에 대한 투자자 관심 증가를 반영한다.
핵심 기술: AutoNAS 및 Infery
Deci AI의 기반 기술은 효율적인 신경망 아키텍처를 자동으로 설계하는 독점 시스템인 AutoNAS(자동화된 신경망 아키텍처 탐색)이다. AutoNAS는 강화 학습 및 기타 최적화 기법을 사용하여 가능한 네트워크 설계 공간을 탐색하고, 정확도와 계산 비용 간의 균형을 맞춘다. 이 시스템은 ARM 프로세서, 인텔 칩, NVIDIA GPU와 같은 특정 하드웨어 대상에 맞춤화된 맞춤형 아키텍처를 생성할 수 있다. 다만 NVIDIA는 회사의 공개 파트너 목록에 명시적으로 포함되어 있지 않다.
AutoNAS를 기반으로 구축된 주요 상용 제품은 추론 런타임 및 최적화 엔진인 Infery이다. Infery에는 프루닝, 양자화, 지식 증류와 같은 기법을 적용하여 모델 크기와 지연 시간을 줄이는 모델 최적화 툴킷이 포함되어 있다. 이 런타임은 TensorFlow 및 PyTorch를 포함한 여러 프레임워크에서의 배포를 지원하며 Docker 및 Kubernetes와 같은 컨테이너 환경과 통합된다. Infery는 엣지 디바이스에서 최대 10배, 클라우드 서버에서 최대 4배의 추론 속도 향상을 제공한다고 주장하지만, 이러한 수치는 특정 모델과 하드웨어에 따라 달라진다.
제품 제공 및 사용 사례
Deci AI의 제품군은 Infery 외에도 신경망 그래프의 비효율성을 식별하는 모델 분석 도구인 DeciLint와 대상 하드웨어에 맞게 모델을 미세 조정하는 경사 기반 최적화 모듈인 DeciGrad를 포함한다. 이러한 도구는 엄격한 지연 시간 및 비용 제약이 있는 프로덕션 환경에 모델을 배포해야 하는 데이터 과학 및 머신러닝 팀을 위해 설계되었다.
주요 사용 사례로는 객체 감지 및 이미지 분할과 같은 컴퓨터 비전 애플리케이션, 텍스트 분류 및 질의 응답과 같은 자연어 처리 작업, 그리고 최근에는 대규모 언어 모델 추론이 있다. 예를 들어, Deci AI는 공격적인 압축 기법을 적용하여 단일 서버 노드에서 1750억 개의 매개변수를 가진 트랜스포머 모델을 실행할 수 있음을 시연했지만, 이러한 주장은 내부 벤치마크에 기반한 것으로 독립적으로 검증되지는 않았다. 또한 이 회사는 고객이 자체 인프라를 구축하지 않고도 최적화된 모델을 테스트하고 벤치마킹할 수 있는 관리형 플랫폼인 Deci Cloud도 제공한다.
파트너십 및 생태계
Deci AI는 영향력을 확대하기 위해 여러 주요 기술 기업과 파트너십을 구축했다. 2022년에는 퀄컴의 Snapdragon 모바일 플랫폼용 AI 모델을 최적화하여 스마트폰 및 IoT 디바이스의 온디바이스 추론을 목표로 하는 협업을 발표했다. 이 파트너십은 더 낮은 전력 소비로 이미지 향상 및 음성 인식과 같은 실시간 AI 기능을 가능하게 하는 것을 목표로 했다.
클라우드 분야에서 Deci AI는 아마존 웹 서비스 및 구글 클라우드와 협력하여 AI 마켓플레이스의 일부로 최적화 도구를 제공하고 있다. 또한 2023년에는 AMD와 파트너십을 맺고 데이터 센터 워크로드를 위한 AMD의 Instinct 가속기를 지원하는 최적화된 모델 라이브러리를 제공했다. 또한 Deci AI는 삼성전자와 소비자 가전의 엣지 AI 애플리케이션을 위해 협력했지만, 구체적인 제품 세부 사항은 공개되지 않았다.
이러한 파트너십은 하드웨어별 최적화 및 유통 채널에 대한 접근을 제공하기 때문에 Deci AI에게 전략적으로 중요하다. 칩 제조업체 및 클라우드 제공업체와 협력함으로써 회사는 AWS Trainium부터 Groq 및 SambaNova 시스템에 이르기까지 다양한 AI 가속기 환경에서 소프트웨어가 효율적으로 작동하도록 보장할 수 있다.
경쟁 구도
Deci AI는 기존 기업과 스타트업을 모두 포함하는 경쟁 시장에서 운영된다. 직접적인 경쟁사로는 특수 AI 프로세서를 개발하는 Graphcore와 초고속 추론 하드웨어에 초점을 맞춘 Groq가 있다. 소프트웨어 측면에서는 SambaNova 및 Neural Magic과 같은 회사가 최적화 솔루션을 제공하지만, Neural Magic은 제공된 링크 목록에 없다. 또한 주요 클라우드 제공업체는 Amazon SageMaker 및 Azure Machine Learning과 같은 자체 최적화 서비스를 제공하며, 이는 Deci AI의 제품과 경쟁할 수 있다.
Deci AI는 사후 압축에만 의존하지 않고 아키텍처 탐색 프로세스를 자동화하는 AutoNAS 기술을 통해 차별화한다. 이 접근 방식은 기존 아키텍처를 축소하는 대신 처음부터 본질적으로 더 효율적인 모델을 생성할 수 있다. 또한 이 회사는 AI 워크로드가 다양한 엣지 및 데이터 센터 환경으로 이동함에 따라 업계의 성장 추세인 하드웨어 인식 최적화를 강조한다.
연구 및 오픈 소스 기여
Deci AI는 활발한 연구 팀을 유지하며 학술 논문을 발표하고 더 넓은 AI 커뮤니티에 기여한다. 주목할 만한 발표로는 NeurIPS 및 ICML과 같은 컨퍼런스에서 발표된 양자화 인식 훈련 및 효율적인 트랜스포머 아키텍처에 대한 연구가 있다. 또한 이 회사는 외부 개발자가 사용하는 모델 압축 라이브러리를 포함한 오픈 소스 도구도 출시했다.
2023년에 Deci AI는 생성 모델을 사용하여 압축된 버전에서 고정확도 네트워크를 재구성하는 "신경망용 초해상도"라는 기술을 도입했다. 이 연구는 생성형 AI에 적용될 수 있으며 트랜스포머 모델의 효율성을 개선할 수 있다. 그러나 이러한 기여는 빠르게 진화하는 분야의 일부이며, 장기적인 영향은 아직 지켜봐야 한다.
과제 및 향후 방향
많은 AI 인프라 기업과 마찬가지로 Deci AI는 하드웨어 및 모델 개발의 빠른 변화와 관련된 과제에 직면해 있다. 구글 딥마인드의 TPU 및 테슬라의 맞춤형 칩과 같은 새로운 가속기 아키텍처는 최적화 도구의 지속적인 적응을 요구한다. 또한 수십억 개의 매개변수를 가진 파운데이션 모델의 등장은 기존 압축 기법의 적용 가능성을 제한할 수 있는 확장 문제를 제기한다.
향후 Deci AI는 텍스트 생성 및 멀티모달 모델을 포함한 생성형 AI 워크로드에 대한 지원을 확대하는 것을 목표로 한다. 또한 회사는 클라우드 범위를 넓히기 위해 마이크로소프트 애저 및 오라클 클라우드와의 통합을 모색하고 있다. 2024년 현재 Deci AI는 기업공개 계획을 공개하지 않았지만, 자금 조달 추세는 AI 최적화 시장에서의 지속적인 성장을 시사한다.
결론
Deci AI는 하드웨어 플랫폼 전반에 걸쳐 AI 모델 효율성을 개선하는 소프트웨어 도구를 제공하는 딥러닝 가속화 분야의 주목할 만한 기업으로 자리 잡았다. AutoNAS 기술과 Infery 런타임을 통해 이 회사는 대규모로 AI를 배포하는 조직의 중요한 요구를 해결한다. 경쟁이 치열하지만, 자동화된 아키텍처 탐색과 하드웨어 인식 최적화에 대한 Deci AI의 초점은 뚜렷한 가치 제안을 제공한다. 이 회사의 미래 성공은 진화하는 AI 모델 및 하드웨어의 속도를 따라잡는 능력과 기술 혁신을 상업적 채택으로 전환하는 능력에 달려 있다.