OctoML은 2019년 컴퓨터 과학자 Luis Ceze가 설립한 머신러닝 모델 최적화 및 배포를 위한 소프트웨어 플랫폼이다. 이 회사는 훈련된 모델을 클라우드 인스턴스와 엣지 디바이스를 포함한 다양한 하드웨어에서 효율적으로 실행하는 과정을 단순화하는 것을 목표로 했다. 2024년, OctoML은 엔비디아에 인수되었으며, 해당 기술은 엔비디아의 AI 소프트웨어 스택에 통합되었다.
이 플랫폼은 Ceze가 공동 창안한 오픈소스 머신러닝 컴파일러 프레임워크인 Apache TVM을 기반으로 구축되었다. OctoML의 핵심 서비스는 모델 프루닝 및 양자화와 같은 자동화된 최적화 기술을 사용하여 모델 크기와 지연 시간을 줄였고, 조직이 인공지능 애플리케이션을 프로덕션 환경에 더 쉽게 배포할 수 있도록 했다.
설립 및 초기 개발
OctoML은 2019년 워싱턴주 시애틀에서 Luis Ceze가 설립했으며, 그가 CEO를 역임했다. Ceze는 폴 G. 앨런 컴퓨터 과학 및 공학 학교의 교수였으며, 이전에 2012년 F5 Networks에 인수된 스타트업 Corensic을 공동 설립한 바 있다. 초기 팀에는 Apache TVM 커뮤니티의 연구원과 엔지니어들이 포함되었다.
이 회사는 상당한 벤처 캐피털 자금을 유치했는데, 2019년 1,500만 달러 규모의 시리즈 A 라운드와 2021년 8,500만 달러 규모의 시리즈 C 라운드를 포함하며, Amplify Partners, Madrona Venture Group, Tiger Global과 같은 투자자들이 주도했다. 2022년까지 OctoML은 총 1억 3,000만 달러 이상의 자금을 조달했다.
제품 진화 및 OctoAI
2023년 6월, OctoML은 개발자가 대규모 언어 모델 애플리케이션을 배포하고 확장할 수 있도록 설계된 생성형 AI 제품인 OctoAI를 출시했다. 이 제품은 인기 있는 오픈소스 모델을 위한 관리형 엔드포인트와 GPU 인스턴스에 대한 자동화된 최적화를 제공했다. 2024년 1월, 회사는 제품에 초점을 맞추기 위해 사명을 OctoAI로 변경했으며, CEO Luis Ceze는 이 변경이 "제품과 회사 이름 간의 혼동을 없애기 위한 것"이라고 설명했다.
2024년 6월, OctoAI는 특정 엔터프라이즈 사용 사례를 위한 AI 모델 커스터마이징 및 파인튜닝 플랫폼인 OctoStack을 출시했다. 이 제품은 고객이 자체 데이터를 사용하고 아마존 웹 서비스, 애저, 구글 클라우드를 포함한 선호하는 클라우드 인프라에 최적화된 모델을 배포할 수 있도록 했다.
엔비디아에 의한 인수
2024년 9월, The Information은 엔비디아가 약 1억 5,000만 달러에 OctoAI를 인수하는 것을 고려 중이라고 보도했다. 2024년 9월 25일, 엔비디아는 인수를 완료했다. 거래 이후, Luis Ceze는 워싱턴 대학교에서의 학술 직위를 유지하면서 엔비디아의 AI 시스템 소프트웨어 부문 부사장이 되었다. OctoAI 팀과 기술은 엔비디아의 AI 소프트웨어 부문에 통합되었으며, 딥러닝 모델을 엔비디아 하드웨어 플랫폼에 맞게 최적화하는 데 중점을 두었다.
이번 인수는 지배적인 GPU 하드웨어, 특히 생성형 AI 워크로드를 중심으로 소프트웨어 생태계를 강화하려는 엔비디아의 광범위한 전략의 일환이었다. OctoAI의 최적화 도구는 TensorRT 및 Triton Inference Server와 같은 엔비디아의 기존 제품을 보완했다.
기술 및 영향
OctoML의 기술은 Apache TVM을 활용하여 특정 하드웨어 대상에 맞게 모델을 자동으로 튜닝했으며, 배치 정규화 및 레이어 정규화와 같은 기법을 사용하여 추론 성능을 개선했다. 이 플랫폼은 트랜스포머 기반 아키텍처, 잔차 네트워크 CNN, 이미지 분할을 위한 U-Net 모델을 포함한 광범위한 모델을 지원했다.
이 회사의 도구는 수천 명의 개발자와 기업이 추론 비용과 지연 시간을 줄이는 데 사용되었다. OctoML은 또한 OctoAI의 모델 서빙 라이브러리와 같은 도구를 출시하고 학계 기관과 협력하여 오픈소스 커뮤니티에 기여했다.
참고 문헌
[1] Wikipedia: Luis Ceze
[2] OctoML 보도 자료 및 자금 조달 발표
[3] The Information, 2024년 9월