OctoML AI는 이후 OctoAI로 알려지게 된 기계 학습 배포 플랫폼으로, 다양한 하드웨어에서 인공지능 모델을 최적화하고 실행하도록 설계되었다. 컴퓨터 과학자 Luis Ceze가 2019년에 설립한 이 회사는 생산 환경에서 기계 학습 모델을 배포하는 과정을 단순화하고, 하드웨어별 최적화의 복잡성을 해결하는 것을 목표로 했다. 이 플랫폼은 Ceze가 공동 창안한 오픈소스 Apache TVM 컴파일러 프레임워크를 활용하여 CPU, GPU 및 특수 가속기 전반에서 성능을 자동으로 조정했다. 2024년, OctoAI는 Nvidia에 인수되어 그 기술이 Nvidia의 AI 소프트웨어 스택에 통합되었다.
이 회사는 Ceze가 교수로 재직 중인 워싱턴 대학교의 연구에서 시작되었다. 핵심 기술은 높은 추론 성능을 달성하는 데 필요한 엔지니어링 노력을 줄이는 데 초점을 맞추었으며, 깊은 하드웨어 전문 지식이 없는 조직도 접근할 수 있게 했다. OctoML의 도구는 수천 명의 개발자와 기업이 자연어 처리, 컴퓨터 비전 및 생성형 AI와 같은 작업을 위한 모델을 배포하는 데 사용되었다.
설립 및 초기 개발
브라질 태생의 미국 컴퓨터 과학자 Luis Ceze는 2019년 OctoML을 설립했다. Ceze는 이전에 2008년 워싱턴 대학교에서 분사한 스타트업 Corensic을 공동 설립했으며, 이 회사는 2012년 F5 Networks에 인수되었다. 그의 학문적 배경에는 일리노이 대학교 어배너-샴페인에서의 박사 학위와 Paul G. Allen 컴퓨터 과학 및 공학 대학의 교수직이 포함되었다. OctoML의 초기 초점은 Ceze가 개발에 기여한 오픈소스 딥러닝 컴파일러인 Apache TVM을 상용화하는 것이었다. 이 회사는 Ceze가 2018년부터 벤처 파트너로 활동한 Madrona Venture Group을 포함한 벤처 캐피탈 회사들의 관심을 끌었다.
이 플랫폼은 특정 하드웨어 대상에 대한 기계 학습 모델의 최적화를 자동화하는 클라우드 기반 서비스를 제공했다. 사용자는 TensorFlow나 PyTorch와 같은 프레임워크에서 훈련된 모델을 업로드할 수 있었고, OctoML은 더 빠르고 효율적으로 실행되는 최적화된 버전을 생성했다. 이는 각 하드웨어 플랫폼에 대한 수동 튜닝이 자주 요구되는 AI 산업의 중요한 병목 현상을 해결했다.
제품 진화 및 OctoAI
2023년 6월, OctoML은 대규모 언어 모델 및 기타 생성형 모델을 위한 확장 가능한 추론을 제공하도록 설계된 생성형 AI 제품인 OctoAI를 출시했다. 이는 생산 환경에서 AI 애플리케이션에 대한 증가하는 수요를 충족시키기 위한 전환을 의미했다. 2024년 1월까지 회사는 제품에 맞춰 이름을 OctoAI로 변경했으며, Ceze는 이 변경이 "제품과 회사 이름 사이의 잠재적 혼동을 없애기 위한 것"이라고 설명했다. 당시 OctoAI는 수천 명의 사용자를 보유하고 있다고 보고했다.
2024년 6월, OctoAI는 고객이 특정 요구에 맞게 AI 모델을 사용자 정의할 수 있도록 돕는 제품인 OctoStack을 도입했다. OctoStack은 사용자가 더 큰 제어로 모델을 미세 조정하고 배포할 수 있게 했으며, 맞춤형 AI 솔루션이 필요한 기업을 대상으로 했다. 이 플랫폼은 Nvidia와 AMD의 GPU뿐만 아니라 Amazon Web Services, Microsoft Azure, Google Cloud의 클라우드 서비스를 포함한 다양한 하드웨어를 지원했다.
Nvidia에 의한 인수
2024년 9월, The Information은 Nvidia가 OctoAI를 1억 6500만 달러에 인수하는 것을 고려했다고 보도했다. 인수는 2024년 9월 25일에 완료되었으며, Nvidia는 OctoAI의 기술과 팀을 AI 소프트웨어 부서에 통합했다. 인수 후 Ceze는 Nvidia의 AI 시스템 소프트웨어 부사장이 되었으며, 워싱턴 대학교에서의 학문적 직책을 유지했다. 이 거래는 AI 배포를 위한 소프트웨어 생태계를 강화하고 하드웨어 제품을 보완하려는 Nvidia의 전략을 강조했다.
이 인수는 주요 칩 제조업체가 Machine learning 워크로드에 대한 종단 간 솔루션을 제공하려는 AI 인프라 분야의 더 넓은 통합 추세의 일부였다. 모델 최적화에 대한 OctoAI의 전문성은 추론 작업에서 GPU 효율성을 개선하려는 Nvidia의 노력에 가치 있는 것으로 간주되었다.
기술 및 영향
OctoML의 핵심 기술은 Machine learning 기술을 사용하여 대상 하드웨어에 대한 모델을 자동으로 최적화하는 컴파일러인 Apache TVM을 기반으로 구축되었다. 이 접근 방식은 전통적으로 시간이 많이 걸리는 프로세스인 수동 커널 튜닝의 필요성을 줄였다. 이 플랫폼은 Intel CPU, AMD GPU, Arm Holdings 기반 프로세서뿐만 아니라 AWS Trainium 및 Google Cloud TPU와 같은 특수 가속기를 포함한 광범위한 하드웨어를 지원했다.
이 회사의 도구는 추론 지연 시간과 비용이 중요한 Large language model 배포에 특히 관련이 있었다. 특정 하드웨어에 대한 모델을 최적화함으로써 OctoAI는 조직이 운영 비용을 줄이고 사용자 경험을 개선하는 데 도움을 주었다. 이 플랫폼은 또한 인기 있는 Deep learning 프레임워크와 통합되어 데이터 과학자와 엔지니어가 접근할 수 있게 했다.
인정 및 유산
Luis Ceze는 컴퓨터 과학에 대한 기여로 NSF Career Award(2009), Sloan Research Fellowship(2010), IEEE TCCA Young Computer Architect Award(2013), Maurice Wilkes Award(2020), ACM Fellow 선출(2022)을 포함한 여러 상을 받았다. 이러한 영예는 컴퓨터 아키텍처와 기계 학습 시스템에 대한 그의 작업을 반영했다. OctoML의 유산은 현재 그 기술을 Nvidia Triton Inference Server 및 TensorRT와 같은 제품에 통합한 Nvidia를 통해 계속되고 있다. 대학 분사에서 주요 인수로의 이 회사의 여정은 Artificial intelligence 생태계에서 소프트웨어 최적화의 중요성이 커지고 있음을 강조한다.