OctoMLは、機械学習モデルの最適化とデプロイのためのソフトウェアプラットフォームであり、2019年にコンピューター科学者のLuis Cezeによって設立された。同社は、訓練済みモデルを取得し、クラウドインスタンスやエッジデバイスを含むさまざまなハードウェア上で効率的に実行するプロセスを簡素化することを目指していた。2024年、OctoMLはNvidiaに買収され、その技術はNvidiaのAIソフトウェアスタックに統合された。
このプラットフォームは、Cezeが共同創設した機械学習用のオープンソースコンパイラフレームワークであるApache TVM上に構築された。OctoMLの中心的な提供物は、モデルプルーニングや量子化などの自動最適化技術を使用してモデルサイズとレイテンシを削減し、組織が人工知能アプリケーションを本番環境にデプロイしやすくするものだった。
設立と初期の開発
OctoMLは2019年にワシントン州シアトルでLuis Cezeによって設立され、彼はCEOを務めた。Cezeはポール・G・アレンコンピューター科学工学部の教授であり、以前は2012年にF5 Networksに買収されたスタートアップCorensicを共同設立していた。初期チームにはApache TVMコミュニティの研究者やエンジニアが含まれていた。
同社は、2019年の1500万ドルのシリーズAラウンドや、Amplify Partners、Madrona Venture Group、Tiger Globalなどの投資家が主導した2021年の8500万ドルのシリーズCラウンドを含む、多額のベンチャーキャピタル資金を調達した。2022年までに、OctoMLは総額1億3000万ドル以上を調達していた。
製品の進化とOctoAI
2023年6月、OctoMLは開発者が大規模言語モデルアプリケーションをデプロイおよびスケールするのを支援するために設計された生成AI製品であるOctoAIを立ち上げた。この製品は、人気のあるオープンソースモデル向けのマネージドエンドポイントと、GPUインスタンス向けの自動最適化を提供した。2024年1月、同社は製品の焦点に合わせて社名をOctoAIに変更し、CEOのLuis Cezeはこの変更が「製品名と社名の間の潜在的な混乱を排除するため」であると説明した。
2024年6月、OctoAIは特定のエンタープライズユースケース向けにAIモデルをカスタマイズおよび微調整するためのプラットフォームであるOctoStackを導入した。この製品により、顧客は自社のデータを持ち込み、Amazon Web Services、Azure、Google Cloudなどの好みのクラウドインフラストラクチャ上で最適化されたモデルをデプロイできた。
Nvidiaによる買収
2024年9月、The InformationはNvidiaが約1億6500万ドルでOctoAIの買収を検討していると報じた。2024年9月25日、Nvidiaは買収を完了した。この取引後、Luis CezeはNvidiaのAIシステムソフトウェア担当副社長となり、ワシントン大学での学術的立場は維持した。OctoAIチームと技術はNvidiaのAIソフトウェア部門に統合され、Nvidiaのハードウェアプラットフォーム向けのディープラーニングモデルの最適化に焦点を当てた。
この買収は、特に生成AIワークロードにおいて、Nvidiaが支配的なGPUハードウェアを中心にソフトウェアエコシステムを強化するという広範な戦略の一部だった。OctoAIの最適化ツールは、TensorRTやTriton Inference ServerなどのNvidiaの既存の提供物を補完した。
技術と影響
OctoMLの技術はApache TVMを活用して、バッチ正規化やレイヤー正規化などの技術を使用して推論パフォーマンスを向上させ、特定のハードウェアターゲット向けにモデルを自動的にチューニングした。このプラットフォームは、トランスフォーマーベースのアーキテクチャ、残差ネットワークCNN、画像セグメンテーション用のU-Netモデルなど、幅広いモデルをサポートした。
同社のツールは、数千の開発者や企業が推論コストとレイテンシを削減するために使用した。OctoMLはまた、OctoAIのモデルサービングライブラリなどのツールをリリースし、学術機関と協力することで、オープンソースコミュニティにも貢献した。
参考文献
[1] Wikipedia: Luis Ceze
[2] OctoMLのプレスリリースおよび資金調達の発表
[3] The Information、2024年9月