OctoMLは、機械学習モデルのデプロイメント最適化を専門とするテクノロジー企業である。2019年にコンピューター科学者のLuis Cezeによって設立され、同社は様々なハードウェアプラットフォーム上で機械学習モデルを高速化・効率化するツールを開発した。2024年、OctoMLはOctoAIに改名され、その後Nvidiaに買収され、その技術はNvidiaのAIシステムソフトウェアスタックの一部となった。
同社の中心的な焦点は、本番環境での深層学習モデルのデプロイメントの複雑さに対処することであった。OctoMLのプラットフォームは、ニューラルネットワーク最適化のためのオープンソースコンパイラフレームワークであるApache TVMを活用し、特定のハードウェア向けにモデルを自動的にチューニングし、レイテンシとコストを削減した。これにより、同社はより広範な人工知能インフラストラクチャエコシステム内に位置づけられ、他の最適化サービスやクラウドサービスと競合した。
設立と初期の開発
OctoMLは2019年に、ワシントン大学の教授であり、コンピューターアーキテクチャと機械学習システムの研究で知られるLuis Cezeによって設立された。Cezeは、Apache TVMの開発に貢献していたThierry MoreauやJared Roeschを含む大学の他の研究者とともに同社を共同設立した。同社はワシントン州シアトルに本社を置き、Cezeが2018年からベンチャーパートナーを務めていたMadrona Venture Groupを含むベンチャーキャピタル企業から初期資金を受けた。
設立チームは、ワシントン大学や他の機関で開発されたApache TVMの背後にある研究を商業化することを目指した。同社の初期製品は、Intel CPU、AMD GPU、ARMベースのプロセッサなどの異なるハードウェア向けに機械学習モデルを最適化するプロセスを自動化することに焦点を当てていた。これは、各デプロイメント環境向けにモデルを手動でチューニングするという時間のかかる作業を企業が回避するのに役立つことを意図していた。
製品の進化とOctoAIへの改名
2023年6月、OctoMLは、大規模言語モデルや他の生成AIアプリケーションのデプロイメントを簡素化するために設計された生成AI製品であるOctoAIを立ち上げた。OctoAIは、開発者がLlamaやStable Diffusionなどのモデルを最適化されたパフォーマンスで実行・スケーリングできるようにするマネージドプラットフォームを提供した。2024年1月までに、同社は自らをOctoAIに改名し、Cezeはこの変更が「製品名と企業名の間の潜在的な混乱を排除する」ためであると説明した。当時、CezeはOctoAIに数千人のユーザーがいると述べた。
2024年6月、OctoAIは、顧客が特定のユースケース向けにAIモデルをカスタマイズするのを支援することを目的とした製品であるOctoStackを立ち上げた。OctoStackは、エンタープライズグレードのセキュリティとスケーラビリティを備えたモデルのファインチューニングとサービングのためのツールを提供した。これらの製品により、OctoAIは成長するAIインフラストラクチャ市場における主要プレーヤーとして位置づけられ、Amazon Web Services、Google Cloud、Azureの提供と競合した。
Nvidiaによる買収
2024年9月、The Informationは、Nvidiaが約1億6500万ドルでOctoAIの買収を検討していると報じた。買収は2024年9月25日に完了した。買収後、Luis CezeはNvidiaのAIシステムソフトウェア担当副社長となり、ワシントン大学での学術的立場も維持した。この買収は、AIデプロイメントのためのソフトウェアエコシステムを強化するというNvidiaのより広範な戦略の一部であり、Nvidia GPUやCUDAソフトウェアなどのハードウェア提供を補完するものであった。
この買収は、Madrona Venture Group、Amplify Partners、Tiger Global Managementなどの投資家から1億3000万ドル以上を調達していたOctoMLにとって重要なマイルストーンとなった。同社の技術はNvidiaのAIソフトウェアスタックに統合され、Nvidiaハードウェア上でモデルを最適化しようとするNvidiaの顧客に潜在的に利益をもたらした。
技術と影響
OctoMLのコア技術は、多様なハードウェア上でモデルを効率的に実行できるようにするオープンソースの深層学習コンパイラであるApache TVMに基づいていた。同社のプラットフォームは、量子化、プルーニング、オペレータ融合を含むモデル最適化のプロセスを自動化し、推論レイテンシとコストを大幅に削減できる可能性があった。これは、計算需要が高い大規模言語モデルのデプロイメントに特に関連していた。
OctoMLのツールは、ヘルスケア、金融、電子商取引など様々な分野の企業によって、AIアプリケーションを大規模にデプロイするために使用された。同社はまた、エンジニアがApache TVMや関連プロジェクトを積極的に維持管理することで、オープンソースコミュニティにも貢献した。モデル最適化をよりアクセスしやすくすることで、OctoMLはAIデプロイメントの民主化に貢献し、小規模な企業が専門的な専門知識なしに高度な機械学習を活用できるようにした。
遺産と未来
買収後、OctoAIの製品はNvidiaのブランドの下で提供され続け、NvidiaのAIプラットフォームとの統合に焦点を当てている。同社の技術は、AI開発とデプロイメントのためのエンドツーエンドソリューションを提供するNvidiaの取り組みにおいて役割を果たすと期待されている。この買収はまた、ハードウェアだけでは最適なパフォーマンスを達成するのに不十分であるため、AI業界におけるソフトウェア最適化の重要性の高まりを浮き彫りにした。
Luis CezeのOctoMLとApache TVMに関する研究は、2022年のACMフェローや2020年のMaurice Wilkes Awardを含む数多くの賞で認められている。コンピューターサイエンスとAIシステムへの彼の貢献は、学界と産業界の両方に影響を与え続けている。