OctoML AI（後にOctoAIとして知られる）は、多様なハードウェア上で人工知能モデルを最適化し実行するために設計された機械学習デプロイメントプラットフォームである。2019年にコンピュータ科学者のLuis Cezeによって設立されたこの会社は、機械学習モデルを本番環境にデプロイするプロセスを簡素化し、ハードウェア固有の最適化の複雑さに対処することを目指した。このプラットフォームは、Cezeが共同開発したオープンソースのApache TVMコンパイラフレームワークを活用し、CPU、GPU、および専用アクセラレータ全体でモデルを自動的にチューニングしてパフォーマンスを向上させた。2024年、OctoAIはNvidiaに買収され、その技術はNvidiaのAIソフトウェアスタックに統合された。
この会社は、Cezeが教授を務めるワシントン大学での研究に起源を持つ。その中核技術は、高い推論パフォーマンスを達成するために必要なエンジニアリング労力を削減し、深いハードウェア専門知識を持たない組織にも利用可能にすることに焦点を当てていた。OctoMLのツールは、自然言語処理、コンピュータビジョン、生成AIなどのタスク向けにモデルをデプロイするために、数千人の開発者や企業によって使用された。
設立と初期の発展
ブラジル生まれのアメリカ人コンピュータ科学者であるLuis Cezeは、2019年にOctoMLを設立した。Cezeは以前、2008年にワシントン大学からスピンオフしたスタートアップであるCorensicを共同設立し、2012年にF5 Networksに買収された。彼の学術的背景には、イリノイ大学アーバナ・シャンペーン校での博士号と、ポール・G・アレンコンピュータ科学工学部での教授職が含まれる。OctoMLの初期の焦点は、Cezeが開発を支援したオープンソースのディープラーニングコンパイラであるApache TVMを商業化することだった。この会社は、Cezeが2018年からベンチャーパートナーを務めていたMadrona Venture Groupを含むベンチャーキャピタル企業から注目を集めた。
このプラットフォームは、特定のハードウェアターゲット向けに機械学習モデルの最適化を自動化するクラウドベースのサービスを提供した。ユーザーはTensorFlowやPyTorchなどのフレームワークでトレーニングされたモデルをアップロードでき、OctoMLはより速く効率的に実行される最適化バージョンを生成した。これは、モデルのデプロイが各ハードウェアプラットフォームごとに手動チューニングを必要とすることが多かったAI業界の重大なボトルネックに対処した。
製品の進化とOctoAI
2023年6月、OctoMLはOctoAIを立ち上げた。これは、大規模言語モデルやその他の生成モデルにスケーラブルな推論を提供するために設計された生成AI製品である。これは、本番環境でのAIアプリケーションに対する高まる需要に応える方向への転換を示した。2024年1月までに、会社は製品に合わせて自らをOctoAIと改名し、Cezeはこの変更を「製品名と社名の間の潜在的な混乱を排除するため」と説明した。当時、OctoAIは数千人のユーザーがいると報告していた。
2024年6月、OctoAIはOctoStackを導入した。これは、顧客が特定のニーズに合わせてAIモデルをカスタマイズするのを支援することを目的とした製品である。OctoStackにより、ユーザーはより大きな制御でモデルを微調整およびデプロイでき、カスタマイズされたAIソリューションを必要とする企業をターゲットにした。このプラットフォームは、NvidiaやAMDのGPU、およびAmazon Web Services、Microsoft Azure、Google Cloudのクラウドサービスを含むさまざまなハードウェアをサポートした。
Nvidiaによる買収
2024年9月、The Informationは、NvidiaがOctoAIを1億6500万ドルで買収することを検討していたと報じた。買収は2024年9月25日に完了し、NvidiaはOctoAIの技術とチームをAIソフトウェア部門に統合した。買収後、CezeはNvidiaのAIシステムソフトウェア担当副社長となり、ワシントン大学での学術的地位は維持した。この取引は、AIデプロイメントのためのソフトウェアエコシステムを強化し、ハードウェア製品を補完するというNvidiaの戦略を強調した。
この買収は、AIインフラストラクチャ分野での統合の広範なトレンドの一部であり、主要なチップメーカーがMachine learningワークロード向けのエンドツーエンドソリューションを提供しようとしていた。モデル最適化におけるOctoAIの専門知識は、推論タスクにおけるGPUの効率を向上させるNvidiaの取り組みにとって価値があると見なされた。
技術と影響
OctoMLの中核技術は、Machine learning技術を使用してターゲットハードウェア向けにモデルを自動的に最適化するコンパイラであるApache TVMに基づいていた。このアプローチにより、従来は時間のかかるプロセスであった手動カーネルチューニングの必要性が減少した。このプラットフォームは、Intel CPU、AMD GPU、Arm Holdingsベースのプロセッサ、およびAWS TrainiumやGoogle Cloud TPUなどの専用アクセラレータを含む幅広いハードウェアをサポートした。
この会社のツールは、推論レイテンシとコストが重要であるLarge language modelデプロイメントに特に関連性があった。特定のハードウェア向けにモデルを最適化することで、OctoAIは組織が運用コストを削減し、ユーザーエクスペリエンスを向上させるのを支援した。このプラットフォームはまた、人気のあるDeep learningフレームワークと統合され、データサイエンティストやエンジニアがアクセスしやすくなった。
評価と遺産
Luis Cezeは、コンピュータ科学への貢献に対していくつかの賞を受賞している。これには、NSF Career Award（2009年）、Sloan Research Fellowship（2010年）、IEEE TCCA Young Computer Architect Award（2013年）、Maurice Wilkes Award（2020年）、およびACMフェローへの選出（2022年）が含まれる。これらの栄誉は、コンピュータアーキテクチャと機械学習システムに関する彼の研究を反映している。OctoMLの遺産は、現在その技術をNvidia Triton Inference ServerやTensorRTなどの製品に組み込んでいるNvidiaを通じて続いている。大学のスピンオフから重要な買収へのこの会社の歩みは、Artificial intelligenceエコシステムにおけるソフトウェア最適化の重要性の高まりを浮き彫りにしている。