OctoML est une entreprise technologique spécialisée dans l'optimisation du déploiement de modèles d'apprentissage automatique. Fondée en 2019 par l'informaticien Luis Ceze, l'entreprise a développé des outils pour accélérer et simplifier l'exécution de modèles d'apprentissage automatique sur diverses plateformes matérielles. En 2024, OctoML a été renommée OctoAI puis acquise par Nvidia, où sa technologie est devenue partie intégrante de la pile logicielle des systèmes d'IA de Nvidia.
L'objectif principal de l'entreprise était de résoudre la complexité du déploiement de modèles d'apprentissage profond dans des environnements de production. La plateforme d'OctoML s'appuyait sur Apache TVM, un framework de compilation open-source pour l'optimisation des réseaux neuronaux, afin d'ajuster automatiquement les modèles pour un matériel spécifique, réduisant ainsi la latence et les coûts. Cela positionnait l'entreprise au sein de l'écosystème plus large de l'infrastructure d'intelligence artificielle, en concurrence avec d'autres services d'optimisation et de cloud.
Fondation et Développement Précoce
OctoML a été fondée en 2019 par Luis Ceze, professeur à l'Université de Washington et chercheur reconnu pour ses travaux sur l'architecture informatique et les systèmes d'apprentissage automatique. Ceze a cofondé l'entreprise avec d'autres chercheurs de l'université, notamment Thierry Moreau et Jared Roesch, qui avaient contribué au développement d'Apache TVM. L'entreprise était basée à Seattle, dans l'État de Washington, et a reçu un financement initial de sociétés de capital-risque, dont Madrona Venture Group, où Ceze était partenaire de capital-risque depuis 2018.
L'équipe fondatrice visait à commercialiser la recherche derrière Apache TVM, qui avait été développé à l'Université de Washington et dans d'autres institutions. Le premier produit de l'entreprise se concentrait sur l'automatisation du processus d'optimisation des modèles d'apprentissage automatique pour différents matériels, tels que les processeurs Intel, les GPU AMD et les processeurs basés sur ARM. Cela visait à aider les entreprises à éviter la tâche manuelle et chronophage d'ajustement des modèles pour chaque environnement de déploiement.
Évolution du Produit et Renommage en OctoAI
En juin 2023, OctoML a lancé OctoAI, un produit d'IA générative conçu pour simplifier le déploiement de grands modèles de langage et d'autres applications d'IA générative. OctoAI fournissait une plateforme gérée permettant aux développeurs d'exécuter et de mettre à l'échelle des modèles comme Llama et Stable Diffusion avec des performances optimisées. En janvier 2024, l'entreprise s'était renommée OctoAI, Ceze expliquant que ce changement visait à « éliminer toute confusion potentielle entre notre produit et le nom de l'entreprise ». À cette époque, Ceze a déclaré qu'OctoAI comptait des milliers d'utilisateurs.
En juin 2024, OctoAI a lancé OctoStack, un produit destiné à aider les clients à personnaliser les modèles d'IA pour leurs cas d'utilisation spécifiques. OctoStack offrait des outils pour le réglage fin et le service des modèles avec une sécurité et une évolutivité de niveau entreprise. Ces produits positionnaient OctoAI comme un acteur clé sur le marché croissant de l'infrastructure d'IA, en concurrence avec les offres de Amazon Web Services, Google Cloud et Azure.
Acquisition par Nvidia
En septembre 2024, The Information a rapporté que Nvidia envisageait d'acquérir OctoAI pour environ 165 millions de dollars. L'acquisition a été finalisée le 25 septembre 2024. Après l'acquisition, Luis Ceze est devenu vice-président des logiciels de systèmes d'IA chez Nvidia, tout en conservant son poste académique à l'Université de Washington. Cette acquisition s'inscrivait dans la stratégie plus large de Nvidia visant à renforcer son écosystème logiciel pour le déploiement de l'IA, complétant ses offres matérielles telles que les GPU Nvidia et le logiciel CUDA.
L'acquisition a marqué une étape importante pour OctoML, qui avait levé plus de 130 millions de dollars auprès d'investisseurs, dont Madrona Venture Group, Amplify Partners et Tiger Global Management. La technologie de l'entreprise a été intégrée dans la pile logicielle d'IA de Nvidia, ce qui pourrait bénéficier aux clients de Nvidia cherchant à optimiser des modèles sur le matériel Nvidia.
Technologie et Impact
La technologie principale d'OctoML était basée sur Apache TVM, un compilateur d'apprentissage profond open-source qui permet aux modèles de fonctionner efficacement sur divers matériels. La plateforme de l'entreprise automatisait le processus d'optimisation des modèles, y compris la quantification, l'élagage et la fusion d'opérateurs, ce qui pouvait réduire considérablement la latence et les coûts d'inférence. Cela était particulièrement pertinent pour le déploiement de grands modèles de langage, où les exigences computationnelles sont élevées.
Les outils d'OctoML étaient utilisés par des entreprises de divers secteurs, notamment la santé, la finance et le commerce électronique, pour déployer des applications d'IA à grande échelle. L'entreprise a également contribué à la communauté open-source, ses ingénieurs maintenant activement Apache TVM et les projets associés. En rendant l'optimisation des modèles plus accessible, OctoML a contribué à démocratiser le déploiement de l'IA, permettant aux petites entreprises de tirer parti de l'apprentissage automatique avancé sans expertise spécialisée.
Héritage et Avenir
Après l'acquisition, les produits d'OctoAI continuent d'être proposés sous la marque Nvidia, avec un accent sur l'intégration avec les plateformes d'IA de Nvidia. La technologie de l'entreprise devrait jouer un rôle dans les efforts de Nvidia pour fournir des solutions de bout en bout pour le développement et le déploiement de l'IA. L'acquisition a également mis en évidence l'importance croissante de l'optimisation logicielle dans l'industrie de l'IA, car le matériel seul est insuffisant pour atteindre des performances optimales.
Les travaux de Luis Ceze sur OctoML et Apache TVM ont été reconnus par de nombreux prix, notamment le titre de Fellow ACM en 2022 et le prix Maurice Wilkes en 2020. Ses contributions à l'informatique et aux systèmes d'IA continuent d'influencer à la fois le monde académique et l'industrie.