OctoML AI, plus tard connu sous le nom d'OctoAI, est une plateforme de déploiement d'apprentissage automatique conçue pour optimiser et exécuter des modèles d'intelligence artificielle sur divers matériels. Fondée en 2019 par l'informaticien Luis Ceze, l'entreprise visait à simplifier le processus de déploiement de modèles d'apprentissage automatique dans des environnements de production, en abordant la complexité des optimisations spécifiques au matériel. La plateforme s'appuyait sur le framework de compilateur open-source Apache TVM, co-créé par Ceze, pour ajuster automatiquement les modèles afin d'obtenir des performances optimales sur les CPU, GPU et accélérateurs spécialisés. En 2024, OctoAI a été acquise par Nvidia, intégrant sa technologie dans la pile logicielle d'IA de Nvidia.
L'entreprise est issue de recherches menées à l'Université de Washington, où Ceze est professeur. Sa technologie de base visait à réduire l'effort d'ingénierie nécessaire pour atteindre des performances d'inférence élevées, la rendant accessible aux organisations sans expertise matérielle approfondie. Les outils d'OctoML étaient utilisés par des milliers de développeurs et d'entreprises pour déployer des modèles pour des tâches telles que le traitement du langage naturel, la vision par ordinateur et l'IA générative.
Fondation et développement initial
Luis Ceze, un informaticien américain d'origine brésilienne, a fondé OctoML en 2019. Ceze avait précédemment co-fondé Corensic, une startup issue de l'Université de Washington en 2008, acquise par F5 Networks en 2012. Son parcours académique comprenait un doctorat de l'Université de l'Illinois à Urbana-Champaign et un poste de professeur à la Paul G. Allen School of Computer Science & Engineering. L'objectif initial d'OctoML était de commercialiser Apache TVM, un compilateur d'apprentissage profond open-source que Ceze avait contribué à développer. L'entreprise a attiré l'attention de sociétés de capital-risque, notamment Madrona Venture Group, où Ceze était partenaire de capital-risque depuis 2018.
La plateforme offrait un service basé sur le cloud qui automatisait l'optimisation de modèles d'apprentissage automatique pour des cibles matérielles spécifiques. Les utilisateurs pouvaient télécharger des modèles entraînés avec des frameworks comme TensorFlow ou PyTorch, et OctoML générait des versions optimisées qui fonctionnaient plus rapidement et plus efficacement. Cela répondait à un goulot d'étranglement majeur dans l'industrie de l'IA, où le déploiement de modèles nécessitait souvent un réglage manuel pour chaque plateforme matérielle.
Évolution du produit et OctoAI
En juin 2023, OctoML a lancé OctoAI, un produit d'IA générative conçu pour fournir une inférence évolutive pour les grands modèles de langage et autres modèles génératifs. Cela marquait un tournant vers la satisfaction de la demande croissante pour des applications d'IA en production. En janvier 2024, l'entreprise s'était renommée OctoAI pour s'aligner sur son produit, Ceze expliquant que ce changement visait à « éliminer toute confusion potentielle entre notre produit et notre nom d'entreprise ». À cette époque, OctoAI rapportait avoir des milliers d'utilisateurs.
En juin 2024, OctoAI a introduit OctoStack, un produit visant à aider les clients à personnaliser les modèles d'IA selon leurs besoins spécifiques. OctoStack permettait aux utilisateurs d'affiner et de déployer des modèles avec un contrôle accru, ciblant les entreprises nécessitant des solutions d'IA sur mesure. La plateforme prenait en charge une gamme de matériels, y compris les GPU de Nvidia et AMD, ainsi que les services cloud de Amazon Web Services, Microsoft Azure et Google Cloud.
Acquisition par Nvidia
En septembre 2024, The Information a rapporté que Nvidia avait envisagé d'acquérir OctoAI pour 165 millions de dollars. L'acquisition a été finalisée le 25 septembre 2024, Nvidia intégrant la technologie et l'équipe d'OctoAI dans sa division logicielle d'IA. Suite à l'acquisition, Ceze est devenu vice-président des logiciels de systèmes d'IA chez Nvidia, tout en conservant son poste académique à l'Université de Washington. L'accord soulignait la stratégie de Nvidia visant à renforcer son écosystème logiciel pour le déploiement de l'IA, complétant ses offres matérielles.
L'acquisition s'inscrivait dans une tendance plus large de consolidation dans le domaine de l'infrastructure d'IA, alors que les grands fabricants de puces cherchaient à fournir des solutions de bout en bout pour les charges de travail de Machine learning. L'expertise d'OctoAI en optimisation de modèles était considérée comme précieuse pour les efforts de Nvidia visant à améliorer l'efficacité de ses GPU dans les tâches d'inférence.
Technologie et impact
La technologie de base d'OctoML reposait sur Apache TVM, un compilateur qui utilise des techniques de Machine learning pour optimiser automatiquement les modèles pour le matériel cible. Cette approche réduisait le besoin de réglage manuel des noyaux, traditionnellement un processus chronophage. La plateforme prenait en charge une large gamme de matériels, y compris les CPU Intel, les GPU AMD et les processeurs basés sur Arm Holdings, ainsi que des accélérateurs spécialisés comme AWS Trainium et les TPU de Google Cloud.
Les outils de l'entreprise étaient particulièrement pertinents pour le déploiement de Large language model, où la latence et le coût d'inférence sont critiques. En optimisant les modèles pour un matériel spécifique, OctoAI aidait les organisations à réduire les dépenses opérationnelles et à améliorer l'expérience utilisateur. La plateforme s'intégrait également avec des frameworks de Deep learning populaires, la rendant accessible aux scientifiques des données et aux ingénieurs.
Reconnaissance et héritage
Luis Ceze a reçu plusieurs prix pour ses contributions à l'informatique, notamment le NSF Career Award (2009), une bourse de recherche Sloan (2010), le IEEE TCCA Young Computer Architect Award (2013), le Maurice Wilkes Award (2020) et son élection comme membre de l'ACM (2022). Ces distinctions reflétaient son travail sur l'architecture des ordinateurs et les systèmes d'apprentissage automatique. L'héritage d'OctoML se poursuit à travers Nvidia, qui intègre désormais sa technologie dans des produits comme Nvidia Triton Inference Server et TensorRT. Le parcours de l'entreprise, d'une spin-off universitaire à une acquisition clé, souligne l'importance croissante de l'optimisation logicielle dans l'écosystème de l'Artificial intelligence.