OctoML est une plateforme logicielle destinée à l'optimisation et au déploiement de modèles de apprentissage automatique, fondée en 2019 par l'informaticien Luis Ceze. L'entreprise visait à simplifier le processus de prise de modèles entraînés et de leur exécution efficace sur divers matériels, y compris les instances cloud et les appareils de périphérie. En 2024, OctoML a été acquise par Nvidia, et sa technologie a été intégrée dans la pile logicielle d'IA de Nvidia.
La plateforme était construite sur Apache TVM, un framework compilateur open source pour l'apprentissage automatique que Ceze avait co-créé. L'offre principale d'OctoML utilisait des techniques d'optimisation automatisées telles que élagage de modèles et la quantification pour réduire la taille et la latence des modèles, facilitant ainsi le déploiement d'applications d'intelligence artificielle en production pour les organisations.
Fondation et développement initial
OctoML a été fondée en 2019 à Seattle, Washington, par Luis Ceze, qui en a été le PDG. Ceze était professeur à la Paul G. Allen School of Computer Science & Engineering et avait auparavant co-fondé Corensic, une startup acquise par F5 Networks en 2012. L'équipe initiale comprenait des chercheurs et des ingénieurs de la communauté Apache TVM.
L'entreprise a levé des fonds de capital-risque significatifs, notamment un tour de table de série A de 15 millions de dollars en 2019 et un tour de série C de 85 millions de dollars en 2021, menés par des investisseurs tels qu'Amplify Partners, Madrona Venture Group et Tiger Global. En 2022, OctoML avait levé plus de 130 millions de dollars au total.
Évolution du produit et OctoAI
En juin 2023, OctoML a lancé OctoAI, un produit d'IA générative conçu pour aider les développeurs à déployer et à faire évoluer des applications de grands modèles de langage. Le produit offrait des points de terminaison gérés pour les modèles open source populaires et une optimisation automatisée pour les instances GPU. En janvier 2024, l'entreprise s'est renommée OctoAI pour s'aligner sur son orientation produit, comme l'a expliqué le PDG Luis Ceze, afin d'« éliminer toute confusion potentielle entre notre produit et notre nom d'entreprise ».
En juin 2024, OctoAI a introduit OctoStack, une plateforme pour personnaliser et affiner les modèles d'IA pour des cas d'utilisation spécifiques en entreprise. Le produit permettait aux clients d'apporter leurs propres données et de déployer des modèles optimisés sur leur infrastructure cloud préférée, y compris Amazon Web Services, Azure et Google Cloud.
Acquisition par Nvidia
En septembre 2024, The Information a rapporté que Nvidia envisageait d'acquérir OctoAI pour environ 165 millions de dollars. Le 25 septembre 2024, Nvidia a finalisé l'acquisition. À la suite de cet accord, Luis Ceze est devenu vice-président des logiciels de systèmes d'IA chez Nvidia, tout en conservant son poste académique à l'Université de Washington. L'équipe et la technologie d'OctoAI ont été intégrées dans la division logicielle d'IA de Nvidia, se concentrant sur l'optimisation des modèles de apprentissage profond pour les plateformes matérielles de Nvidia.
L'acquisition faisait partie de la stratégie plus large de Nvidia visant à renforcer son écosystème logiciel autour de son matériel GPU dominant, en particulier pour les charges de travail de IA générative. Les outils d'optimisation d'OctoAI complétaient les offres existantes de Nvidia comme TensorRT et Triton Inference Server.
Technologie et impact
La technologie d'OctoML exploitait Apache TVM pour ajuster automatiquement les modèles à des cibles matérielles spécifiques, en utilisant des techniques comme normalisation par lots et normalisation de couche pour améliorer les performances d'inférence. La plateforme prenait en charge une large gamme de modèles, y compris les architectures basées sur transformers, les CNN réseaux résiduels et les modèles U-Net pour la segmentation d'images.
Les outils de l'entreprise étaient utilisés par des milliers de développeurs et d'entreprises pour réduire les coûts et la latence d'inférence. OctoML a également contribué à la communauté open source, en publiant des outils comme la bibliothèque de service de modèles d'OctoAI et en collaborant avec des institutions académiques.
Références
[1] Wikipédia : Luis Ceze
[2] Communiqués de presse et annonces de financement d'OctoML
[3] The Information, septembre 2024