OctoML es una plataforma de software para optimizar y desplegar modelos de Machine learning, fundada en 2019 por el informático Luis Ceze. La empresa tenía como objetivo simplificar el proceso de tomar modelos entrenados y ejecutarlos de manera eficiente en diversos hardware, incluidas instancias en la nube y dispositivos de borde. En 2024, OctoML fue adquirida por Nvidia, y su tecnología se integró en la pila de software de IA de Nvidia.
La plataforma se construyó sobre Apache TVM, un marco de compilación de código abierto para el aprendizaje automático que Ceze había co-creado. La oferta principal de OctoML utilizaba técnicas de optimización automatizada, como la poda de modelos y la cuantización, para reducir el tamaño y la latencia de los modelos, facilitando a las organizaciones el despliegue de aplicaciones de inteligencia artificial en producción.
Fundación y desarrollo inicial
OctoML fue fundada en 2019 en Seattle, Washington, por Luis Ceze, quien ocupó el cargo de CEO. Ceze era profesor en la Escuela de Informática e Ingeniería Paul G. Allen y había cofundado anteriormente Corensic, una startup adquirida por F5 Networks en 2012. El equipo inicial incluía investigadores e ingenieros de la comunidad de Apache TVM.
La empresa recaudó un importante capital de riesgo, incluyendo una ronda Serie A de 15 millones de dólares en 2019 y una ronda Serie C de 85 millones de dólares en 2021, lideradas por inversores como Amplify Partners, Madrona Venture Group y Tiger Global. Para 2022, OctoML había recaudado más de 130 millones de dólares en financiación total.
Evolución del producto y OctoAI
En junio de 2023, OctoML lanzó OctoAI, un producto de IA generativa diseñado para ayudar a los desarrolladores a desplegar y escalar aplicaciones de modelos de lenguaje de gran tamaño. El producto ofrecía endpoints gestionados para modelos populares de código abierto y optimización automatizada para instancias de GPU. En enero de 2024, la empresa se renombró a OctoAI para alinearse con su enfoque de producto, ya que el CEO Luis Cece explicó que el cambio buscaba "eliminar la confusión potencial entre nuestro nombre corporativo y el del producto".
En junio de 2024, OctoAI presentó OctoStack, una plataforma para personalizar y ajustar modelos de IA para casos de uso empresariales específicos. El producto permitía a los clientes utilizar sus propios datos y desplegar modelos optimizados en su infraestructura de nube preferida, incluyendo Amazon Web Services, Azure y Google Cloud.
Adquisición por Nvidia
En septiembre de 2024, The Information informó que Nvidia estaba considerando adquirir OctoAI por aproximadamente 165 millones de dólares. El 25 de septiembre de 2024, Nvidia completó la adquisición. Tras el acuerdo, Luis Cece se convirtió en vicepresidente de software de sistemas de IA en Nvidia, manteniendo su puesto académico en la Universidad de Washington. El equipo y la tecnología de OctoAI se integraron en la división de software de IA de Nvidia, centrada en optimizar modelos de aprendizaje profundo para las plataformas de hardware de Nvidia.
La adquisición formó parte de la estrategia más amplia de Nvidia para fortalecer su ecosistema de software en torno a su hardware dominante de GPU, particularmente para cargas de trabajo de IA generativa. Las herramientas de optimización de OctoAI complementaron las ofertas existentes de Nvidia, como TensorRT y Triton Inference Server.
Tecnología e impacto
La tecnología de OctoML aprovechaba Apache TVM para ajustar automáticamente los modelos a objetivos de hardware específicos, utilizando técnicas como la normalización por lotes y la normalización de capas para mejorar el rendimiento de la inferencia. La plataforma admitía una amplia gama de modelos, incluidas arquitecturas basadas en transformadores, CNN de redes residuales y modelos U-Net para segmentación de imágenes.
Las herramientas de la empresa fueron utilizadas por miles de desarrolladores y empresas para reducir los costos y la latencia de la inferencia. OctoML también contribuyó a la comunidad de código abierto, publicando herramientas como la biblioteca de servicio de modelos de OctoAI y colaborando con instituciones académicas.
Referencias
[1] Wikipedia: Luis Cece
[2] Comunicados de prensa y anuncios de financiación de OctoML
[3] The Information, septiembre de 2024