OctoML es una empresa de tecnología especializada en optimizar el despliegue de modelos de aprendizaje automático. Fundada en 2019 por el científico informático Luis Ceze, la empresa desarrolló herramientas para acelerar y agilizar la ejecución de modelos de aprendizaje automático en diversas plataformas de hardware. En 2024, OctoML pasó a llamarse OctoAI y posteriormente fue adquirida por Nvidia, donde su tecnología pasó a formar parte del paquete de software de sistemas de IA de Nvidia.
El enfoque central de la empresa era abordar la complejidad de desplegar modelos de aprendizaje profundo en entornos de producción. La plataforma de OctoML aprovechaba Apache TVM, un marco de compilación de código abierto para la optimización de redes neuronales, para ajustar automáticamente los modelos a hardware específico, reduciendo la latencia y el costo. Esto posicionó a la empresa dentro del ecosistema más amplio de infraestructura de inteligencia artificial, compitiendo con otros servicios de optimización y nube.
Fundación y Desarrollo Temprano
OctoML fue fundada en 2019 por Luis Ceze, profesor de la Universidad de Washington e investigador conocido por su trabajo en arquitectura de computadores y sistemas de aprendizaje automático. Ceze cofundó la empresa junto con otros investigadores de la universidad, incluidos Thierry Moreau y Jared Roesch, quienes habían contribuido al desarrollo de Apache TVM. La empresa tenía su sede en Seattle, Washington, y recibió financiación inicial de firmas de capital de riesgo, incluido Madrona Venture Group, donde Ceze había sido socio de riesgo desde 2018.
El equipo fundador buscaba comercializar la investigación detrás de Apache TVM, que había sido desarrollado en la Universidad de Washington y otras instituciones. El primer producto de la empresa se centró en automatizar el proceso de optimización de modelos de aprendizaje automático para diferentes hardware, como CPU de Intel, GPU de AMD y procesadores basados en ARM. Esto tenía como objetivo ayudar a las empresas a evitar la tarea manual y lenta de ajustar modelos para cada entorno de despliegue.
Evolución del Producto y Renombramiento a OctoAI
En junio de 2023, OctoML lanzó OctoAI, un producto de IA generativa diseñado para simplificar el despliegue de grandes modelos de lenguaje y otras aplicaciones de IA generativa. OctoAI proporcionaba una plataforma gestionada que permitía a los desarrolladores ejecutar y escalar modelos como Llama y Stable Diffusion con rendimiento optimizado. Para enero de 2024, la empresa se había renombrado a OctoAI, con Ceze explicando que el cambio se hizo para "eliminar la posible confusión entre nuestro producto y el nombre corporativo". En ese momento, Ceze declaró que OctoAI tenía miles de usuarios.
En junio de 2024, OctoAI lanzó OctoStack, un producto destinado a ayudar a los clientes a personalizar modelos de IA para sus casos de uso específicos. OctoStack ofrecía herramientas para ajustar y servir modelos con seguridad y escalabilidad de nivel empresarial. Estos productos posicionaron a OctoAI como un actor clave en el creciente mercado de infraestructura de IA, compitiendo con ofertas de Amazon Web Services, Google Cloud y Azure.
Adquisición por Nvidia
En septiembre de 2024, The Information informó que Nvidia estaba considerando adquirir OctoAI por aproximadamente 165 millones de dólares. La adquisición se completó el 25 de septiembre de 2024. Tras la adquisición, Luis Ceze se convirtió en vicepresidente de software de sistemas de IA en Nvidia, manteniendo también su puesto académico en la Universidad de Washington. La adquisición fue parte de la estrategia más amplia de Nvidia para fortalecer su ecosistema de software para el despliegue de IA, complementando sus ofertas de hardware como GPU de Nvidia y software CUDA.
La adquisición marcó un hito significativo para OctoML, que había recaudado más de 130 millones de dólares en financiación de inversores, incluidos Madrona Venture Group, Amplify Partners y Tiger Global Management. La tecnología de la empresa se integró en el paquete de software de IA de Nvidia, beneficiando potencialmente a los clientes de Nvidia que buscaban optimizar modelos en hardware de Nvidia.
Tecnología e Impacto
La tecnología central de OctoML se basaba en Apache TVM, un compilador de aprendizaje profundo de código abierto que permite que los modelos se ejecuten eficientemente en hardware diverso. La plataforma de la empresa automatizaba el proceso de optimización de modelos, incluida la cuantización, la poda y la fusión de operadores, lo que podía reducir significativamente la latencia y el costo de inferencia. Esto era particularmente relevante para el despliegue de grandes modelos de lenguaje, donde las demandas computacionales son altas.
Las herramientas de OctoML fueron utilizadas por empresas en varios sectores, incluidos salud, finanzas y comercio electrónico, para desplegar aplicaciones de IA a escala. La empresa también contribuyó a la comunidad de código abierto, con sus ingenieros manteniendo activamente Apache TVM y proyectos relacionados. Al hacer más accesible la optimización de modelos, OctoML ayudó a democratizar el despliegue de IA, permitiendo que empresas más pequeñas aprovecharan el aprendizaje automático avanzado sin experiencia especializada.
Legado y Futuro
Tras la adquisición, los productos de OctoAI continúan ofreciéndose bajo la marca de Nvidia, con un enfoque en la integración con las plataformas de IA de Nvidia. Se espera que la tecnología de la empresa desempeñe un papel en los esfuerzos de Nvidia por proporcionar soluciones de extremo a extremo para el desarrollo y despliegue de IA. La adquisición también destacó la creciente importancia de la optimización de software en la industria de la IA, ya que el hardware por sí solo es insuficiente para lograr un rendimiento óptimo.
El trabajo de Luis Ceze en OctoML y Apache TVM ha sido reconocido con numerosos premios, incluido el de Miembro de ACM en 2022 y el Premio Maurice Wilkes en 2020. Sus contribuciones a la informática y los sistemas de IA continúan influyendo tanto en la academia como en la industria.