OctoML AI, conocido posteriormente como OctoAI, es una plataforma de despliegue de aprendizaje automático diseñada para optimizar y ejecutar modelos de inteligencia artificial en diversos hardware. Fundada en 2019 por el informático Luis Ceze, la empresa pretendía simplificar el proceso de desplegar modelos de aprendizaje automático en entornos de producción, abordando la complejidad de las optimizaciones específicas de hardware. La plataforma aprovechaba el framework de compilador de código abierto Apache TVM, co-creado por Ceze, para ajustar automáticamente los modelos y lograr un rendimiento óptimo en CPUs, GPUs y aceleradores especializados. En 2024, OctoAI fue adquirida por Nvidia, integrando su tecnología en la pila de software de IA de Nvidia.
La empresa se originó a partir de investigaciones en la Universidad de Washington, donde Ceze es profesor. Su tecnología central se centraba en reducir el esfuerzo de ingeniería necesario para alcanzar un alto rendimiento de inferencia, haciéndolo accesible para organizaciones sin un profundo conocimiento de hardware. Las herramientas de OctoML fueron utilizadas por miles de desarrolladores y empresas para desplegar modelos en tareas como procesamiento de lenguaje natural, visión por computadora e IA generativa.
Fundación y Desarrollo Inicial
Luis Ceze, un informático estadounidense nacido en Brasil, fundó OctoML en 2019. Ceze había cofundado anteriormente Corensic, una startup derivada de la Universidad de Washington en 2008, que fue adquirida por F5 Networks en 2012. Su trayectoria académica incluía un doctorado de la Universidad de Illinois Urbana-Champaign y un profesorado en la Escuela Paul G. Allen de Ciencias de la Computación e Ingeniería. El enfoque inicial de OctoML era comercializar Apache TVM, un compilador de aprendizaje profundo de código abierto que Ceze había ayudado a desarrollar. La empresa atrajo la atención de firmas de capital de riesgo, incluyendo Madrona Venture Group, donde Ceze había sido socio de riesgo desde 2018.
La plataforma ofrecía un servicio basado en la nube que automatizaba la optimización de modelos de aprendizaje automático para objetivos de hardware específicos. Los usuarios podían subir modelos entrenados en frameworks como TensorFlow o PyTorch, y OctoML generaba versiones optimizadas que se ejecutaban más rápido y de manera más eficiente. Esto abordaba un cuello de botella significativo en la industria de la IA, donde el despliegue de modelos a menudo requería un ajuste manual para cada plataforma de hardware.
Evolución del Producto y OctoAI
En junio de 2023, OctoML lanzó OctoAI, un producto de IA generativa diseñado para proporcionar inferencia escalable para grandes modelos de lenguaje y otros modelos generativos. Esto marcó un cambio hacia atender la creciente demanda de aplicaciones de IA en producción. Para enero de 2024, la empresa se había renombrado como OctoAI para alinearse con su producto, explicando Ceze que el cambio era para "eliminar la posible confusión entre nuestro producto y el nombre corporativo". En ese momento, OctoAI reportó tener miles de usuarios.
En junio de 2024, OctoAI presentó OctoStack, un producto destinado a ayudar a los clientes a personalizar modelos de IA según sus necesidades específicas. OctoStack permitía a los usuarios ajustar y desplegar modelos con mayor control, dirigido a empresas que requerían soluciones de IA a medida. La plataforma soportaba una variedad de hardware, incluyendo GPUs de Nvidia y AMD, así como servicios en la nube de Amazon Web Services, Microsoft Azure y Google Cloud.
Adquisición por Nvidia
En septiembre de 2024, The Information informó que Nvidia había considerado adquirir OctoAI por 165 millones de dólares. La adquisición se completó el 25 de septiembre de 2024, integrando Nvidia la tecnología y el equipo de OctoAI en su división de software de IA. Tras la adquisición, Ceze se convirtió en vicepresidente de software de sistemas de IA en Nvidia, manteniendo su puesto académico en la Universidad de Washington. El acuerdo subrayó la estrategia de Nvidia de fortalecer su ecosistema de software para el despliegue de IA, complementando su oferta de hardware.
La adquisición fue parte de una tendencia más amplia de consolidación en el espacio de infraestructura de IA, ya que los principales fabricantes de chips buscaban proporcionar soluciones integrales para cargas de trabajo de Machine learning. La experiencia de OctoAI en optimización de modelos se consideró valiosa para los esfuerzos de Nvidia por mejorar la eficiencia de sus GPUs en tareas de inferencia.
Tecnología e Impacto
La tecnología central de OctoML se basaba en Apache TVM, un compilador que utiliza técnicas de Machine learning para optimizar automáticamente modelos para el hardware objetivo. Este enfoque reducía la necesidad de ajuste manual de kernels, que tradicionalmente era un proceso que consumía mucho tiempo. La plataforma soportaba una amplia gama de hardware, incluyendo CPUs de Intel, GPUs de AMD y procesadores basados en Arm Holdings, así como aceleradores especializados como AWS Trainium y TPUs de Google Cloud.
Las herramientas de la empresa eran particularmente relevantes para el despliegue de Large language model, donde la latencia y el costo de inferencia son críticos. Al optimizar modelos para hardware específico, OctoAI ayudaba a las organizaciones a reducir gastos operativos y mejorar la experiencia del usuario. La plataforma también se integraba con frameworks populares de Deep learning, haciéndola accesible para científicos de datos e ingenieros.
Reconocimiento y Legado
Luis Ceze recibió varios premios por sus contribuciones a las ciencias de la computación, incluyendo el NSF Career Award (2009), una Beca de Investigación Sloan (2010), el IEEE TCCA Young Computer Architect Award (2013), el Maurice Wilkes Award (2020) y su elección como ACM Fellow (2022). Estos honores reflejaban su trabajo en arquitectura de computadores y sistemas de aprendizaje automático. El legado de OctoML continúa a través de Nvidia, que ahora incorpora su tecnología en productos como Nvidia Triton Inference Server y TensorRT. El recorrido de la empresa, desde una derivada universitaria hasta una adquisición clave, destaca la creciente importancia de la optimización de software en la Artificial intelligence.