OctoML é uma plataforma de software para otimizar e implantar modelos de aprendizado de máquina, fundada em 2019 pelo cientista da computação Luis Ceze. A empresa visava simplificar o processo de pegar modelos treinados e executá-los de forma eficiente em diversos hardwares, incluindo instâncias de nuvem e dispositivos de borda. Em 2024, a OctoML foi adquirida pela Nvidia, e sua tecnologia foi integrada à pilha de software de IA da Nvidia.
A plataforma foi construída sobre o Apache TVM, um framework compilador de código aberto para aprendizado de máquina que Ceze havia co-criado. A oferta principal da OctoML usava técnicas de otimização automatizada, como poda de modelos e quantização, para reduzir o tamanho e a latência dos modelos, facilitando a implantação de aplicações de inteligência artificial em produção por organizações.
Fundação e Desenvolvimento Inicial
A OctoML foi fundada em 2019 em Seattle, Washington, por Luis Ceze, que atuou como CEO. Ceze era professor na Paul G. Allen School of Computer Science & Engineering e havia co-fundado anteriormente a Corensic, uma startup adquirida pela F5 Networks em 2012. A equipe inicial incluía pesquisadores e engenheiros da comunidade Apache TVM.
A empresa levantou financiamento significativo de capital de risco, incluindo uma rodada Série A de US$ 15 milhões em 2019 e uma rodada Série C de US$ 85 milhões em 2021, liderada por investidores como Amplify Partners, Madrona Venture Group e Tiger Global. Até 2022, a OctoML havia levantado mais de US$ 130 milhões em financiamento total.
Evolução do Produto e OctoAI
Em junho de 2023, a OctoML lançou o OctoAI, um produto de IA generativa projetado para ajudar desenvolvedores a implantar e escalar aplicações de modelos de linguagem de grande escala. O produto oferecia endpoints gerenciados para modelos populares de código aberto e otimização automatizada para instâncias de GPU. Em janeiro de 2024, a empresa se renomeou para OctoAI para alinhar-se ao foco do produto, conforme explicou o CEO Luis Ceze, a mudança visava "eliminar confusão potencial entre nosso produto e o nome corporativo".
Em junho de 2024, a OctoAI introduziu o OctoStack, uma plataforma para personalizar e ajustar modelos de IA para casos de uso empresariais específicos. O produto permitia que clientes trouxessem seus próprios dados e implantassem modelos otimizados em sua infraestrutura de nuvem preferida, incluindo Amazon Web Services, Azure e Google Cloud.
Aquisição pela Nvidia
Em setembro de 2024, o The Information relatou que a Nvidia estava considerando adquirir a OctoAI por aproximadamente US$ 165 milhões. Em 25 de setembro de 2024, a Nvidia concluiu a aquisição. Após o acordo, Luis Ceze tornou-se vice-presidente de software de sistemas de IA na Nvidia, mantendo sua posição acadêmica na Universidade de Washington. A equipe e a tecnologia da OctoAI foram integradas à divisão de software de IA da Nvidia, focando na otimização de modelos de aprendizado profundo para as plataformas de hardware da Nvidia.
A aquisição fez parte da estratégia mais ampla da Nvidia para fortalecer seu ecossistema de software em torno de seu hardware dominante de GPU, particularmente para cargas de trabalho de IA generativa. As ferramentas de otimização da OctoAI complementavam as ofertas existentes da Nvidia, como TensorRT e Triton Inference Server.
Tecnologia e Impacto
A tecnologia da OctoML aproveitava o Apache TVM para ajustar automaticamente modelos para alvos de hardware específicos, usando técnicas como normalização em lote e normalização de camada para melhorar o desempenho de inferência. A plataforma suportava uma ampla gama de modelos, incluindo arquiteturas baseadas em transformers, CNNs de redes residuais e modelos U-Net para segmentação de imagens.
As ferramentas da empresa foram usadas por milhares de desenvolvedores e empresas para reduzir custos e latência de inferência. A OctoML também contribuiu para a comunidade de código aberto, lançando ferramentas como a biblioteca de serviço de modelos da OctoAI e colaborando com instituições acadêmicas.
Referências
[1] Wikipédia: Luis Ceze
[2] Comunicados de imprensa e anúncios de financiamento da OctoML
[3] The Information, setembro de 2024