OctoML é uma empresa de tecnologia especializada em otimizar a implantação de modelos de aprendizado de máquina. Fundada em 2019 pelo cientista da computação Luis Ceze, a empresa desenvolveu ferramentas para acelerar e simplificar a execução de modelos de aprendizado de máquina em diversas plataformas de hardware. Em 2024, a OctoML foi renomeada para OctoAI e posteriormente adquirida pela Nvidia, onde sua tecnologia passou a integrar a pilha de software de sistemas de IA da Nvidia.
O foco central da empresa era abordar a complexidade de implantar modelos de aprendizado profundo em ambientes de produção. A plataforma da OctoML utilizava o Apache TVM, um framework compilador de código aberto para otimização de redes neurais, para ajustar automaticamente modelos a hardwares específicos, reduzindo latência e custo. Isso posicionou a empresa dentro do ecossistema mais amplo de infraestrutura de inteligência artificial, competindo com outros serviços de otimização e nuvem.
Fundação e Desenvolvimento Inicial
A OctoML foi fundada em 2019 por Luis Ceze, professor da Universidade de Washington e pesquisador conhecido por seu trabalho em arquitetura de computadores e sistemas de aprendizado de máquina. Ceze cofundou a empresa junto com outros pesquisadores da universidade, incluindo Thierry Moreau e Jared Roesch, que contribuíram para o desenvolvimento do Apache TVM. A empresa tinha sede em Seattle, Washington, e recebeu financiamento inicial de firmas de capital de risco, incluindo a Madrona Venture Group, onde Ceze era sócio de risco desde 2018.
A equipe fundadora visava comercializar a pesquisa por trás do Apache TVM, que havia sido desenvolvido na Universidade de Washington e em outras instituições. O produto inicial da empresa focava em automatizar o processo de otimização de modelos de aprendizado de máquina para diferentes hardwares, como CPUs da Intel, GPUs da AMD e processadores baseados em ARM. Isso visava ajudar empresas a evitar a tarefa manual e demorada de ajustar modelos para cada ambiente de implantação.
Evolução do Produto e Renomeação para OctoAI
Em junho de 2023, a OctoML lançou o OctoAI, um produto de IA generativa projetado para simplificar a implantação de grandes modelos de linguagem e outras aplicações de IA generativa. O OctoAI fornecia uma plataforma gerenciada que permitia aos desenvolvedores executar e escalar modelos como Llama e Stable Diffusion com desempenho otimizado. Em janeiro de 2024, a empresa se renomeou para OctoAI, com Ceze explicando que a mudança foi feita para "eliminar confusão potencial entre nosso produto e o nome corporativo". Na época, Ceze afirmou que o OctoAI tinha milhares de usuários.
Em junho de 2024, a OctoAI lançou o OctoStack, um produto destinado a ajudar clientes a personalizar modelos de IA para seus casos de uso específicos. O OctoStack oferecia ferramentas para ajuste fino e serviço de modelos com segurança e escalabilidade de nível empresarial. Esses produtos posicionaram a OctoAI como um player-chave no crescente mercado de infraestrutura de IA, competindo com ofertas da Amazon Web Services, Google Cloud e Azure.
Aquisição pela Nvidia
Em setembro de 2024, o The Information noticiou que a Nvidia estava considerando adquirir a OctoAI por aproximadamente US$ 165 milhões. A aquisição foi concluída em 25 de setembro de 2024. Após a aquisição, Luis Ceze tornou-se vice-presidente de software de sistemas de IA na Nvidia, mantendo também sua posição acadêmica na Universidade de Washington. A aquisição fez parte da estratégia mais ampla da Nvidia de fortalecer seu ecossistema de software para implantação de IA, complementando suas ofertas de hardware, como GPUs da Nvidia e software CUDA.
A aquisição marcou um marco significativo para a OctoML, que havia levantado mais de US$ 130 milhões em financiamento de investidores, incluindo Madrona Venture Group, Amplify Partners e Tiger Global Management. A tecnologia da empresa foi integrada à pilha de software de IA da Nvidia, potencialmente beneficiando os clientes da Nvidia que buscavam otimizar modelos em hardware Nvidia.
Tecnologia e Impacto
A tecnologia central da OctoML era baseada no Apache TVM, um compilador de aprendizado profundo de código aberto que permite que modelos sejam executados com eficiência em hardwares diversos. A plataforma da empresa automatizava o processo de otimização de modelos, incluindo quantização, poda e fusão de operadores, o que podia reduzir significativamente a latência de inferência e o custo. Isso era particularmente relevante para a implantação de grandes modelos de linguagem, onde as demandas computacionais são altas.
As ferramentas da OctoML eram usadas por empresas em vários setores, incluindo saúde, finanças e comércio eletrônico, para implantar aplicações de IA em escala. A empresa também contribuiu para a comunidade de código aberto, com seus engenheiros mantendo ativamente o Apache TVM e projetos relacionados. Ao tornar a otimização de modelos mais acessível, a OctoML ajudou a democratizar a implantação de IA, permitindo que empresas menores aproveitassem aprendizado de máquina avançado sem conhecimento especializado.
Legado e Futuro
Após a aquisição, os produtos da OctoAI continuam a ser oferecidos sob a marca da Nvidia, com foco na integração com as plataformas de IA da Nvidia. Espera-se que a tecnologia da empresa desempenhe um papel nos esforços da Nvidia para fornecer soluções de ponta a ponta para desenvolvimento e implantação de IA. A aquisição também destacou a importância crescente da otimização de software na indústria de IA, já que o hardware sozinho é insuficiente para alcançar desempenho ideal.
O trabalho de Luis Ceze na OctoML e no Apache TVM foi reconhecido com inúmeros prêmios, incluindo o ACM Fellow em 2022 e o Maurice Wilkes Award em 2020. Suas contribuições para a ciência da computação e sistemas de IA continuam a influenciar tanto a academia quanto a indústria.