OctoML AI, posteriormente conhecida como OctoAI, é uma plataforma de implantação de aprendizado de máquina projetada para otimizar e executar modelos de inteligência artificial em diversos hardwares. Fundada em 2019 pelo cientista da computação Luis Ceze, a empresa visava simplificar o processo de implantação de modelos de aprendizado de máquina em ambientes de produção, abordando a complexidade das otimizações específicas de hardware. A plataforma utilizava o framework de compilador de código aberto Apache TVM, co-criado por Ceze, para ajustar automaticamente modelos para desempenho em CPUs, GPUs e aceleradores especializados. Em 2024, a OctoAI foi adquirida pela Nvidia, integrando sua tecnologia à pilha de software de IA da Nvidia.
A empresa originou-se de pesquisas na Universidade de Washington, onde Ceze é professor. Sua tecnologia central focava em reduzir o esforço de engenharia necessário para alcançar alto desempenho de inferência, tornando-a acessível a organizações sem profundo conhecimento em hardware. As ferramentas da OctoML foram usadas por milhares de desenvolvedores e empresas para implantar modelos em tarefas como processamento de linguagem natural, visão computacional e IA generativa.
Fundação e Desenvolvimento Inicial
Luis Ceze, um cientista da computação americano nascido no Brasil, fundou a OctoML em 2019. Ceze havia co-fundado anteriormente a Corensic, uma startup derivada da Universidade de Washington em 2008, que foi adquirida pela F5 Networks em 2012. Seu histórico acadêmico incluía um Ph.D. da Universidade de Illinois Urbana-Champaign e uma cátedra na Paul G. Allen School of Computer Science & Engineering. O foco inicial da OctoML era comercializar o Apache TVM, um compilador de aprendizado profundo de código aberto que Ceze ajudou a desenvolver. A empresa atraiu atenção de firmas de capital de risco, incluindo a Madrona Venture Group, onde Ceze atuava como sócio de risco desde 2018.
A plataforma oferecia um serviço baseado em nuvem que automatizava a otimização de modelos de aprendizado de máquina para alvos de hardware específicos. Os usuários podiam enviar modelos treinados em frameworks como TensorFlow ou PyTorch, e a OctoML gerava versões otimizadas que rodavam mais rápido e com mais eficiência. Isso abordava um gargalo significativo na indústria de IA, onde a implantação de modelos frequentemente exigia ajustes manuais para cada plataforma de hardware.
Evolução do Produto e OctoAI
Em junho de 2023, a OctoML lançou o OctoAI, um produto de IA generativa projetado para fornecer inferência escalável para grandes modelos de linguagem e outros modelos generativos. Isso marcou uma mudança em direção ao atendimento da crescente demanda por aplicações de IA em produção. Em janeiro de 2024, a empresa se renomeou para OctoAI para alinhar-se ao seu produto, com Ceze explicando que a mudança era para "eliminar confusão potencial entre nosso produto e nome corporativo". Na época, a OctoAI relatou ter milhares de usuários.
Em junho de 2024, a OctoAI introduziu o OctoStack, um produto destinado a ajudar clientes a personalizar modelos de IA para suas necessidades específicas. O OctoStack permitia que usuários ajustassem e implantassem modelos com maior controle, visando empresas que exigiam soluções de IA sob medida. A plataforma suportava uma variedade de hardwares, incluindo GPUs da Nvidia e AMD, bem como serviços em nuvem da Amazon Web Services, Azure e Google Cloud.
Aquisição pela Nvidia
Em setembro de 2024, o The Information relatou que a Nvidia havia considerado adquirir a OctoAI por US$ 165 milhões. A aquisição foi concluída em 25 de setembro de 2024, com a Nvidia integrando a tecnologia e a equipe da OctoAI em sua divisão de software de IA. Após a aquisição, Ceze tornou-se vice-presidente de software de sistemas de IA na Nvidia, mantendo sua posição acadêmica na Universidade de Washington. O acordo destacou a estratégia da Nvidia de fortalecer seu ecossistema de software para implantação de IA, complementando suas ofertas de hardware.
A aquisição fez parte de uma tendência mais ampla de consolidação no espaço de infraestrutura de IA, à medida que grandes fabricantes de chips buscavam fornecer soluções de ponta a ponta para cargas de trabalho de aprendizado de máquina. A expertise da OctoAI em otimização de modelos foi vista como valiosa para os esforços da Nvidia em melhorar a eficiência de suas GPUs em tarefas de inferência.
Tecnologia e Impacto
A tecnologia central da OctoML foi construída sobre o Apache TVM, um compilador que usa técnicas de aprendizado de máquina para otimizar automaticamente modelos para hardware alvo. Essa abordagem reduzia a necessidade de ajuste manual de kernels, que tradicionalmente era um processo demorado. A plataforma suportava uma ampla gama de hardwares, incluindo CPUs Intel, GPUs AMD e processadores baseados em ARM Holdings, bem como aceleradores especializados como AWS Trainium e TPUs do Google Cloud.
As ferramentas da empresa eram particularmente relevantes para a implantação de grandes modelos de linguagem, onde a latência e o custo de inferência são críticos. Ao otimizar modelos para hardware específico, a OctoAI ajudava organizações a reduzir despesas operacionais e melhorar a experiência do usuário. A plataforma também integrava-se a frameworks populares de aprendizado profundo, tornando-a acessível a cientistas de dados e engenheiros.
Reconhecimento e Legado
Luis Ceze recebeu vários prêmios por suas contribuições à ciência da computação, incluindo o NSF Career Award (2009), uma Sloan Research Fellowship (2010), o IEEE TCCA Young Computer Architect Award (2013), o Maurice Wilkes Award (2020) e a eleição como ACM Fellow (2022). Essas honrarias refletiam seu trabalho em arquitetura de computadores e sistemas de aprendizado de máquina. O legado da OctoML continua através da Nvidia, que agora incorpora sua tecnologia em produtos como Nvidia Triton Inference Server e TensorRT. A jornada da empresa, de uma spin-off universitária a uma aquisição-chave, destaca a crescente importância da otimização de software no ecossistema de inteligência artificial.