Modular é uma empresa de software fundada em 2022 por Chris Lattner e Tim Davis, conhecida por criar a plataforma MAX, um runtime de inferência de IA e compilador projetado para otimizar e implantar modelos de aprendizado de máquina em diversos hardwares. A empresa visa abordar a fragmentação na infraestrutura de IA, fornecendo um runtime unificado que suporta múltiplos backends, incluindo CPUs, GPUs e aceleradores especializados, sem exigir reescritas de modelos. A tecnologia da Modular é posicionada como uma alternativa de alto desempenho às pilhas de inferência tradicionais, com foco na redução de latência e na melhoria da utilização de recursos para modelos de linguagem de grande porte e outras cargas de trabalho de aprendizado profundo.
A empresa emergiu do ecossistema mais amplo de IA, aproveitando a experiência anterior de Lattner como criador da linguagem de programação Swift e seu trabalho em LLVM, uma infraestrutura de compilador amplamente usada em frameworks de aprendizado de máquina. O produto principal da Modular, MAX, inclui um compilador de grafo, um runtime e um conjunto de APIs que permitem aos desenvolvedores implantar modelos de forma eficiente em dispositivos de borda, data centers e plataformas de nuvem. Em 2024, a Modular ganhou atenção por seus benchmarks de desempenho, alegando acelerações significativas em relação a runtimes existentes como TensorFlow e PyTorch em cenários específicos de inferência.
Financiamento e Crescimento
A Modular levantou US$ 100 milhões em uma rodada de financiamento Série A em 2022, liderada pela General Catalyst, com participação de investidores incluindo GV (Google Ventures) e SV Angel. Essa rodada avaliou a empresa em aproximadamente US$ 600 milhões, refletindo forte confiança dos investidores em sua abordagem técnica. O financiamento foi destinado à expansão da equipe de engenharia, aceleração do desenvolvimento de produtos e construção de parcerias com fornecedores de hardware e provedores de nuvem. Em 2023, a Modular anunciou investimentos estratégicos adicionais da Nvidia e AMD, embora valores específicos não tenham sido divulgados, para melhorar a compatibilidade com suas respectivas arquiteturas de GPU.
No início de 2024, a Modular havia crescido para mais de 100 funcionários, com escritórios em São Francisco e Nova York. A empresa também lançou um beta público do MAX em março de 2024, permitindo que desenvolvedores testassem o runtime em cargas de trabalho do mundo real. O lançamento beta incluiu suporte para modelos Transformer, redes neurais com formas dinâmicas e integração com frameworks populares como a biblioteca Transformers da Hugging Face.
Arquitetura Técnica
A plataforma MAX é construída sobre a própria tecnologia de compilador da Modular, que usa uma representação intermediária (IR) de múltiplos níveis para otimizar computações para hardware específico. Diferentemente de runtimes tradicionais que dependem de kernels pré-compilados, o MAX realiza compilação just-in-time (JIT), permitindo otimização adaptativa com base em formas de entrada e capacidades de hardware. Essa abordagem reduz a sobrecarga de memória e melhora a eficiência de cache, o que é crítico para tarefas de inferência com tamanhos de lote variáveis.
Uma característica chave do MAX é seu suporte a múltiplos backends, incluindo CPUs x86 e ARM, GPUs Nvidia e aceleradores emergentes como Cerebras e Groq. A Modular também fez parceria com a Intel para otimizar o MAX para os aceleradores Gaudi da Intel, e com a Qualcomm para implantação em borda em dispositivos móveis e IoT. O runtime inclui uma API Python e um compilador de grafo que pode ingerir modelos de PyTorch, TensorFlow e ONNX, fornecendo um caminho de migração contínuo para pipelines de IA existentes.
Desempenho e Benchmarks
A Modular publicou benchmarks independentes mostrando que o MAX alcança latência até 3x menor em comparação com a inferência nativa do PyTorch em GPUs Nvidia A100 para modelos padrão de IA generativa como GPT-2 e BERT. Em ambientes somente com CPU, o MAX demonstrou uma melhoria de 2,5x na taxa de transferência em relação ao TensorFlow em processadores Intel Xeon. Esses resultados são atribuídos à capacidade do compilador de fundir operações, eliminar cópias de memória redundantes e explorar instruções vetorizadas.
Em 2024, a Modular participou do conjunto de benchmarks MLPerf Inference, uma avaliação padronizada da indústria, e relatou resultados competitivos para as categorias de data center e borda. No entanto, a verificação independente dessas alegações está em andamento, pois a empresa ainda não divulgou documentação técnica completa de suas técnicas de otimização.
Ecossistema e Parcerias
A Modular estabeleceu colaborações com grandes provedores de nuvem, incluindo Amazon Web Services, Microsoft Azure e Google Cloud, para oferecer o MAX como um serviço gerenciado. Essas parcerias permitem que clientes implantem modelos em instâncias de nuvem com ambientes MAX pré-configurados, reduzindo o tempo de configuração. A empresa também trabalha com CoreWeave e Oracle Cloud para clusters de GPU especializados, visando cargas de trabalho de IA de alto desempenho.
No lado do hardware, a Modular ingressou no consórcio Open Panel, um grupo da indústria que promove padrões abertos para aceleradores de IA, e contribuiu para o desenvolvimento de uma interface de runtime comum. Esse envolvimento visa simplificar a integração de novos chips em pilhas de IA existentes, um desafio destacado pela proliferação de silício especializado de empresas como TSMC e Broadcom.
Direções Futuras
A Modular planeja expandir o suporte do MAX para modelos de aprendizado por reforço e visão computacional, áreas onde a execução dinâmica é particularmente desafiadora. A empresa também está pesquisando técnicas para reduzir a pegada de memória durante a inferência, o que é crítico para implantar modelos grandes em dispositivos com recursos limitados. No final de 2024, a Modular não divulgou números de receita, mas seu foco em adoção empresarial e parcerias sugere uma estratégia centrada em se tornar uma camada padrão na infraestrutura de IA.
Apesar de sua promessa, a Modular enfrenta concorrência de players estabelecidos como TensorRT da Nvidia e Triton da OpenAI, bem como alternativas de código aberto como ONNX Runtime. O sucesso da empresa dependerá de sua capacidade de manter vantagens de desempenho enquanto garante ampla compatibilidade de hardware e adoção por desenvolvedores.