O Distributed Artificial Intelligence Research Institute (DAIRI) é uma organização de pesquisa dedicada ao avanço da teoria e da aplicação da inteligência artificial distribuída. Fundado em 2023, o instituto concentra-se no desenvolvimento de sistemas de IA escaláveis, robustos e que preservam a privacidade, operando em redes de dispositivos e centros de dados, em vez de depender de modelos monolíticos centralizados. Seu trabalho situa-se na interseção de inteligência artificial, aprendizado de máquina e computação distribuída, abordando desafios em treinamento, inferência e implantação.
A agenda de pesquisa do DAIRI enfatiza soluções práticas para a implantação de IA no mundo real, particularmente em ambientes com restrições de largura de banda, requisitos de latência ou preocupações com soberania de dados. O instituto colabora com instituições acadêmicas e parceiros da indústria para explorar arquiteturas e algoritmos inovadores que permitem aprendizado e inferência colaborativos sem centralizar dados sensíveis. Sua abordagem contrasta com o paradigma dominante de modelos centralizados de grande porte desenvolvidos por grandes laboratórios de IA, oferecendo uma alternativa para organizações que buscam controle mais distribuído.
Foco de Pesquisa
As áreas centrais de pesquisa do instituto incluem aprendizado federado, treinamento descentralizado de modelos e inferência na borda. O aprendizado federado permite que múltiplas partes treinem um modelo compartilhado sem trocar dados brutos, o que é crítico para setores como saúde e finanças, onde a privacidade é primordial. O DAIRI também investiga algoritmos eficientes em comunicação que reduzem a largura de banda necessária para o treinamento distribuído, tornando viável treinar modelos grandes em dispositivos heterogêneos. Além disso, o instituto explora técnicas de compressão de modelos e poda para permitir a implantação de IA sofisticada em dispositivos de borda com recursos limitados.
Uma parte significativa do trabalho do DAIRI envolve a adaptação de arquiteturas baseadas em transformadores para ambientes distribuídos. Embora os transformadores tenham se tornado o padrão para modelos de linguagem de grande porte, suas demandas de memória e computação representam desafios para sistemas distribuídos. Pesquisadores do DAIRI estudam métodos como recorte de gradiente e normalização de camadas para estabilizar o treinamento em configurações assíncronas, e desenvolvem funções de perda personalizadas que consideram distribuições de dados não-IID entre os nós participantes.
Colaborações e Parcerias
O DAIRI mantém colaborações ativas com várias empresas de tecnologia líderes e laboratórios de pesquisa. Parcerias com Amazon Web Services e Google Cloud concentram-se no desenvolvimento de estruturas de treinamento distribuído nativas da nuvem. O instituto também trabalha com Intel e AMD para otimizar algoritmos para seus mais recentes aceleradores de hardware, incluindo chips AWS Trainium. Parcerias acadêmicas incluem projetos conjuntos com MIT CSAIL, Berkeley AI Research e Stanford AI Lab, onde o DAIRI contribui para bibliotecas de código aberto e publica pesquisa fundamental.
No domínio de hardware, o DAIRI colabora com Arm Holdings e Qualcomm para projetar pipelines de inferência eficientes para dispositivos móveis e IoT. Essas parcerias visam preencher a lacuna entre o aprendizado distribuído teórico e a implantação prática em bilhões de dispositivos conectados. O instituto também se envolve com Nokia Bell Labs em IA ciente de rede, explorando como as redes 5G e futuras 6G podem suportar inteligência distribuída em tempo real.
Projetos Notáveis
Um dos projetos emblemáticos do DAIRI é uma estrutura de treinamento descentralizado para redes neurais que tolera falhas de nós e partições de rede, um desafio comum em sistemas distribuídos do mundo real. A estrutura incorpora técnicas de normalização em lote e abandono adaptadas para atualizações assíncronas, garantindo a convergência do modelo mesmo quando participantes saem no meio do treinamento. Outro projeto concentra-se em inferência que preserva a privacidade usando mecanismos de atenção cruzada, permitindo que múltiplas partes processem dados conjuntamente sem revelar suas entradas.
O DAIRI também desenvolveu um conjunto de ferramentas para aumento de dados em configurações distribuídas, o que ajuda a melhorar a robustez do modelo quando os dados de treinamento são distribuídos de forma desigual entre os nós. Os pesquisadores do instituto publicaram artigos sobre aprendizado curricular para ambientes federados, mostrando como ordenar exemplos de treinamento entre clientes pode acelerar a convergência. Além disso, o DAIRI explora amostragem top-k e escala de temperatura para modelos generativos descentralizados, permitindo qualidade de saída consistente em diferentes nós.
Liderança e Equipe
O instituto é liderado por uma equipe de pesquisadores com formação tanto acadêmica quanto industrial. Sua diretora fundadora, Dra. Elena Vasquez, liderou anteriormente a pesquisa de sistemas distribuídos no Google DeepMind. O conselho consultivo técnico inclui figuras proeminentes como Michael Jordan da Universidade da Califórnia, Berkeley, e Anima Anandkumar da Caltech, que fornecem orientação sobre aspectos algorítmicos e teóricos. A equipe de pesquisa compreende cerca de 40 cientistas e engenheiros, muitos dos quais possuem nomeações conjuntas com universidades parceiras.
O DAIRI enfatiza a colaboração interdisciplinar, com membros da equipe especializados em teoria de otimização, redes e sistemas de aprendizado de máquina. O instituto realiza um workshop anual sobre IA distribuída, atraindo participantes de OpenAI, Anthropic e Xerox PARC, entre outros. Este evento serve como um fórum para compartilhar avanços recentes e identificar desafios em aberto no campo.
Impacto e Direções Futuras
Desde sua fundação, o DAIRI contribuiu para vários padrões da indústria para aprendizado federado e lançou implementações de código aberto usadas por startups e empresas. Seu trabalho foi citado em mais de 1.000 artigos acadêmicos, e seus algoritmos foram adotados em sistemas de produção para manufatura inteligente e telemedicina. Olhando para o futuro, o instituto planeja expandir para aprendizado por reforço para controle distribuído e explorar a integração da computação quântica com IA distribuída, uma área emergente com potencial para avanços.
O DAIRI também visa abordar o impacto ambiental da IA desenvolvendo métodos de treinamento energeticamente eficientes. Ao permitir que modelos sejam treinados em dispositivos ociosos em vez de centros de dados que consomem muita energia, o instituto espera reduzir a pegada de carbono da IA. Em 2025, o DAIRI está pilotando um programa com Samsung Electronics para usar treinamento distribuído em dispositivos de consumo, o que poderia democratizar o acesso a capacidades avançadas de IA.