Aprendizado federado é uma técnica de aprendizado de máquina na qual um modelo compartilhado é treinado em muitos dispositivos ou servidores descentralizados, cada um detendo seus próprios dados locais, sem que esses dados brutos sejam jamais centralizados. Em vez de enviar dados a um servidor central, cada participante calcula uma atualização do modelo localmente e envia apenas essa atualização, que é agregada com as atualizações de outros participantes para melhorar um modelo global compartilhado.
Histórico e motivação
O Google introduziu o termo e um sistema prático para aprendizado federado em uma postagem de blog e artigo complementar de 2016, motivado pelo Gboard, seu aplicativo de teclado móvel, que queria melhorar a previsão da próxima palavra usando o que os usuários digitavam sem enviar esse texto, frequentemente sensível, aos servidores do Google. A técnica abordava uma tensão crescente entre o apetite da era do aprendizado profundo por grandes dados de treinamento e as preocupações crescentes com privacidade de dados e regulação, formalizadas em leis como o GDPR da UE. Ela oferecia uma forma de se beneficiar de dados gerados em dispositivos de borda, como telefones, servidores locais de hospitais ou agências bancárias, sem o ônus legal, logístico ou ético de centralizar esses dados.
Como funciona
No algoritmo padrão de média federada, um servidor central envia o modelo atual de rede neural global a uma amostra de dispositivos participantes. Cada dispositivo treina o modelo brevemente usando seus próprios dados locais por meio de descida de gradiente comum e, em seguida, envia a atualização resultante do modelo, não os dados, de volta ao servidor. O servidor calcula a média das atualizações de todos os dispositivos participantes para produzir um modelo global melhorado, e o ciclo se repete ao longo de muitas rodadas. Como os dados brutos nunca saem do dispositivo, o aprendizado federado oferece uma vantagem estrutural de privacidade sobre o treinamento centralizado, embora não seja à prova de privacidade por si só; técnicas como privacidade diferencial e agregação segura são frequentemente adicionadas para impedir que as próprias atualizações do modelo vazem informações sobre usuários individuais, uma preocupação intimamente relacionada ao trabalho mais amplo de segurança de IA e governança de dados.
Aplicações e limitações
O aprendizado federado foi implantado na predição de teclado do Gboard do Google e no recurso de reconhecimento de músicas do Android, e tem sido explorado na área da saúde, onde hospitais desejam treinar modelos de diagnóstico de forma colaborativa sem compartilhar prontuários de pacientes entre instituições, e em finanças, para detecção de fraudes entre bancos. Suas limitações são significativas: os dispositivos variam amplamente em capacidade computacional, conectividade e quantidade de dados que detêm, o que pode enviesar o modelo agregado em direção aos participantes mais ativos ou melhor conectados; o custo de comunicação não é trivial, pois as atualizações do modelo precisam ser transmitidas a cada rodada; e coordenar o treinamento em muitos dispositivos não confiáveis e de baixo consumo de energia é mais complexo do que treinar em um único cluster bem controlado. Em meados da década de 2020, o aprendizado federado permanece uma técnica especializada, usada onde os dados não podem ou não devem ser centralizados, em vez de uma alternativa padrão ao treinamento centralizado convencional de modelos grandes, como modelos de linguagem grandes, que ainda são treinados em conjuntos de dados centralizados e curados, extraídos em grande parte de fontes como Common Crawl.