L'apprentissage fédéré est une technique d'apprentissage automatique dans laquelle un modèle partagé est entraîné sur de nombreux appareils ou serveurs décentralisés qui détiennent chacun leurs propres données locales, sans que ces données brutes ne soient jamais centralisées. Au lieu de téléverser les données vers un serveur central, chaque participant calcule localement une mise à jour du modèle et n'envoie que cette mise à jour, qui est agrégée avec celles des autres participants pour améliorer un modèle global partagé.
Historique et motivation
Google a introduit le terme et un système pratique d'apprentissage fédéré dans un article de blog et un document de recherche publiés en 2016, motivés par Gboard, son application de clavier mobile, qui souhaitait améliorer la prédiction du mot suivant à partir de ce que les utilisateurs tapaient, sans téléverser ces textes souvent sensibles vers les serveurs de Google. La technique répondait à une tension croissante entre l'appétit de l'ère de l'apprentissage profond pour de grandes quantités de données d'entraînement et les préoccupations grandissantes concernant la confidentialité des données et la réglementation, formalisées dans des lois telles que le RGPD de l'UE. Elle offrait un moyen de tirer parti des données générées sur les appareils périphériques eux-mêmes - téléphones, serveurs locaux d'hôpitaux ou agences bancaires - sans le fardeau juridique, logistique ou éthique de la centralisation de ces données.
Fonctionnement
Dans l'algorithme standard de moyennage fédéré, un serveur central envoie le modèle de réseau de neurones global actuel à un échantillon d'appareils participants. Chaque appareil entraîne brièvement le modèle à l'aide de ses propres données locales via un descente de gradient ordinaire, puis renvoie la mise à jour du modèle résultante, et non les données, au serveur. Le serveur fait la moyenne des mises à jour de tous les appareils participants pour produire un modèle global amélioré, et le cycle se répète sur de nombreuses itérations. Comme les données brutes ne quittent jamais l'appareil, l'apprentissage fédéré offre un avantage structurel en matière de confidentialité par rapport à l'entraînement centralisé, bien qu'il ne soit pas à lui seul une preuve de confidentialité ; des techniques telles que la confidentialité différentielle et l'agrégation sécurisée sont souvent superposées pour empêcher les mises à jour du modèle elles-mêmes de divulguer des informations sur des utilisateurs individuels, une préoccupation étroitement liée aux travaux plus larges sur la sécurité de l'IA et la gouvernance des données.
Applications et limites
L'apprentissage fédéré a été déployé dans la prédiction du clavier de Gboard de Google et la fonction de reconnaissance de chansons d'Android, et a été exploré dans le domaine de la santé, où les hôpitaux souhaitent entraîner en collaboration des modèles de diagnostic sans partager les dossiers des patients entre établissements, et dans la finance, pour la détection de fraude entre banques. Ses limites sont significatives : les appareils varient considérablement en termes de puissance de calcul, de connectivité et de quantité de données qu'ils détiennent, ce qui peut biaiser le modèle agrégé vers les participants les plus actifs ou les mieux connectés ; le coût de communication est non négligeable, car les mises à jour du modèle doivent être transmises à chaque itération ; et la coordination de l'entraînement sur de nombreux appareils peu fiables et à faible consommation est plus complexe que l'entraînement sur un cluster unique bien contrôlé. Au milieu des années 2020, l'apprentissage fédéré reste une technique spécialisée utilisée lorsque les données ne peuvent pas ou ne doivent pas être centralisées, plutôt qu'une alternative par défaut à l'entraînement centralisé conventionnel de grands modèles tels que les grands modèles de langage, qui sont toujours entraînés sur des ensembles de données centralisés et organisés provenant en grande partie de sources comme Common Crawl.