Federated Learning ist eine Technik des maschinellen Lernens, bei der ein gemeinsames Modell über viele dezentrale Geräte oder Server trainiert wird, die jeweils eigene lokale Daten besitzen, ohne dass diese Rohdaten jemals zentralisiert werden. Anstatt Daten auf einen zentralen Server hochzuladen, berechnet jeder Teilnehmer lokal ein Update des Modells und sendet nur dieses Update, das mit Updates anderer Teilnehmer aggregiert wird, um ein gemeinsames globales Modell zu verbessern.
Geschichte und Motivation
Google führte den Begriff und ein praktisches System für Federated Learning in einem Blogbeitrag und einem begleitenden Paper aus dem Jahr 2016 ein, motiviert durch Gboard, seine mobile Tastatur-App, die die Vorhersage des nächsten Worts verbessern wollte, indem sie nutzte, was Benutzer tippten, ohne diese oft sensiblen Texte auf Googles Server hochzuladen. Die Technik adressierte eine wachsende Spannung zwischen dem Appetit der Deep-Learning-Ära auf große Trainingsdaten und zunehmenden Bedenken hinsichtlich Datenschutz und Regulierung, die in Gesetzen wie der EU-DSGVO formalisiert wurden. Sie bot einen Weg, von Daten zu profitieren, die auf Edge-Geräten selbst erzeugt werden, etwa Telefonen, lokalen Servern von Krankenhäusern oder Bankfilialen, ohne die rechtliche, logistische oder ethische Last der Zentralisierung dieser Daten.
Funktionsweise
Beim Standard-Algorithmus des föderierten Mittelwerts sendet ein zentraler Server das aktuelle globale neuronale Netzwerkmodell an eine Stichprobe teilnehmender Geräte. Jedes Gerät trainiert das Modell kurz mit seinen eigenen lokalen Daten mittels gewöhnlichem Gradientenabstieg und sendet dann das resultierende Modell-Update, nicht die Daten, zurück an den Server. Der Server mittelt die Updates aller teilnehmenden Geräte, um ein verbessertes globales Modell zu erzeugen, und der Zyklus wiederholt sich über viele Runden. Da Rohdaten das Gerät nie verlassen, bietet Federated Learning einen strukturellen Datenschutzvorteil gegenüber zentralisiertem Training, ist jedoch allein nicht datenschutzsicher; Techniken wie differenzielle Privatsphäre und sichere Aggregation werden oft zusätzlich eingesetzt, um zu verhindern, dass die Modell-Updates selbst Informationen über einzelne Benutzer preisgeben, ein Anliegen, das eng mit breiterer KI-Sicherheit und Daten-Governance-Arbeit verbunden ist.
Anwendungen und Einschränkungen
Federated Learning wurde in Googles Gboard-Tastaturvorhersage und der Songerkennungsfunktion von Android eingesetzt und wird im Gesundheitswesen erforscht, wo Krankenhäuser gemeinsam diagnostische Modelle trainieren möchten, ohne Patientenakten über Einrichtungen hinweg zu teilen, sowie im Finanzwesen zur Betrugserkennung über Banken hinweg. Seine Einschränkungen sind erheblich: Geräte variieren stark in Rechenleistung, Konnektivität und Datenmenge, was das aggregierte Modell zugunsten der aktivsten oder am besten vernetzten Teilnehmer verzerren kann; Kommunikationskosten sind nicht trivial, da Modell-Updates jede Runde übertragen werden müssen; und die Koordination des Trainings über viele unzuverlässige, energiearme Geräte ist komplexer als das Training auf einem einzigen gut kontrollierten Cluster. Mitte der 2020er-Jahre bleibt Federated Learning eine spezialisierte Technik, die dort eingesetzt wird, wo Daten nicht zentralisiert werden können oder sollten, und nicht eine Standardalternative zum konventionellen zentralisierten Training großer Modelle wie großer Sprachmodelle, die weiterhin auf zentralisierten, kuratierten Datensätzen trainiert werden, die weitgehend aus Quellen wie Common Crawl stammen.