El aprendizaje federado es una técnica de aprendizaje automático en la que un modelo compartido se entrena a través de muchos dispositivos o servidores descentralizados que poseen cada uno sus propios datos locales, sin que esos datos brutos se centralicen jamás. En lugar de subir los datos a un servidor central, cada participante calcula una actualización del modelo localmente y envía solo esa actualización, que se agrega con las actualizaciones de otros participantes para mejorar un modelo global compartido.
Historia y motivación
Google introdujo el término y un sistema práctico para el aprendizaje federado en una publicación de blog de 2016 y un artículo adjunto, motivado por Gboard, su aplicación de teclado móvil, que quería mejorar la predicción de la siguiente palabra usando lo que los usuarios escribían sin subir ese texto, a menudo sensible, a los servidores de Google. La técnica abordó una tensión creciente entre el apetito de la era del aprendizaje profundo por grandes datos de entrenamiento y las crecientes preocupaciones sobre la privacidad de los datos y la regulación, formalizadas en leyes como el GDPR de la UE. Ofreció una manera de beneficiarse de los datos generados en dispositivos de borde en sí mismos, teléfonos, servidores locales de hospitales o sucursales bancarias, sin la carga legal, logística o ética de centralizar esos datos.
Cómo funciona
En el algoritmo estándar de promediado federado, un servidor central envía el modelo actual de red neuronal global a una muestra de dispositivos participantes. Cada dispositivo entrena el modelo brevemente usando sus propios datos locales mediante descenso de gradiente ordinario, y luego envía la actualización del modelo resultante, no los datos, de vuelta al servidor. El servidor promedia las actualizaciones de todos los dispositivos participantes para producir un modelo global mejorado, y el ciclo se repite durante muchas rondas. Debido a que los datos brutos nunca abandonan el dispositivo, el aprendizaje federado ofrece una ventaja estructural de privacidad sobre el entrenamiento centralizado, aunque no es a prueba de privacidad por sí solo; técnicas como la privacidad diferencial y la agregación segura a menudo se superponen para evitar que las actualizaciones del modelo en sí mismas filtren información sobre usuarios individuales, una preocupación estrechamente relacionada con el trabajo más amplio de seguridad de la IA y gobernanza de datos.
Aplicaciones y limitaciones
El aprendizaje federado se ha implementado en la predicción del teclado de Gboard de Google y en la función de reconocimiento de canciones de Android, y se ha explorado en el ámbito sanitario, donde los hospitales quieren entrenar modelos de diagnóstico de manera colaborativa sin compartir registros de pacientes entre instituciones, y en las finanzas, para la detección de fraude entre bancos. Sus limitaciones son significativas: los dispositivos varían mucho en capacidad de cómputo, conectividad y cantidad de datos que poseen, lo que puede sesgar el modelo agregado hacia los participantes más activos o mejor conectados; el costo de comunicación no es trivial, ya que las actualizaciones del modelo deben transmitirse cada ronda; y coordinar el entrenamiento entre muchos dispositivos poco fiables y de baja potencia es más complejo que entrenar en un clúster único bien controlado. A mediados de la década de 2020, el aprendizaje federado sigue siendo una técnica especializada utilizada donde los datos no pueden o no deben centralizarse, más que una alternativa predeterminada al entrenamiento centralizado convencional de modelos grandes como los grandes modelos de lenguaje, que aún se entrenan en conjuntos de datos centralizados y curados extraídos en gran parte de fuentes como Common Crawl.