연합 학습은 많은 분산된 기기 또는 서버가 각자 보유한 로컬 데이터를 사용하여 공유 모델을 훈련하되, 해당 원시 데이터가 중앙으로 모이지 않도록 하는 머신 러닝 기법이다. 각 참여자는 데이터를 중앙 서버에 업로드하는 대신 로컬에서 모델 업데이트를 계산하고 그 업데이트만 전송하며, 이는 다른 참여자의 업데이트와 집계되어 공유된 글로벌 모델을 개선하는 데 사용된다.
역사와 동기
Google은 2016년 블로그 게시물과 함께 발표한 논문에서 연합 학습이라는 용어와 실용적인 시스템을 소개했으며, 이는 모바일 키보드 앱인 Gboard에서 비롯되었다. Gboard는 사용자가 입력한 내용을 Google 서버에 업로드하지 않으면서도 다음 단어 예측을 개선하기를 원했다. 이 기법은 딥러닝 시대의 대규모 훈련 데이터 수요와 EU의 GDPR과 같은 법률로 공식화된 데이터 프라이버시 및 규제에 대한 우려 증가 사이의 긴장을 해결하고자 했다. 이는 엣지 기기 자체, 즉 휴대폰, 병원의 로컬 서버, 또는 은행 지점에서 생성된 데이터를 중앙화하는 법적, 물류적, 윤리적 부담 없이 활용할 수 있는 방법을 제공했다.
작동 방식
표준 연합 평균 알고리즘에서 중앙 서버는 현재의 글로벌 신경망 모델을 참여 기기 표본에 전송한다. 각 기기는 일반적인 경사 하강법을 사용하여 자체 로컬 데이터로 모델을 잠시 훈련한 다음, 데이터가 아닌 결과 모델 업데이트를 서버로 다시 전송한다. 서버는 모든 참여 기기의 업데이트를 평균하여 개선된 글로벌 모델을 생성하고, 이 주기는 여러 라운드에 걸쳐 반복된다. 원시 데이터가 기기를 떠나지 않기 때문에 연합 학습은 중앙 집중식 훈련에 비해 구조적 프라이버시 이점을 제공하지만, 그 자체로 프라이버시에 완벽한 것은 아니다. 차등 프라이버시 및 보안 집계와 같은 기법이 모델 업데이트 자체가 개별 사용자에 대한 정보를 누출하는 것을 방지하기 위해 종종 추가되며, 이는 더 넓은 AI 안전 및 데이터 거버넌스 작업과 밀접한 관련이 있다.
응용 및 한계
연합 학습은 Google의 Gboard 키보드 예측과 Android의 노래 인식 기능에 배포되었으며, 병원이 환자 기록을 기관 간에 공유하지 않고 진단 모델을 공동으로 훈련하려는 의료 분야와 은행 간 사기 탐지를 위한 금융 분야에서도 탐구되고 있다. 그 한계는 상당하다. 기기는 컴퓨팅 성능, 연결성, 보유 데이터 양이 크게 달라 집계된 모델이 가장 활동적이거나 연결이 좋은 참여자 쪽으로 편향될 수 있으며, 모델 업데이트를 매 라운드 전송해야 하므로 통신 비용이 무시할 수 없고, 신뢰할 수 없고 저전력인 많은 기기에서 훈련을 조정하는 것은 단일의 잘 통제된 클러스터에서 훈련하는 것보다 훨씬 복잡하다. 2020년대 중반 기준으로 연합 학습은 데이터를 중앙화할 수 없거나 해서는 안 되는 경우에 사용되는 특수 기법으로 남아 있으며, Common Crawl과 같은 출처에서 주로 수집된 중앙 집중식 큐레이션 데이터셋으로 여전히 훈련되는 대규모 언어 모델과 같은 대형 모델의 기존 중앙 집중식 훈련에 대한 기본 대안은 아니다.