連合学習（Federated learning）は、機械学習の手法の一つで、共有モデルを、それぞれが自らのローカルデータを保持する多数の分散型デバイスまたはサーバーにわたって訓練するものだ。その生データが中央集権化されることは決してない。データを中央サーバーにアップロードする代わりに、各参加者はモデルの更新をローカルで計算し、その更新のみを送信する。そして、その更新は他の参加者からの更新と集約され、共有されたグローバルモデルの改善に使われる。
歴史と動機
Googleは、2016年のブログ投稿とそれに付随する論文で、連合学習という用語と実用的なシステムを紹介した。その動機は、同社のモバイルキーボードアプリであるGboardにあり、ユーザーが入力した、しばしば機密性の高いテキストをGoogleのサーバーにアップロードせずに、次単語予測を改善したいと考えたためだ。この技術は、深層学習時代における大規模な訓練データへの欲求と、データプライバシーや規制への高まる懸念（EUのGDPRなどの法律で正式化された）との間の、拡大する緊張に対処するものだった。それは、電話、病院のローカルサーバー、銀行支店などのエッジデバイス自体で生成されたデータから利益を得る方法を提供し、そのデータを中央集権化するという法的、物流的、倫理的な負担を回避した。
仕組み
標準的なフェデレーテッド・アベレージング（連合平均化）アルゴリズムでは、中央サーバーが現在のグローバルニューラルネットワークモデルを、参加デバイスのサンプルに送信する。各デバイスは、通常の勾配降下法を用いて、自身のローカルデータを使ってモデルを短期間訓練し、その結果得られたモデル更新（データそのものではない）をサーバーに送り返す。サーバーは、全参加デバイスからの更新を平均化して改善されたグローバルモデルを生成し、このサイクルを多数のラウンドにわたって繰り返す。生データがデバイスから出ることは決してないため、連合学習は中央集権型訓練に比べて構造的なプライバシー上の利点を提供する。ただし、それ自体でプライバシーが完全に保証されるわけではない。モデル更新自体から個々のユーザーに関する情報が漏れないようにするため、差分プライバシーやセキュア集約などの技術がしばしば上乗せされる。これは、より広範なAI安全性およびデータガバナンスの取り組みと密接に関連する懸念だ。
応用と限界
連合学習は、GoogleのGboardキーボード予測やAndroidの曲認識機能に導入されており、医療分野（病院が患者記録を機関間で共有せずに診断モデルを共同訓練したい場合）や、金融分野（銀行間での不正検出）でも探求されている。その限界は重大だ。デバイスは計算能力、接続性、保持するデータ量において大きく異なり、それが集約モデルを最もアクティブまたは最も接続性の高い参加者に偏らせる可能性がある。通信コストは無視できない。なぜならモデル更新を毎ラウンド送信する必要があるからだ。また、多くの信頼性の低い低電力デバイスにまたがって訓練を調整することは、単一の十分に制御されたクラスターで訓練するよりも複雑だ。2020年代半ばの時点で、連合学習は、データを中央集権化できない、またはすべきでない場所で使用される専門的な技術であり、大規模言語モデルのような大規模モデルの従来の中央集権型訓練に代わる標準的な選択肢ではない。そのようなモデルは依然として、Common Crawlのようなソースから主に引き出された中央集権的で厳選されたデータセットで訓練されている。