Federated Learning of Cohortsは、トレーニング前に参加データソースをコホート（グループ）に編成することでフェデレーテッドラーニングを拡張する機械学習パラダイムである。標準的なフェデレーテッドラーニングでは、中央サーバーがローカルデータを保持する複数のクライアントからのモデル更新を調整し、生データ自体は転送しない。Federated Learning of Cohortsはコホーティングの層を追加し、クライアントはデータの類似性、統計的特性、その他の基準に基づいてクラスタリングされ、モデルトレーニングはこれらのコホート内またはコホート間で行われる。このアプローチは、モデルのパーソナライゼーションを改善し、通信オーバーヘッドを削減し、データ露出をコホート内に限定することでプライバシーを強化することを目的としている。
この概念は機械学習と人工知能の基礎研究に基づいており、特に分散データでのモデルトレーニングの必要性に焦点を当てている。従来の集中型トレーニングでは、すべてのデータを単一の場所に集約する必要があり、プライバシー上の懸念とロジスティクス上の課題が生じる。2016年にGoogle DeepMindとGoogle Cloud（当時はGoogleの一部）の研究者によって導入されたフェデレーテッドラーニングは、生データの代わりにモデル更新を共有することでこの問題に対処した。Federated Learning of Cohortsは、中間的なグループ化ステップを導入することでこれを洗練させ、このステップは静的またはトレーニング中に動的に調整できる。
動機と利点
Federated Learning of Cohortsの主な動機は、分散データの不均一性に対処することである。多くの実世界シナリオでは、異なるクライアントからのデータは同一分布ではなく、例えば、異なる病院の医療記録は患者人口統計、機器、コーディング慣行が異なる場合がある。このようなデータで単一のグローバルモデルをトレーニングすると、特定のサブグループに対してパフォーマンスが低下する可能性がある。類似したデータ特性を共有するコホートにクライアントをグループ化することで、モデルを各コホートに合わせて調整でき、精度と関連性が向上する。
もう一つの利点は通信効率である。標準的なフェデレーテッドラーニングでは、各クライアントは毎ラウンド中央サーバーと通信する。コホートを使用すると、更新をコホート内で最初に集約でき、中央サーバーに送信されるメッセージ数が削減される。これは、モバイルデバイスやエッジコンピューティングシステムなど、帯域幅が限られた環境で特に価値がある。さらに、コホーティングはプライバシーを強化できる。クライアントが信頼されたコホート内でのみ更新を共有する場合、中央サーバーからの推論攻撃のリスクが低減されるが、中央サーバーは依然として全体プロセスを調整する。
技術的実装
Federated Learning of Cohortsはいくつかの方法で実装できる。一般的なアプローチの一つは、地理的領域、デバイスタイプ、ユーザー人口統計などのメタデータに基づいてコホートを定義することである。例えば、ユーザーテキストでトレーニングされた大規模言語モデルは、ユーザーを言語や方言でグループ化できる。別のアプローチでは、勾配やモデル更新自体に基づいてコホートを形成するためにクラスタリングアルゴリズムを使用する。k-meansや階層的クラスタリングなどの技術をローカルモデルパラメータに適用して、自然なグループを特定できる。
トレーニング中、各コホートは独自のモデルインスタンスを持ち、メンバーのローカルデータを使用して更新される。定期的に、コホートモデルを集約してグローバルモデルを形成し、それをコホートに再配布してさらなる改良を行う。これはフェデレーテッドアベレージングに似ているが、追加の階層がある。一部の実装では2層アーキテクチャを使用する。グローバルサーバーがコホートレベルの更新を調整し、各コホートがクライアントを管理するローカルアグリゲーターを持つ。これにより中央サーバーの負荷が軽減され、コホート内でのより頻繁な更新が可能になる。
応用
Federated Learning of Cohortsは、医療、金融、消費者技術で応用が見つかっている。医療では、病院が患者記録を共有せずに診断モデルをトレーニングするために協力できる。類似した患者集団（例：小児科対成人）を持つ病院をコホート化することで、各グループに特化したモデルを作成できる。例えば、糖尿病性網膜症を検出するためのニューラルネットワークは、類似した画像機器を持つクリニックのコホートでトレーニングでき、異なる設定での精度が向上する。
金融では、銀行はコホーティングを使用して、地域や顧客セグメントに固有の不正パターンを検出できる。複数の銀行からの取引データでトレーニングされた深層学習モデルは、国別にグループ化することで、顧客プライバシーを保護しながら地域の不正傾向を特定できる。消費者技術では、AppleやSamsung Electronicsなどの企業が、キーボード予測や写真分類などのオンデバイスパーソナライゼーションのためにフェデレーテッドラーニングを調査してきた。ユーザーを言語や使用パターンでコホート化することで、これらのモデルを個人のニーズにより応答性の高いものにできる。
課題と限界
利点にもかかわらず、Federated Learning of Cohortsはいくつかの課題に直面している。最適なコホート数と構成を決定することは簡単ではない。コホートが少なすぎると不均一性を捉えられず、多すぎると過学習や通信コストの増加につながる可能性がある。グループが時間とともに変化する動的コホーティングは複雑さを増し、メンバーシップの変更を処理するための堅牢なアルゴリズムが必要である。
プライバシーはコホーティングによって完全には解決されない。生データはローカルに留まるが、モデル更新は個々のデータポイントに関する情報を漏洩する可能性がある。差分プライバシーやセキュアマルチパーティ計算などの技術は、より強力な保証を提供するためにコホーティングと組み合わせられることが多い。さらに、コホートが機密属性に基づいて形成される場合、バイアスが導入され、モデルパフォーマンスの不均一性につながる可能性がある。研究者は、意図しない差別を避けるためにコホーティング基準を慎重に設計する必要がある。
将来の方向性
Federated Learning of Cohortsの研究は進行中であり、MIT CSAIL、スタンフォードAIラボ、バークレーAIリサーチなどの機関で活発な作業が行われている。一つの方向性は、強化学習を使用してコホート割り当てを自動的に決定することである。もう一つは、フェデレーテッドトランスファーラーニングとの統合であり、あるコホートからの知識を別のコホートに転送して一般化を改善する。生成AIモデルがより普及するにつれて、コホーティングはトランスフォーマーベースのモデルを分散データでトレーニングするためにも適用され、機密情報を集中化せずに大規模言語モデルの協調開発を可能にする可能性がある。
このアプローチは、デバイスが限られたリソースを持つエッジコンピューティングやモノのインターネットにも関連している。類似した能力を持つデバイスをグループ化することで、モデルを特定のハードウェアに最適化でき、エネルギー消費を削減できる。全体として、Federated Learning of Cohortsは、プライバシーを保護しパーソナライズされた機械学習のための柔軟なフレームワークを表し、将来の人工知能システムを形成する可能性を秘めている。