メンバーシップ推論は、特定のデータレコードが機械学習モデルの訓練に使用されたデータセット、または公開された統計の計算に使用されたデータセットに含まれていたかどうかを判定しようとするプライバシー攻撃の一種である。メンバーシップを確認できる能力は、機密情報を明らかにし得る。例えば、データセットが特定の疾患を持つ患者で構成されている場合、個人が訓練セットに含まれていることを確認することは、事実上その診断を開示することになる。この攻撃ベクトルは、プライバシー研究における中心的な関心事となっており、機械学習、人工知能、データ匿名化などの分野と交差している。
この概念は、ゲノムデータの文脈で注目を集めるようになり、対立遺伝子頻度などの集計統計が個人の参加を明らかにし得ることが示された。時が経つにつれ、メンバーシップ推論は機械学習モデルにも拡張され、攻撃者はモデルの出力やパラメータを悪用して訓練データのメンバーシップを推測する。これらの攻撃の有効性は、モデルアーキテクチャ、データ分布、利用可能な防御策によって大きく異なり、ダイナミックな研究分野となっている。
ゲノミクスにおける歴史的起源
最も初期のメンバーシップ推論攻撃は、ゲノムプライバシー研究から生まれた。2008年、Nils Homerらは、個人の遺伝子型と、複数の一塩基多型（SNP）サイトにわたる公開された対立遺伝子頻度統計を組み合わせることで、その人物が研究集団にDNAを提供したかどうかを判定できることを実証した。この発見は即座に実用的な結果をもたらした。米国国立衛生研究所（NIH）とWellcome Trustはその後、多くのゲノムデータセットへのアクセスを制限し、公開リポジトリからdbGaPのような管理アクセスデータベースへ移行させた。
その後の研究はこれらの結果を一般化した。Cynthia Dworkらは、データベースについて公開された任意の数の統計がメンバーシップ推論に悪用され得ることを示し、差分プライバシーとの正式な関連を確立した。この研究系統は、集計データの公開が個人レベルの情報を漏洩させ得る仕組みを理解するための基盤を築いた。
集計統計への攻撃
ゲノミクスを超えて、メンバーシップ推論攻撃はさまざまな種類の集計データに適用される。注目すべき2018年の論文「Knock Knock, Who's There?」は、この問題を二値分類タスクとして定式化した。攻撃者は、データセットのメンバーである個人とそうでない個人を区別する分類器を訓練し、それを、集計された位置情報トレース（例えばヒートマップ）への存在が疑われる対象人物に適用する。この論文は、単一のトレースが公開されない場合でも、集計されたモビリティパターンのみに依存して、そのような攻撃が成功することを実証した。
この原理は、機密集団に対する単純なカウントを含む、あらゆる形式の集計統計に拡張される。例えば、病院が希少疾患の患者数を公開した場合、攻撃者は、その個人が含まれていると推定される場合と含まれていない場合の数を比較することで、特定の個人がその中にいるかどうかを推測できるかもしれない。一般的なアプローチは、対象レコードを含む場合と含まない場合の集計値の統計的差異を活用する。
機械学習モデルへの攻撃
機械学習モデルへのメンバーシップ推論攻撃は、モデルが訓練データと未見データに対して異なる振る舞いをする傾向を悪用する。この種の最初の成功した攻撃は、2017年にReza Shokriらによって導入された。彼らは、多くのモデルが訓練に使用されたレコードに対してより高い信頼スコアを割り当てることを観察した。これを悪用するために、彼らはシャドウモデルの概念を開発した。敵対者は、対象モデルの訓練セットに類似したデータで複数のモデルを訓練し、各シャドウモデルにどのレコードが使用されたかを敵対者が知っているため、モデルの出力に基づいてメンバーシップを予測する分類器を訓練できる。
シャドウモデルにより、攻撃者は対象モデルの訓練データへの直接アクセスなしに、その内部動作を近似できる。2019年、ML-Leaks論文は、一部のモデルでは単一のシャドウモデルで十分であり、攻撃の複雑さが軽減されることを示した。この発見は、この脆弱性が特定のアーキテクチャに限定されないことを強調した。
スコアベースおよびラベルベースの攻撃
その後の研究はメンバーシップ推論攻撃を洗練させ、仮定を緩和し、実用性を向上させた。スコアベースとラベルベースの2つの主要なカテゴリが登場した。スコアベース攻撃（YeomらやCarliniらの尤度比攻撃（LiRA）など）は、モデルの信頼スコア（例えばソフトマックス確率）を使用してメンバーシップを推測する。ラベルベース攻撃（Choquette-Chooらのラベルオンリーメンバーシップ推論など）は、実世界のシナリオで取得が容易なことが多い予測クラスラベルのみに依存する。
ラベルベース攻撃は、特に敵対者が入力を摂動できる場合に、より強力になり得る。例えば、自然言語処理では、攻撃者は対象テキストと、数語だけ異なるいくつかの変形をスコアリングするかもしれない。モデルの予測が大幅に変化する場合、元のテキストが訓練セットに含まれていたことを示唆する。別のアプローチであるモデル蒸留は、より単純な生徒モデルを使用して複雑な教師モデルを複製し、訓練データに関する追加情報を抽出する可能性がある。
これらの攻撃の有効性は、データセットとモデルに依存する。過学習は漏洩の最も一般的な原因であり、ドロップアウト、重み減衰、早期停止などの標準的な正則化手法はそれを軽減できる。しかし、メンバーシップ推論は、モデルが大規模で、データが複雑で、訓練セットとテストセットの両方が大きい場合に、より効果的になる傾向がある。これは、現代の深層学習システムで一般的な条件である。
大規模言語モデルにおけるメンバーシップ推論
大規模言語モデル（LLM）は独特のケースを提示する。2024年の評価では、多くのタスクにおいて、メンバーシップ推論攻撃はランダムな推測よりもわずかに優れているだけであることが示唆された。これは主に訓練データの分布によるものである。LLMは通常、特定のデータに一度しか遭遇せず、訓練セットとテストセットの重複を最小限に抑える。さらに、モデルを完全に無視する単純なベースラインが、洗練された攻撃よりも優れていることが多く、攻撃が、単に古い期間または異なる分布からのものであるという理由だけで、レコードをメンバーとして誤ってフラグ付けする可能性があることを示している。
この問題は、元のゲノム研究の限界を反映している。研究集団が均質である場合、異なる民族グループの個人をテストすると、彼らがメンバーであると誤って識別される可能性がある。LLMの場合、訓練データとテストデータが異なる期間からサンプリングされていると、攻撃は、実際の包含に関係なく、訓練データと時間的に一致するレコードに対してメンバーシップを主張する可能性がある。
防御策と緩和策
差分プライバシーは、メンバーシップ推論に対する最も堅牢な防御策であり、単一のレコードの影響を制限する理論的保証を提供する。ニューラルネットワークの場合、差分プライバシーは通常、DP-SGD（差分プライベート確率的勾配降下法）を介して実装され、訓練中に勾配にノイズを追加する。
実際には、メンバーシップ推論に対する防御は、一般化の改善と過学習の低減を伴うことが多い。ドロップアウト、重み減衰、早期停止などの標準的な手法は、間接的ではあるが効果的なプライバシー対策である。さらに、モデルを変更して情報漏洩を制限することもできる。例えば、信頼スコアを丸めたり、トップkクラスに切り詰めたり、出力にノイズを追加したりする。これらのアプローチは、攻撃者が悪用できる信号を減らすが、モデルの実用性を犠牲にする可能性がある。
研究は、特にモデルが規模と複雑さにおいて成長するにつれて、モデルのパフォーマンスとプライバシーのバランスを探求し続けている。メンバーシップ推論は、プライバシー保護機械学習技術を評価するための重要なベンチマークであり続けている。