差分プライバシー（DP）は、データセットに関する統計情報を公開しながら、個々のデータ主体のプライバシーを保護するための数学的に厳密な枠組みである。これにより、データ保持者は集団の全体的なパターンを共有できる一方で、特定の個人を特定する情報を制限することができる。これは、統計計算に慎重に調整されたノイズを注入することで実現され、統計の有用性を維持しつつ、データセット内の任意の個人について推測できることを証明可能な形で制限する。
差分プライバシーを説明するもう一つの方法は、統計データベースに関する集計情報を公開するために使用されるアルゴリズムに対する制約として捉えることである。この制約は、データベース内のレコードのプライベート情報の開示を制限する。例えば、差分プライバシーアルゴリズムは、一部の政府機関が人口統計情報やその他の統計集計を公開する際に調査回答の機密性を確保するために使用され、企業はユーザー行動に関する情報を収集する際に、内部のアナリストでさえも見える情報を制御するために使用している。
大まかに言えば、アルゴリズムが差分プライバシーを満たすとは、その出力を見た観測者が、特定の個人の情報が計算に使用されたかどうかを判断できないことを意味する。差分プライバシーは、データベースに情報が含まれる可能性のある個人の特定という文脈でしばしば議論される。直接的に識別や再識別攻撃に言及するものではないが、差分プライバシーアルゴリズムはそのような攻撃に対して証明可能な形で耐性を持つ。
起源と定式化
差分プライバシーの概念は、2006年にシンシア・ドワーク、フランク・マシェリー、コビ・ニシム、アダム・D・スミスによって、論文「Calibrating Noise to Sensitivity in Private Data Analysis」で導入された。この研究は、統計データベースから引き出されるあらゆるデータ公開に伴うプライバシー損失の数学的定義を提供した。ここで統計データベースとは、統計の作成を目的として機密保持の誓約の下で収集されたデータの集合を指し、その作成によってデータ提供者のプライバシーが損なわれることがないものをいう。
差分プライバシーの重要な洞察は、クエリがより少ない人数のデータに対して行われるほど、同じ量のプライバシーを確保するためにより多くのノイズをクエリ結果に追加する必要があるということである。データベースに1人のデータしか含まれていない場合、その人のデータはクエリ結果に100%寄与する。100人のデータが含まれている場合、各人のデータの寄与はわずか1%である。2006年の論文は、クエリの感度（1人のデータが変更されたときに出力がどれだけ変化するかを測定する）に合わせてノイズを調整する方法を定式化した。
ε-差分プライバシーの定義
εを正の実数とし、Aをデータセットを入力とするランダム化アルゴリズム（データを保持する信頼できる当事者の行動を表す）とする。im AをAの像とする。アルゴリズムAが、単一の要素（すなわち1人のデータ）だけが異なるすべてのデータセットD1とD2、およびim Aのすべての部分集合Sに対して、以下の式が成り立つ場合、Aは(ε, δ)-差分プライバシーを提供するという：
Pr[A(D1) ∈ S] ≤ e^ε * Pr[A(D2) ∈ S] + δ
ここで確率はアルゴリズムが使用するランダム性にわたって取られる。この定義は「近似差分プライバシー」と呼ばれることもあり、「純粋差分プライバシー」はδ = 0の特別な場合である。後者の場合、アルゴリズムは一般的にε-差分プライバシーを満たすと言われる（すなわちδ = 0を省略する）。
この定義の背後にある直感は、個人のデータがデータベースに含まれていなければ、統計公開によってその個人のプライバシーが損なわれることはないということである。差分プライバシーでは、各個人は自分のデータが削除された場合とほぼ同じプライバシーが与えられる。つまり、データベース上で実行される統計関数は、データ内の任意の個人の削除、追加、変更によって実質的に影響を受けるべきではない。
特性と保証
差分プライバシーは、差分プライバシーメカニズムのモジュール設計と分析を容易にする強力で堅牢な保証を提供する。重要な特性の1つは合成可能性である。同じデータセットに対して複数の差分プライバシーメカニズムが実行される場合、結合されたプライバシー損失を制限することができる。これにより、より単純な差分プライバシービルディングブロックから複雑な分析を構築しながら、全体的なプライバシー保証を維持することができる。
もう1つの重要な特性は、後処理に対する堅牢性である。アルゴリズムが差分プライバシーを満たす場合、その出力に適用される任意の関数（元のデータにアクセスできない）は差分プライバシーを維持する。これは、攻撃者が公開された統計を変換することによってプライバシー保証を弱めることができないことを意味する。
差分プライバシーは、相関データが存在する場合でも優雅に劣化する。データに個人間の相関が含まれている場合でも、プライバシー保証は依然として有効であるが、実効的なプライバシー損失は増加する可能性がある。これにより、データが独立していない場合に失敗する他のプライバシーモデルよりも堅牢である。
差分プライバシーを達成するためのメカニズム
差分プライバシーを達成するための最も一般的なメカニズムは、ラプラスメカニズムとガウスメカニズムである。ラプラスメカニズムは、クエリの結果にラプラス分布から引き出されたノイズを追加し、ノイズのスケールはクエリの感度をεで割った値に調整される。これは純粋なε-差分プライバシーを提供する。ガウスメカニズムは、ガウス分布から引き出されたノイズを追加し、(ε, δ)-差分プライバシーを提供する。これは、高次元または反復的な計算においてより便利なことが多い。
もう1つの重要なメカニズムは指数メカニズムであり、有限のオプションセットから最良の答えを選択しながらプライバシーを保護するために使用される。これは、効用関数に基づいて各オプションに確率を割り当て、効用の高いオプションほど高い確率を受け取るが、確率は差分プライバシーを保証するように慎重に調整される。
機械学習への応用
差分プライバシーは、特に機密データに対するモデルのトレーニングにおいて、機械学習でますます重要になっている。最も広く使用されている技術は、差分プライバシー確率的勾配降下法（DP-SGD）であり、標準的な確率的勾配降下最適化アルゴリズムを修正したものである。DP-SGDでは、勾配はその感度を制限するために最大ノルムにクリップされ、モデルパラメータを更新する前に平均化された勾配にノイズが追加される。これにより、トレーニングされたモデルが個々のトレーニング例についてあまりにも多くの情報を明らかにしないことが保証される。
DP-SGDは、大規模言語モデルや深層学習システムのトレーニングに適用されている。例えば、研究グループはトランスフォーマーモデルの差分プライバシートレーニングを探求しているが、プライバシーと効用のトレードオフは依然として課題である。この技術は、トレーニングデータのプライバシー保護がますます懸念される生成AIシステムにも関連している。
いくつかのテクノロジー企業は、自社製品に差分プライバシーを組み込んでいる。Appleは、iOSおよびmacOSでユーザー行動統計を収集する際に差分プライバシーメカニズムを使用しており、人気のある絵文字や新しい単語を学習しながら個々のユーザープライバシーを保護している。Google DeepMindやその他のGoogleチームは、連合学習や分析など、さまざまなアプリケーション向けに差分プライバシーを探求している。OpenAIも、自社モデル向けの差分プライバシートレーニングを研究している。
課題とトレードオフ
差分プライバシーにおける主な課題は、プライバシーと効用の間のトレードオフである。より多くのノイズを追加すると、より強力なプライバシー保証が得られるが、統計結果の精度は低下する。パラメータεはこのトレードオフを制御する。εの値が小さいほど強力なプライバシーが提供されるが、より多くのノイズが必要となり、εの値が大きいほどより正確な結果が得られるが、プライバシー保証は弱くなる。許容可能なε値に関する普遍的に受け入れられた標準は存在せず、特定のアプリケーションとデータの感度に依存することが多い。
もう1つの課題は、多数のクエリの合成である。差分プライバシーは合成可能であるが、プライバシー損失はクエリごとに蓄積される。多くのクエリの後、総プライバシー損失は意味のある保護を提供するには大きくなりすぎる可能性がある。高度な合成定理は総損失をより厳密に制限するのに役立つが、根本的な問題は残る。
機械学習では、差分プライバシートレーニングは、特にニューラルネットワークのような複雑なモデルにおいて、非プライベートなトレーニングと比較してモデル精度が低下することが多い。トレーニング中に追加されるノイズは収束を遅らせ、最終的なパフォーマンスを低下させる可能性がある。研究者は、より良いノイズスケジュール、適応的クリッピング、差分プライバシーファインチューニングの前に公開データを使用してモデルを事前トレーニングするなど、プライバシーと効用のトレードオフを改善する技術を開発し続けている。
より広範な影響と将来の方向性
差分プライバシーは、政府機関や企業が使用するプライバシーツールボックスにおける標準的なツールとなっている。米国国勢調査局は、2020年の国勢調査で差分プライバシーを使用して、回答者の機密性を保護しながら人口統計統計を公開した。これは、この技術の重要な実世界展開を示すものである。
人工知能の分野では、差分プライバシーは信頼できるシステムを構築するための重要な構成要素と見なされている。機械学習モデルがますます大規模で機密性の高いデータセットでトレーニングされるにつれて、形式的なプライバシー保証を提供する能力はますます重要になる。大規模なモデルとデータセットにスケーリングできる差分プライバシーアルゴリズムの開発は、活発な研究分野である。
将来の方向性には、差分プライバシートレーニングの効率向上、高次元データ向けのより良いメカニズムの開発、連合学習や安全なマルチパーティ計算などの他のプライバシー強化技術との統合が含まれる。この分野は進化を続けており、新しい理論的結果と実用的な実装が定期的に登場している。