La confidentialité différentielle (DP) est un cadre mathématiquement rigoureux pour publier des informations statistiques sur des ensembles de données tout en protégeant la vie privée des personnes concernées. Elle permet à un détenteur de données de partager les tendances agrégées d'un groupe tout en limitant les informations qui identifient des individus spécifiques. Cela est réalisé en injectant un bruit soigneusement calibré dans les calculs statistiques, de sorte que l'utilité de la statistique soit préservée tout en limitant de manière prouvable ce qui peut être déduit sur un individu donné dans l'ensemble de données.
Une autre façon de décrire la confidentialité différentielle est de la considérer comme une contrainte sur les algorithmes utilisés pour publier des informations agrégées sur une base de données statistiques, limitant la divulgation d'informations privées contenues dans les enregistrements de la base. Par exemple, certains organismes gouvernementaux utilisent des algorithmes à confidentialité différentielle pour publier des informations démographiques ou d'autres agrégats statistiques tout en garantissant la confidentialité des réponses aux enquêtes, et des entreprises les utilisent pour collecter des informations sur le comportement des utilisateurs tout en contrôlant ce qui est visible, même pour les analystes internes.
En gros, un algorithme est à confidentialité différentielle si un observateur voyant sa sortie ne peut pas déterminer si les informations d'un individu particulier ont été utilisées dans le calcul. La confidentialité différentielle est souvent discutée dans le contexte de l'identification des individus dont les informations peuvent figurer dans une base de données. Bien qu'elle ne fasse pas directement référence aux attaques d'identification et de réidentification, les algorithmes à confidentialité différentielle résistent de manière prouvable à de telles attaques.
Origines et formalisation
Le concept de confidentialité différentielle a été introduit en 2006 par Cynthia Dwork, Frank McSherry, Kobbi Nissim et Adam D. Smith dans leur article « Calibrating Noise to Sensitivity in Private Data Analysis ». Ce travail a fourni une définition mathématique de la perte de confidentialité associée à toute publication de données issue d'une base de données statistiques. Ici, le terme base de données statistiques désigne un ensemble de données collectées sous promesse de confidentialité dans le but de produire des statistiques qui, par leur production, ne compromettent pas la vie privée des personnes ayant fourni les données.
L'idée clé de la confidentialité différentielle est que, lorsqu'une requête est effectuée sur les données d'un nombre de plus en plus restreint de personnes, davantage de bruit doit être ajouté au résultat de la requête pour produire le même niveau de confidentialité. Si une base de données contient les données d'une seule personne, les données de cette personne contribuent à 100 % à tout résultat de requête. Si elle contient les données de cent personnes, chaque personne contribue à seulement 1 %. L'article de 2006 a formalisé comment calibrer le bruit en fonction de la sensibilité de la requête, qui mesure à quel point la sortie peut changer lorsque les données d'un individu sont modifiées.
Définition de la confidentialité différentielle ε
Soit ε un nombre réel positif et soit A un algorithme randomisé qui prend un ensemble de données en entrée (représentant les actions de la partie de confiance détenant les données). Soit im A l'image de A. L'algorithme A est dit fournir une confidentialité différentielle (ε, δ) si, pour tous les ensembles de données D1 et D2 qui diffèrent sur un seul élément (c'est-à-dire les données d'une personne), et pour tous les sous-ensembles S de im A :
Pr[A(D1) ∈ S] ≤ e^ε * Pr[A(D2) ∈ S] + δ
où la probabilité est prise sur le caractère aléatoire utilisé par l'algorithme. Cette définition est parfois appelée « confidentialité différentielle approximative », la « confidentialité différentielle pure » étant un cas particulier lorsque δ = 0. Dans ce dernier cas, on dit généralement que l'algorithme satisfait la confidentialité différentielle ε (c'est-à-dire en omettant δ = 0).
L'intuition derrière cette définition est que la vie privée d'une personne ne peut pas être compromise par une publication statistique si ses données ne sont pas dans la base de données. En confidentialité différentielle, chaque individu bénéficie à peu près de la même confidentialité que celle qui résulterait de la suppression de ses données. Autrement dit, les fonctions statistiques exécutées sur la base de données ne doivent pas être substantiellement affectées par la suppression, l'ajout ou la modification d'un individu dans les données.
Propriétés et garanties
La confidentialité différentielle offre des garanties solides et robustes qui facilitent la conception modulaire et l'analyse des mécanismes à confidentialité différentielle. Une propriété clé est la composabilité : si plusieurs mécanismes à confidentialité différentielle sont exécutés sur le même ensemble de données, la perte de confidentialité combinée peut être bornée. Cela permet de construire des analyses complexes à partir de blocs de construction plus simples à confidentialité différentielle tout en maintenant une garantie globale de confidentialité.
Une autre propriété importante est la robustesse au post-traitement. Si un algorithme est à confidentialité différentielle, alors toute fonction appliquée à sa sortie (sans accès aux données d'origine) reste à confidentialité différentielle. Cela signifie qu'un adversaire ne peut pas affaiblir la garantie de confidentialité en transformant les statistiques publiées.
La confidentialité différentielle se dégrade également de manière gracieuse en présence de données corrélées. Même si les données contiennent des corrélations entre individus, la garantie de confidentialité tient toujours, bien que la perte de confidentialité effective puisse augmenter. Cela la rend plus robuste que certains autres modèles de confidentialité qui échouent lorsque les données ne sont pas indépendantes.
Mécanismes pour atteindre la confidentialité différentielle
Les mécanismes les plus courants pour atteindre la confidentialité différentielle sont le mécanisme de Laplace et le mécanisme gaussien. Le mécanisme de Laplace ajoute un bruit tiré d'une distribution de Laplace au résultat d'une requête, avec l'échelle du bruit calibrée sur la sensibilité de la requête divisée par ε. Cela fournit une confidentialité différentielle ε pure. Le mécanisme gaussien ajoute un bruit tiré d'une distribution gaussienne et fournit une confidentialité différentielle (ε, δ), souvent plus pratique pour les calculs itératifs ou en haute dimension.
Un autre mécanisme important est le mécanisme exponentiel, utilisé pour sélectionner la meilleure réponse parmi un ensemble fini d'options tout en préservant la confidentialité. Il attribue des probabilités à chaque option en fonction d'une fonction d'utilité, les options à plus haute utilité recevant une probabilité plus élevée, mais avec des probabilités soigneusement calibrées pour garantir la confidentialité différentielle.
Applications en apprentissage automatique
La confidentialité différentielle est devenue de plus en plus importante en apprentissage automatique, en particulier pour l'entraînement de modèles sur des données sensibles. La technique la plus largement utilisée est la descente de gradient stochastique à confidentialité différentielle (DP-SGD), qui modifie l'algorithme d'optimisation standard de descente de gradient stochastique. Dans DP-SGD, les gradients sont plafonnés à une norme maximale pour borner leur sensibilité, et du bruit est ajouté aux gradients moyennés avant de mettre à jour les paramètres du modèle. Cela garantit que le modèle entraîné ne révèle pas trop d'informations sur un exemple d'entraînement individuel.
DP-SGD a été appliqué à l'entraînement de grands modèles de langage et de systèmes de apprentissage profond. Par exemple, des groupes de recherche ont exploré l'entraînement à confidentialité différentielle de modèles transformers, bien que le compromis confidentialité-utilité reste un défi. La technique est également pertinente pour les systèmes de IA générative, où la protection de la confidentialité des données d'entraînement est une préoccupation croissante.
Plusieurs entreprises technologiques ont intégré la confidentialité différentielle dans leurs produits. Apple utilise des mécanismes à confidentialité différentielle pour collecter des statistiques sur le comportement des utilisateurs dans iOS et macOS, comme l'apprentissage des emojis populaires et des nouveaux mots, tout en protégeant la vie privée des utilisateurs individuels. Google DeepMind et d'autres équipes de Google ont exploré la confidentialité différentielle pour diverses applications, notamment l'apprentissage fédéré et l'analyse de données. OpenAI a également mené des recherches sur l'entraînement à confidentialité différentielle pour ses modèles.
Défis et compromis
Le principal défi de la confidentialité différentielle est le compromis entre confidentialité et utilité. Ajouter plus de bruit offre des garanties de confidentialité plus fortes mais réduit la précision des résultats statistiques. Le paramètre ε contrôle ce compromis : des valeurs plus petites de ε offrent une confidentialité plus forte mais nécessitent plus de bruit, tandis que des valeurs plus grandes permettent des résultats plus précis mais des garanties de confidentialité plus faibles. Il n'existe pas de norme universellement acceptée pour ce qui constitue une valeur acceptable de ε, et cela dépend souvent de l'application spécifique et de la sensibilité des données.
Un autre défi est la composition de nombreuses requêtes. Bien que la confidentialité différentielle se compose, la perte de confidentialité s'accumule à chaque requête supplémentaire. Après de nombreuses requêtes, la perte totale de confidentialité peut devenir trop importante pour offrir une protection significative. Des théorèmes de composition avancés peuvent aider à borner plus étroitement la perte totale, mais le problème fondamental demeure.
En apprentissage automatique, l'entraînement à confidentialité différentielle entraîne souvent une précision de modèle inférieure par rapport à l'entraînement non privé, en particulier pour des modèles complexes comme les réseaux de neurones. Le bruit ajouté pendant l'entraînement peut ralentir la convergence et dégrader les performances finales. Les chercheurs continuent de développer des techniques pour améliorer le compromis confidentialité-utilité, comme de meilleurs calendriers de bruit, un plafonnement adaptatif et l'utilisation de données publiques pour le pré-entraînement avant un ajustement fin à confidentialité différentielle.
Impact plus large et orientations futures
La confidentialité différentielle est devenue un outil standard dans la boîte à outils de la confidentialité, utilisée par les organismes gouvernementaux et les entreprises. Le Bureau du recensement des États-Unis a utilisé la confidentialité différentielle pour le recensement de 2020 afin de protéger la confidentialité des répondants tout en publiant des statistiques démographiques. Cela a marqué un déploiement réel significatif de la technologie.
Dans le domaine de l'intelligence artificielle, la confidentialité différentielle est considérée comme un composant crucial pour construire des systèmes dignes de confiance. Alors que les modèles de apprentissage automatique sont entraînés sur des ensembles de données de plus en plus volumineux et sensibles, la capacité à fournir des garanties formelles de confidentialité devient plus importante. Le développement d'algorithmes à confidentialité différentielle capables de passer à l'échelle pour de grands modèles et ensembles de données est un domaine de recherche actif.
Les orientations futures incluent l'amélioration de l'efficacité de l'entraînement à confidentialité différentielle, le développement de meilleurs mécanismes pour les données en haute dimension et l'intégration de la confidentialité différentielle avec d'autres technologies d'amélioration de la confidentialité telles que l'apprentissage fédéré et le calcul multipartite sécurisé. Le domaine continue d'évoluer, avec de nouveaux résultats théoriques et des implémentations pratiques émergeant régulièrement.