L'inférence d'appartenance est un type d'attaque contre la vie privée qui vise à déterminer si un enregistrement de données particulier était inclus dans l'ensemble de données utilisé pour entraîner un modèle d'apprentissage automatique ou pour calculer des statistiques publiées. La capacité de confirmer l'appartenance peut révéler des informations sensibles : par exemple, si un ensemble de données comprend des patients atteints d'une maladie spécifique, confirmer qu'un individu fait partie de l'ensemble d'entraînement divulgue effectivement son diagnostic. Ce vecteur d'attaque est devenu une préoccupation centrale dans la recherche sur la vie privée, croisant des domaines tels que l'apprentissage automatique, l'intelligence artificielle et l'anonymisation des données.
Le concept a gagné en importance dans le contexte des données génomiques, où des statistiques agrégées comme les fréquences alléliques ont montré qu'elles pouvaient révéler la participation individuelle. Au fil du temps, l'inférence d'appartenance a été étendue aux modèles d'apprentissage automatique, où les attaquants exploitent les sorties ou les paramètres du modèle pour déduire l'appartenance aux données d'entraînement. L'efficacité de ces attaques varie considérablement selon l'architecture du modèle, la distribution des données et les défenses disponibles, ce qui en fait un domaine d'étude dynamique.
Origines historiques en génomique
Les premières attaques d'inférence d'appartenance sont issues de la recherche sur la confidentialité génomique. En 2008, Nils Homer et ses collègues ont démontré que le génotype d'un individu, combiné aux statistiques de fréquences alléliques publiées sur plusieurs sites de polymorphismes nucléotidiques simples (SNP), pouvait déterminer si cette personne avait contribué son ADN à une population d'étude. Cette découverte a eu des conséquences pratiques immédiates : les National Institutes of Health (NIH) des États-Unis et le Wellcome Trust ont ensuite restreint l'accès à de nombreux ensembles de données génomiques, les déplaçant de dépôts publics vers des bases de données à accès contrôlé comme dbGaP.
Des travaux ultérieurs ont généralisé ces résultats. Cynthia Dwork et d'autres ont montré que n'importe quel nombre de statistiques publiées sur une base de données pouvait être exploité pour l'inférence d'appartenance, établissant un lien formel avec la confidentialité différentielle. Cette ligne de recherche a jeté les bases pour comprendre comment les publications de données agrégées peuvent fuiter des informations au niveau individuel.
Attaques sur les statistiques agrégées
Au-delà de la génomique, les attaques d'inférence d'appartenance s'appliquent à divers types de données agrégées. Un article notable de 2018, « Knock Knock, Who's There? », a formulé le problème comme une tâche de classification binaire : un attaquant entraîne un classificateur pour distinguer les individus qui sont membres d'un ensemble de données de ceux qui ne le sont pas, puis l'applique à une personne cible dont la présence dans une trace de localisation agrégée (par exemple, une carte de chaleur) est suspectée. L'article a démontré que ces attaques réussissent même lorsqu'aucune trace individuelle n'est publiée, en s'appuyant uniquement sur des schémas de mobilité agrégés.
Ce principe s'étend à toute forme de statistique agrégée, y compris les simples comptages sur une population sensible. Par exemple, si un hôpital publie le nombre de patients atteints d'une maladie rare, un attaquant pourrait déduire si un individu spécifique en fait partie en comparant le comptage avec et sans l'inclusion présumée de cette personne. L'approche générale exploite la différence statistique entre l'agrégat avec et sans l'enregistrement cible.
Attaques sur les modèles d'apprentissage automatique
Les attaques d'inférence d'appartenance sur les modèles d'apprentissage automatique exploitent la tendance des modèles à se comporter différemment sur les données d'entraînement par rapport aux données non vues. La première attaque réussie de ce type a été introduite par Reza Shokri et ses collègues en 2017. Ils ont observé que de nombreux modèles attribuent des scores de confiance plus élevés aux enregistrements sur lesquels ils ont été entraînés. Pour exploiter cela, ils ont développé le concept de modèles fantômes : l'adversaire entraîne plusieurs modèles sur des données similaires à l'ensemble d'entraînement du modèle cible, et comme l'adversaire sait quels enregistrements ont été utilisés pour chaque modèle fantôme, il peut entraîner un classificateur pour prédire l'appartenance en fonction des sorties du modèle.
Les modèles fantômes permettent à l'attaquant d'approximer le comportement interne du modèle cible sans accès direct à ses données d'entraînement. En 2019, l'article ML-Leaks a montré que pour certains modèles, un seul modèle fantôme suffit, réduisant la complexité de l'attaque. Cette découverte a souligné que la vulnérabilité n'était pas limitée à des architectures spécifiques.
Attaques basées sur les scores et sur les étiquettes
Des recherches ultérieures ont affiné les attaques d'inférence d'appartenance, assouplissant les hypothèses et améliorant leur praticité. Deux catégories principales ont émergé : les attaques basées sur les scores et celles basées sur les étiquettes. Les attaques basées sur les scores, comme celles de Yeom et al. et l'attaque du rapport de vraisemblance (LiRA) de Carlini et al., utilisent les scores de confiance du modèle (par exemple, les probabilités softmax) pour déduire l'appartenance. Les attaques basées sur les étiquettes, comme l'inférence d'appartenance uniquement par étiquettes de Choquette-Choo et al., s'appuient uniquement sur l'étiquette de classe prédite, souvent plus facile à obtenir dans des scénarios réels.
Les attaques basées sur les étiquettes peuvent être plus puissantes, surtout lorsque l'adversaire peut perturber l'entrée. Par exemple, en traitement du langage naturel, un attaquant pourrait scorer un texte cible et plusieurs variantes qui diffèrent de quelques mots ; si les prédictions du modèle changent considérablement, cela suggère que l'original était dans l'ensemble d'entraînement. Une autre approche, la distillation de modèle, utilise un modèle étudiant plus simple pour répliquer un modèle enseignant complexe, pouvant extraire des informations supplémentaires sur les données d'entraînement.
L'efficacité de ces attaques dépend de l'ensemble de données et du modèle. Le surapprentissage est la source la plus courante de fuite, et des techniques de régularisation standard comme le dropout, la décroissance du poids et l'arrêt précoce peuvent la réduire. Cependant, l'inférence d'appartenance tend à être plus efficace lorsque les modèles sont grands, les données complexes, et que les ensembles d'entraînement et de test sont tous deux volumineux - des conditions courantes dans les systèmes modernes de apprentissage profond.
Inférence d'appartenance sur les grands modèles de langage
Les grands modèles de langage (LLM) présentent un cas particulier. Une évaluation de 2024 a suggéré que sur de nombreuses tâches, les attaques d'inférence d'appartenance performent à peine mieux qu'une supposition aléatoire. Cela est largement dû à la distribution des données d'entraînement : les LLM rencontrent généralement chaque donnée particulière une seule fois, minimisant le chevauchement entre les ensembles d'entraînement et de test. De plus, une ligne de base simple qui ignore complètement le modèle surpasse souvent les attaques sophistiquées, indiquant que les attaques peuvent marquer à tort des enregistrements comme membres simplement parce qu'ils proviennent d'une période plus ancienne ou d'une distribution différente.
Ce problème reflète la limitation de l'étude génomique originale : si la population d'étude est homogène, tester un individu d'un groupe ethnique différent pourrait le faussement identifier comme membre. Pour les LLM, si les données d'entraînement et de test sont échantillonnées à partir de périodes différentes, une attaque pourrait revendiquer l'appartenance pour tout enregistrement temporellement cohérent avec les données d'entraînement, indépendamment de son inclusion réelle.
Défenses et atténuations
La confidentialité différentielle est la défense la plus robuste contre l'inférence d'appartenance, car elle fournit des garanties théoriques limitant l'influence de tout enregistrement individuel. Pour les réseaux de neurones, la confidentialité différentielle est couramment implémentée via DP-SGD (Descente de gradient stochastique différentiellement privée), qui ajoute du bruit aux gradients pendant l'entraînement.
En pratique, se défendre contre l'inférence d'appartenance implique souvent d'améliorer la généralisation et de réduire le surapprentissage. Des techniques standard comme le dropout, la décroissance du poids et l'arrêt précoce sont des mesures de confidentialité indirectes mais efficaces. De plus, les modèles peuvent être modifiés pour limiter la fuite d'informations : par exemple, en arrondissant les scores de confiance, en les tronquant aux k classes supérieures, ou en ajoutant du bruit aux sorties. Ces approches réduisent le signal qu'un attaquant peut exploiter, bien qu'elles puissent sacrifier l'utilité du modèle.
La recherche continue d'explorer l'équilibre entre la performance du modèle et la confidentialité, surtout à mesure que les modèles gagnent en échelle et en complexité. L'inférence d'appartenance reste une référence clé pour évaluer les techniques d'apprentissage automatique préservant la confidentialité.