L'empoisonnement des données est une classe d'attaque adversarial contre les systèmes d'apprentissage automatique dans laquelle un attaquant manipule délibérément les données d'entraînement utilisées pour construire un modèle. Contrairement aux attaques d'évasion, qui exploitent un modèle déjà entraîné au moment de l'inférence, les attaques par empoisonnement se produisent pendant la phase d'apprentissage, visant à dégrader les performances globales du modèle, à introduire des erreurs de classification spécifiques, ou à implanter des portes dérobées cachées qui s'activent dans des conditions particulières. Cette attaque est particulièrement dangereuse dans les applications à enjeux élevés où les données d'entraînement peuvent provenir de contributeurs non fiables ou être collectées à partir de sources publiques sans vérification rigoureuse.
L'hypothèse fondamentale sous-jacente à la plupart des algorithmes d'apprentissage automatique est que les données d'entraînement et de test sont tirées de la même distribution statistique (indépendantes et identiquement distribuées, ou i.i.d.). L'empoisonnement des données viole cette hypothèse en injectant intentionnellement des échantillons fabriqués qui déplacent la frontière de décision apprise. Cette manipulation peut être subtile, ne nécessitant souvent qu'une petite fraction d'exemples corrompus pour atteindre l'objectif de l'attaquant. L'étude de ces attaques et de leurs défenses relève du domaine plus large de l'apprentissage automatique adversarial, qui englobe également les attaques par évasion, les attaques byzantines et l'extraction de modèles.
Développement historique
Les premières démonstrations d'empoisonnement des données sont apparues dans le contexte du filtrage du courrier indésirable. Lors de la conférence MIT Spam Conference en janvier 2004, John Graham-Cumming a montré qu'un filtre anti-spam basé sur l'apprentissage automatique pouvait être neutralisé par un autre en apprenant automatiquement quels mots ajouter à un courriel pour qu'il soit classé comme légitime. La même année, Nilesh Dalvi et ses collègues ont noté que les classifieurs linéaires utilisés dans les filtres anti-spam pouvaient être vaincus par des attaques d'évasion simples, où les spammeurs inséraient des « mots inoffensifs » dans leurs courriels. Vers 2007, certains spammeurs ont commencé à ajouter du bruit aléatoire pour brouiller les mots dans les images contenues dans les courriels, afin de contourner les filtres basés sur la reconnaissance optique de caractères (OCR).
En 2006, Marco Barreno et d'autres ont publié « Can Machine Learning Be Secure? », qui a établi une taxonomie large des attaques contre les systèmes d'apprentissage. Jusqu'en 2013, de nombreux chercheurs espéraient que les classifieurs non linéaires tels que les machines à vecteurs de support et les réseaux de neurones seraient intrinsèquement robustes face aux adversaires. Cet espoir a été anéanti lorsque Battista Biggio et ses collègues ont démontré les premières attaques par gradient sur ces modèles entre 2012 et 2013. À partir de 2014, Christian Szegedy et d'autres ont montré que les réseaux de neurones profonds pouvaient être trompés par des adversaires utilisant des méthodes basées sur le gradient pour créer des perturbations adversariales, ce qui a catalysé une croissance rapide du domaine.
Mécanismes et variantes d'attaque
Les attaques par empoisonnement des données peuvent prendre plusieurs formes selon les objectifs et les capacités de l'attaquant. Une variante courante est l'attaque par porte dérobée, où l'attaquant injecte des échantillons d'entraînement contenant un déclencheur spécifique (comme une petite pastille ou un agencement particulier de pixels) étiquetés avec une classe cible. Après l'entraînement, le modèle se comporte normalement sur des entrées propres, mais classe incorrectement toute entrée contenant le déclencheur. Une autre variante est l'empoisonnement par indisponibilité, qui vise à dégrader la précision globale du modèle sur des données légitimes, souvent en injectant des valeurs aberrantes ou des exemples mal étiquetés qui perturbent l'algorithme d'apprentissage.
Des approches basées sur l'optimisation ont été développées pour créer des échantillons empoisonnés qui maximisent l'impact sur le modèle entraîné. Par exemple, dans la détection de logiciels malveillants, des chercheurs ont proposé des méthodes de génération automatique de binaires malveillants capables de contourner les détecteurs basés sur l'apprentissage tout en préservant leur fonctionnalité nuisible. Le cadre GAMMA utilise des algorithmes génétiques pour injecter du contenu bénin, tel que du remplissage ou de nouvelles sections dans les exécutables Windows, en formulant l'évasion comme un problème d'optimisation sous contraintes qui équilibre l'erreur de classification avec la taille de la charge utile injectée. Des travaux complémentaires utilisent des réseaux antagonistes génératifs (GAN) pour apprendre des perturbations dans l'espace des caractéristiques qui font classer les logiciels malveillants comme bénins ; par exemple, Mal-LSGAN remplace la fonction de perte standard des GAN par un objectif des moindres carrés et modifie les fonctions d'activation pour améliorer la stabilité de l'entraînement et produire des exemples malveillants qui réduisent considérablement les taux de vrais positifs de plusieurs détecteurs.
Dans le domaine de la vision par ordinateur, des chercheurs ont montré qu'il suffit de modifier un seul pixel pour tromper des algorithmes d'apprentissage profond. D'autres ont imprimé en 3D une tortue dont la texture a été conçue pour que l'IA de détection d'objets de Google la classe comme un fusil, quel que soit l'angle de vue. La création de la tortue n'a nécessité que des technologies d'impression 3D commerciales à faible coût. Une image d'un chien modifiée par machine a été montrée comme ressemblant à un chat, à la fois pour les ordinateurs et pour les humains, et une étude de 2019 a rapporté que les humains peuvent deviner comment les machines classifient des images adversariales.
Exemples concrets
L'empoisonnement des données et les attaques adversariales associées ont été démontrés dans de nombreux contextes pratiques. Dans le filtrage du courrier indésirable, les attaques consistent à obscurcir les messages en modifiant l'orthographe des mots ou en insérant des mots inoffensifs. Dans la sécurité informatique, les attaquants modifient le code des logiciels malveillants ou les caractéristiques du trafic réseau pour tromper les systèmes de détection d'intrusion. Dans la reconnaissance biométrique, de fausses caractéristiques biométriques peuvent être exploitées pour usurper l'identité d'un utilisateur légitime ou pour compromettre des modèles de templates qui s'adaptent au fil du temps.
Un exemple notable implique McAfee, qui a attaqué l'ancien système Mobileye de Tesla en collant une simple bande de ruban adhésif noir de deux pouces sur un panneau de limitation de vitesse, ce qui a amené le système à lire 80 mph au lieu de 35 mph. Des chercheurs ont également découvert des méthodes pour perturber l'apparence d'un panneau stop afin qu'un véhicule autonome le classe comme un panneau de fusion ou de limitation de vitesse. Des motifs adversariales sur des lunettes ou des vêtements ont été conçus pour tromper les systèmes de reconnaissance faciale ou les lecteurs de plaques d'immatriculation, donnant naissance à un secteur de niche de « vêtements furtifs ».
En 2023, des chercheurs de l'Université de Chicago ont publié un filtre d'empoisonnement des données appelé Nightshade, destiné aux artistes visuels pour qu'ils l'appliquent à leurs œuvres afin de corrompre les ensembles de données des modèles de génération d'images à partir de texte, qui collectent généralement des données sur Internet sans le consentement des créateurs. Une attaque adversarial sur un réseau de neurones peut également permettre à un attaquant d'injecter des algorithmes dans le système cible. Des chercheurs ont créé des commandes audio adversariales pour tromper les assistants intelligents, et une littérature parallèle explore la perception humaine de ces stimuli.
Défis dans les contextes réels
Des travaux supplémentaires ont montré que les attaques adversariales sont plus difficiles à produire dans des environnements non contrôlés en raison de contraintes environnementales variées qui annulent l'effet du bruit. Par exemple, une légère rotation ou un changement d'éclairage sur une image peut détruire son caractère adversarial. Des chercheurs comme Nick Frosst de Google Brain soulignent qu'il est beaucoup plus facile de faire manquer un panneau stop à une voiture autonome en retirant physiquement le panneau qu'en créant des exemples adversariales. Frosst estime également que la communauté de l'apprentissage automatique adversarial suppose à tort qu'un modèle entraîné sur une certaine distribution de données fonctionnera bien sur une distribution complètement différente. Il suggère qu'une nouvelle approche de l'apprentissage automatique, plus proche de la perception humaine, devrait être explorée, et il travaille actuellement sur un réseau de neurones unique présentant des caractéristiques plus similaires à la perception humaine que les approches de pointe.
Les attaques adversariales émergentes sont également très efficaces contre les systèmes de reconnaissance d'actions humaines, qui sont largement utilisés pour des applications réelles telles que la surveillance, les véhicules autonomes et la surveillance interne. Dans ces attaques, les attaquants introduisent du bruit dans la représentation des caractéristiques humaines pour tromper les systèmes de reconnaissance. Ces attaques ne nécessitent pas nécessairement un accès direct aux systèmes eux-mêmes, et elles peuvent être imperceptibles pour les utilisateurs humains de ces systèmes.
Défenses et atténuation
Les défenses contre l'empoisonnement des données se répartissent généralement en plusieurs catégories. L'assainissement des données consiste à filtrer les échantillons d'entraînement suspects ou aberrants avant l'apprentissage. Les méthodes d'agrégation robustes, telles que la moyenne tronquée ou les approches basées sur la médiane, réduisent l'influence des gradients aberrants pendant l'entraînement distribué. Les techniques de détection d'anomalies peuvent identifier les tentatives d'empoisonnement en surveillant les propriétés statistiques des données entrantes. La confidentialité différentielle fournit une garantie formelle que l'influence d'un exemple d'entraînement individuel est bornée, limitant ainsi l'impact d'un empoisonnement.
Dans le contexte des algorithmes de clustering utilisés dans les applications de sécurité, telles que l'analyse des logiciels malveillants et des virus informatiques pour identifier les familles de malwares et générer des signatures de détection spécifiques, les défenses doivent tenir compte de la possibilité que des attaquants injectent des échantillons conçus pour induire en erreur le processus de clustering. Alors que l'apprentissage automatique adversarial continue d'être profondément ancré dans le monde académique, de grandes entreprises technologiques comme Google, Microsoft et IBM ont commencé à organiser des documentations et à publier des bases de code open source pour permettre à d'autres d'évaluer concrètement la robustesse des modèles d'apprentissage automatique et de minimiser le risque d'attaques adversariales.
Implications plus larges
L'étude de l'empoisonnement des données met en évidence des vulnérabilités fondamentales dans le pipeline de l'apprentissage automatique. Alors que les systèmes d'intelligence artificielle sont de plus en plus déployés dans des domaines critiques tels que la conduite autonome, les soins de santé et la sécurité, l'intégrité des données d'entraînement devient primordiale. L'essor des systèmes d'IA générative et des grands modèles de langage, qui s'entraînent souvent sur des ensembles de données massifs collectés sur Internet, élargit considérablement la surface d'attaque. Les attaques par empoisonnement pourraient cibler les préférences ou les alignements de sécurité de ces modèles, les amenant potentiellement à générer des sorties nuisibles ou biaisées.
Les chercheurs continuent d'explorer à la fois les attaques et les défenses, dans une course aux armements permanente entre adversaires et défenseurs. Le domaine s'appuie sur des perspectives issues de l'apprentissage profond, de la théorie des réseaux de neurones et de l'optimisation. Comprendre les limites des modèles actuels, en particulier leur sensibilité aux changements de distribution et aux perturbations adversariales, est essentiel pour construire des systèmes d'IA plus robustes et dignes de confiance.
Orientations futures
La recherche future sur l'empoisonnement des données se concentrera probablement sur le développement de défenses prouvables, la compréhension des limites théoriques de la résistance à l'empoisonnement et la création de benchmarks standardisés pour évaluer la robustesse. L'intégration de la recherche sur la perception humaine, comme suggéré par Frosst, pourrait conduire à des architectures intrinsèquement plus résistantes à la manipulation adversarial. En outre, à mesure que les réglementations sur la confidentialité des données et le consentement évoluent, les implications éthiques de l'empoisonnement des données en tant que forme de protestation ou de protection, comme l'illustrent des outils tels que Nightshade, continueront d'être débattues.