Les exemples contradictoires sont des entrées d'un modèle d'apprentissage automatique qui ont été intentionnellement conçues pour amener le modèle à commettre une erreur. Ces entrées sont généralement créées en appliquant de petites perturbations, souvent imperceptibles, à des données légitimes, comme l'ajout de bruit à une image ou la modification de quelques mots dans un texte. L'existence d'exemples contradictoires met en évidence une vulnérabilité fondamentale dans de nombreux systèmes de apprentissage automatique, qui supposent souvent que les données d'entraînement et de test proviennent de la même distribution statistique. En pratique, cependant, les utilisateurs ou les attaquants peuvent fournir des données fabriquées qui violent cette hypothèse, conduisant à des prédictions incorrectes dans des applications à enjeux élevés comme la sécurité, la conduite autonome et la reconnaissance biométrique.
L'étude de ces attaques et des défenses contre elles relève du domaine de l'apprentissage automatique contradictoire. Ce domaine examine comment les modèles peuvent être trompés et comment les rendre plus robustes. Les exemples contradictoires se distinguent des autres types de défaillances de modèles car ils sont délibérément optimisés pour exploiter des faiblesses spécifiques dans la frontière de décision d'un modèle, plutôt que de résulter d'un bruit aléatoire ou d'une mauvaise généralisation.
Historique
Le concept d'exemples contradictoires est issu des premiers travaux sur le filtrage anti-spam. Lors de la conférence MIT Spam en janvier 2004, John Graham-Cumming a démontré qu'un filtre anti-spam basé sur l'apprentissage automatique pouvait être utilisé pour vaincre un autre filtre de ce type en apprenant automatiquement quels mots ajouter à un courriel spam pour qu'il soit classé comme non-spam. La même année, Nilesh Dalvi et ses collègues ont noté que les classificateurs linéaires utilisés dans les filtres anti-spam pouvaient être vaincus par de simples attaques d'évasion, où les spammeurs inséraient des mots légitimes dans leurs courriels. Vers 2007, certains spammeurs ont ajouté du bruit aléatoire pour brouiller les mots dans les images spam afin de contourner les filtres basés sur l'OCR.
En 2006, Marco Barreno et d'autres ont publié « Can Machine Learning Be Secure? », décrivant une taxonomie large des attaques. Jusqu'en 2013, de nombreux chercheurs espéraient que les classificateurs non linéaires tels que les machines à vecteurs de support et les réseaux de neurones pourraient être robustes face aux adversaires. Cet espoir a été anéanti lorsque Battista Biggio et d'autres ont démontré les premières attaques basées sur le gradient contre de tels modèles en 2012-2013. En 2014, Christian Szegedy et ses collègues ont montré que les réseaux de neurones profonds pouvaient être trompés par des adversaires, en utilisant des méthodes basées sur le gradient pour concevoir des perturbations contradictoires. Ces travaux ont déclenché un afflux de recherches sur les attaques et les défenses.
Des recherches supplémentaires ont révélé que les attaques contradictoires sont plus difficiles à produire dans des environnements non contrôlés, car de petites rotations ou des changements d'éclairage peuvent détruire l'effet contradictoire. Des chercheurs comme Nick Frosst de Google Brain ont noté qu'il est souvent plus facile de retirer physiquement un panneau d'arrêt que de créer un exemple contradictoire fiable pour une voiture autonome. Frosst a également soutenu que la communauté suppose à tort que les modèles entraînés sur une distribution de données fonctionneront bien sur une autre, suggérant un besoin de nouvelles approches imitant la perception humaine. Bien que le domaine reste ancré dans le milieu académique, de grandes entreprises technologiques comme Google, Microsoft et IBM ont commencé à organiser de la documentation et des bases de code open source pour évaluer la robustesse des modèles et minimiser les risques d'attaque.
Types d'attaques
L'apprentissage automatique contradictoire englobe plusieurs catégories d'attaques courantes. Les attaques d'évasion se produisent au moment du test, où un attaquant modifie une entrée pour qu'elle soit mal classée, comme l'ajout de bruit à une image d'un panneau d'arrêt pour qu'il soit reconnu comme un panneau de limitation de vitesse. Les attaques d'empoisonnement des données se produisent pendant l'entraînement, où un attaquant injecte des données malveillantes dans l'ensemble d'entraînement pour corrompre le comportement du modèle. Les attaques byzantines ciblent les systèmes d'entraînement distribués, où des nœuds compromis envoient des mises à jour incorrectes. Les attaques d'extraction de modèle visent à voler la fonctionnalité d'un modèle en l'interrogeant et en entraînant un modèle de substitution.
Dans le contexte de la détection de logiciels malveillants, les chercheurs ont proposé des méthodes de génération de logiciels malveillants contradictoires qui créent automatiquement des binaires pour échapper aux détecteurs basés sur l'apprentissage tout en préservant la fonctionnalité malveillante. Les attaques basées sur l'optimisation comme GAMMA utilisent des algorithmes génétiques pour injecter du contenu bénin, tel que du remplissage ou de nouvelles sections PE, dans des exécutables Windows. Cette approche cadre l'évasion comme un problème d'optimisation sous contraintes qui équilibre le succès de la mauvaise classification avec la taille de la charge utile et montre une transférabilité aux produits antivirus commerciaux. Des travaux complémentaires utilisent des réseaux antagonistes génératifs (GAN) pour apprendre des perturbations dans l'espace des caractéristiques qui amènent les logiciels malveillants à être classés comme bénins ; Mal-LSGAN, par exemple, remplace la perte GAN standard par un objectif de moindres carrés pour améliorer la stabilité de l'entraînement et réduire les taux de vrais positifs sur plusieurs détecteurs.
Exemples concrets
Des exemples contradictoires ont été démontrés dans de nombreux domaines. Des chercheurs ont montré que changer un seul pixel pouvait tromper les algorithmes d'apprentissage profond. D'autres ont imprimé en 3D une tortue jouet avec une texture conçue pour que l'IA de détection d'objets de Google la classe comme un fusil quel que soit l'angle de vue, en utilisant uniquement une technologie d'impression 3D disponible dans le commerce à faible coût. Une image de chien modifiée par machine s'est révélée ressembler à un chat à la fois pour les ordinateurs et les humains. Une étude de 2019 a rapporté que les humains peuvent deviner comment les machines classeront les images contradictoires.
Dans la conduite autonome, les chercheurs ont découvert des méthodes pour perturber l'apparence d'un panneau d'arrêt de sorte qu'un véhicule le classe comme un panneau de fusion ou de limitation de vitesse. McAfee a attaqué l'ancien système Mobileye de Tesla, le trompant pour qu'il conduise à 80 km/h au-dessus de la limite de vitesse en ajoutant une bande de ruban adhésif noir de deux pouces sur un panneau de limitation de vitesse. Des motifs contradictoires sur des lunettes ou des vêtements conçus pour tromper les systèmes de reconnaissance faciale ou les lecteurs de plaques d'immatriculation ont conduit à une industrie de niche de vêtements de rue furtifs.
Des entrées audio contradictoires peuvent déguiser des commandes destinées aux assistants intelligents dans un audio d'apparence bénigne. Dans la reconnaissance biométrique, de faux traits peuvent usurper l'identité d'utilisateurs légitimes ou compromettre les galeries de modèles. Des attaques émergentes sont également efficaces dans les systèmes de reconnaissance d'actions humaines utilisés pour la surveillance et les véhicules autonomes, où les attaquants introduisent du bruit dans les représentations des caractéristiques humaines pour tromper les systèmes, souvent sans avoir besoin d'accéder au système de reconnaissance lui-même.
Défenses et atténuations
Les défenses contre les exemples contradictoires incluent l'entraînement contradictoire, où les modèles sont entraînés sur des exemples contradictoires pour améliorer la robustesse ; le prétraitement des entrées, comme le débruitage ou la compression des caractéristiques ; et des méthodes de détection qui signalent les entrées suspectes. Cependant, aucune défense universelle n'existe, et les attaquants développent continuellement de nouvelles techniques. Le filtre d'empoisonnement des données Nightshade, publié en 2023 par des chercheurs de l'Université de Chicago, permet aux artistes visuels de corrompre les ensembles de données des modèles texte-image qui extraient des données sans consentement, illustrant comment l'empoisonnement peut être utilisé de manière défensive.