Adversarial Examples sind Eingaben, die dazu entwickelt wurden, KI-Modelle zu täuschen, indem sie in der Regel kleine, oft kaum wahrnehmbare Störungen an legitimen Daten vornehmen, die dazu führen, dass ein maschinelles Lernmodell falsch klassifiziert oder sich falsch verhält. Diese Eingaben nutzen die statistischen Annahmen aus, die den meisten Lernalgorithmen zugrunde liegen, die im Allgemeinen erwarten, dass Trainings- und Testdaten aus derselben Verteilung stammen. In der Praxis können Gegner absichtlich erfundene Daten liefern, die diese Annahme verletzen, was zu Fehlern in sicherheitskritischen Anwendungen wie Spam-Filterung, Computersicherheit, biometrischer Erkennung und autonomen Fahren führt.
Die Untersuchung von Adversarial Examples fällt in das breitere Feld des adversarialen maschinellen Lernens, das sowohl Angriffe auf Algorithmen des maschinellen Lernens als auch Verteidigungen gegen solche Angriffe untersucht. Zu den häufigen Angriffskategorien gehören Umgehungsangriffe, bei denen Eingaben zur Inferenzzeit modifiziert werden, um eine Erkennung zu vermeiden; Datenvergiftungsangriffe, bei denen Trainingsdaten korrumpiert werden; byzantinische Angriffe, die auf verteilte Lernsysteme abzielen; und Modellextraktion, bei der ein Angreifer versucht, die Funktionalität eines Modells zu stehlen oder zu replizieren.
Historische Entwicklung
Das Interesse an Adversarial Examples entstand aus frühen Arbeiten zur Spam-Filterung. Auf der MIT Spam Conference im Januar 2004 zeigte John Graham-Cumming, dass ein maschinelles Lern-Spamfilter verwendet werden konnte, um einen anderen solchen Filter zu besiegen, indem automatisch gelernt wurde, welche Wörter zu einer Spam-E-Mail hinzugefügt werden müssen, um sie als Nicht-Spam zu klassifizieren. Später in diesem Jahr stellten Nilesh Dalvi und Kollegen fest, dass lineare Klassifikatoren, die in Spam-Filtern verwendet werden, durch einfache Umgehungsangriffe besiegt werden konnten, da Spammer "gute Wörter" in ihre E-Mails einfügten. Um 2007 fügten einige Spammer zufälliges Rauschen hinzu, um Wörter in Bild-Spam zu verschleiern und OCR-basierte Filter zu besiegen.
Im Jahr 2006 veröffentlichten Marco Barreno und andere "Can Machine Learning Be Secure?", das eine breite Taxonomie von Angriffen skizzierte. Noch bis 2013 hofften viele Forscher, dass nichtlineare Klassifikatoren wie Support Vector Machines und neuronale Netze robust gegenüber Gegnern sein könnten. Diese Hoffnung wurde geschwächt, als Battista Biggio und andere 2012 und 2013 die ersten gradientenbasierten Angriffe auf solche Modelle demonstrierten. Ab 2014 zeigten Christian Szegedy und andere, dass tiefe neuronale Netze durch Gegner getäuscht werden konnten, wiederum unter Verwendung gradientenbasierter Methoden, um adversarial Störungen zu erzeugen.
Mechanismen und Eigenschaften
Adversarial Examples werden typischerweise erzeugt, indem eine kleine, sorgfältig berechnete Störung zu einer Eingabe hinzugefügt wird. Bei Bildklassifikatoren beinhaltet dies oft die Modifikation von Pixelwerten auf eine Weise, die für Menschen nicht wahrnehmbar ist, aber das Modell dazu bringt, eine andere Klasse mit hoher Konfidenz auszugeben. Gradientenbasierte Methoden, wie die Fast Gradient Sign Method, verwenden die Verlustfunktion des Modells, um die Richtung der Störung zu bestimmen, die den Klassifikationsfehler maximiert.
Weitere Forschung zeigte, dass Adversarial Examples in unkontrollierten Umgebungen schwerer zu erzeugen sind, da Umgebungsbeschränkungen wie kleine Rotationen oder leichte Beleuchtungsänderungen die Wirkung des Rauschens aufheben können. Zum Beispiel kann ein adversariales Bild, das ein Modell unter Laborbedingungen täuscht, seine Adversarialität verlieren, wenn es aus einem anderen Winkel oder unter anderer Beleuchtung betrachtet wird. Diese Beobachtung hat Auswirkungen auf Angriffe in der realen Welt, wo physikalische Bedingungen Variabilität einführen.
Forscher bei Google Brain, darunter Nick Frosst, haben darauf hingewiesen, dass es oft einfacher ist, selbstfahrende Autos Stoppschilder übersehen zu lassen, indem man das Schild selbst physisch entfernt, anstatt adversarial Beispiele zu erzeugen. Frosst argumentierte auch, dass die Gemeinschaft des adversarialen maschinellen Lernens fälschlicherweise annimmt, dass Modelle, die auf einer bestimmten Datenverteilung trainiert wurden, auf einer völlig anderen Verteilung gut abschneiden werden. Er schlug vor, neue Ansätze für maschinelles Lernen zu erkunden, die Merkmale enthalten, die der menschlichen Wahrnehmung ähnlicher sind.
Bemerkenswerte Demonstrationen
Mehrere prominente Demonstrationen haben die Macht von Adversarial Examples veranschaulicht. Forscher zeigten, dass die Änderung nur eines Pixels in einem Bild Deep-Learning-Algorithmen täuschen konnte. In einem anderen Fall wurde eine 3-D-gedruckte Spielzeugschildkröte mit einer Textur hergestellt, die dazu entwickelt wurde, Googles Objekterkennungs-KI dazu zu bringen, sie als Gewehr zu klassifizieren, unabhängig vom Winkel, aus dem die Schildkröte betrachtet wurde. Die Erstellung der Schildkröte erforderte nur kostengünstige, kommerziell erhältliche 3-D-Drucktechnologie.
Ein maschinell verändertes Bild eines Hundes zeigte sich sowohl für Computer als auch für Menschen als Katze, und eine Studie aus dem Jahr 2019 berichtete, dass Menschen erraten können, wie Maschinen adversarial Bilder klassifizieren. Forscher entdeckten auch Methoden, um das Erscheinungsbild eines Stoppschildes so zu verändern, dass ein autonomes Fahrzeug es als Einfädelungs- oder Geschwindigkeitsbegrenzungsschild klassifizierte. In einem separaten Vorfall griff McAfee Teslas früheres Mobileye-System an, indem es dazu gebracht wurde, 50 Meilen pro Stunde über dem Tempolimit zu fahren, indem ein zwei Zoll langer Streifen schwarzen Klebebands auf ein Geschwindigkeitsbegrenzungsschild geklebt wurde.
Adversarial Muster auf Brillen oder Kleidung, die dazu entwickelt wurden, Gesichtserkennungssysteme oder Kennzeichenleser zu täuschen, haben zu einer Nischenindustrie der "Stealth-Straßenkleidung" geführt. Diese physischen adversarial Beispiele zeigen, dass das Phänomen über digitale Eingaben hinausgeht.
Anwendungen in Sicherheit und Malware
Adversarial Examples haben erhebliche Auswirkungen auf die Computersicherheit. In der Malware-Erkennung haben Forscher Methoden zur Erzeugung adversarialer Malware vorgeschlagen, die automatisch Binärdateien erstellen, um lernbasierte Detektoren zu umgehen, während die bösartige Funktionalität erhalten bleibt. Optimierungsbasierte Angriffe wie GAMMA verwenden genetische Algorithmen, um harmlosen Inhalt, wie Padding oder neue PE-Abschnitte, in Windows-Ausführbare Dateien einzufügen. Dieser Ansatz betrachtet Umgehung als ein eingeschränktes Optimierungsproblem, das den Missklassifikationserfolg mit der Größe der injizierten Nutzlast ausbalanciert, und hat Übertragbarkeit auf kommerzielle Antivirenprodukte gezeigt.
Ergänzende Arbeiten verwenden generative gegnerische Netzwerke (GANs), um Merkmalsraum-Störungen zu lernen, die dazu führen, dass Malware als harmlos klassifiziert wird. Mal-LSGAN beispielsweise ersetzt den standardmäßigen GAN-Verlust durch ein Least-Squares-Ziel und modifizierte Aktivierungsfunktionen, um die Trainingsstabilität zu verbessern. Diese Methode erzeugt adversarial Malware-Beispiele, die die True-Positive-Rate über mehrere Detektoren erheblich reduzieren.
Clustering-Algorithmen, die in Sicherheitsanwendungen zur Malware- und Computervirenanalyse verwendet werden, sind ebenfalls anfällig. Diese Algorithmen zielen darauf ab, Malware-Familien zu identifizieren und spezifische Erkennungssignaturen zu generieren, aber Gegner können Eingaben manipulieren, um das Clustering zu umgehen oder die resultierenden Signaturen in die Irre zu führen.
Audio- und physische Angriffe
Adversarial Angriffe sind nicht auf Bilder beschränkt. Forscher haben adversarial Audio-Eingaben erstellt, die Befehle an intelligente Assistenten in harmlos erscheinendem Audio tarnen. Diese Angriffe können verwendet werden, um Algorithmen in ein Zielsystem zu injizieren oder unbeabsichtigte Aktionen auszulösen. Eine parallele Literatur untersucht die menschliche Wahrnehmung solcher Reize und prüft, ob Menschen die versteckten Befehle erkennen oder verstehen können.
Im Bereich der Erkennung menschlicher Aktionen sind neuartige adversarial Angriffe äußerst effektiv. Diese Systeme werden für Überwachung, autonome Fahrzeuge und In-House-Überwachung eingesetzt. Angreifer führen Rauschen in die Darstellung menschlicher Merkmale ein, um die Erkennungssysteme zu täuschen. Bemerkenswerterweise erfordern diese Angriffe nicht unbedingt Zugriff auf die Erkennungssysteme selbst und können für menschliche Benutzer nicht wahrnehmbar sein.
Verteidigungen und Minderungen
Die Verteidigung gegen Adversarial Examples bleibt eine offene Herausforderung. Techniken wie adversarial Training, bei dem Modelle auf adversarial Beispielen trainiert werden, um die Robustheit zu verbessern, haben einige Versprechen gezeigt, reduzieren jedoch oft die Genauigkeit bei sauberen Eingaben. Andere Ansätze umfassen Eingabevorverarbeitung, Erkennung adversarialer Eingaben und zertifizierte Verteidigungen, die formale Garantien bieten.
Während das adversarial maschinelle Lernen weiterhin stark in der Wissenschaft verwurzelt ist, haben große Technologieunternehmen wie Google, Microsoft und IBM begonnen, Dokumentationen und Open-Source-Codebasen zu kuratieren, um anderen zu ermöglichen, die Robustheit von Modellen des maschinellen Lernens konkret zu bewerten und das Risiko adversarialer Angriffe zu minimieren. Diese Ressourcen zielen darauf ab, Bewertungsmethoden zu standardisieren und die Entwicklung widerstandsfähigerer Systeme zu fördern.
Datenvergiftung und kreative Schutzmaßnahmen
Eine verwandte Bedrohung ist die Datenvergiftung, bei der Angreifer Trainingsdaten korrumpieren, um das Modellverhalten zu beeinflussen. Im Jahr 2023 veröffentlichten Forscher der University of Chicago einen Datenvergiftungsfilter namens Nightshade. Er wurde für visuelle Künstler entwickelt, um ihre Kunstwerke zu schützen, indem die Datensätze von Text-zu-Bild-Modellen korrumpiert werden, die ihre Daten normalerweise ohne Zustimmung des Bildschöpfers aus dem Internet scrapen. Dieses Werkzeug stellt eine defensive Nutzung adversarialer Techniken dar, die es Einzelpersonen ermöglicht, ihr geistiges Eigentum vor unbefugter Nutzung in Trainingsmodellen für generative KI zu schützen.
Laufende Forschung und zukünftige Richtungen
Das Feld der Adversarial Examples entwickelt sich weiter, wobei Forscher sowohl neue Angriffsvektoren als auch robustere Verteidigungsmechanismen erkunden. Die Annahme, dass Modelle, die auf einer bestimmten Datenverteilung trainiert wurden, auf einer völlig anderen Verteilung gut abschneiden werden, wird zunehmend in Frage gestellt. Einige Forscher befürworten einen neuen Ansatz für maschinelles Lernen, der die menschliche Wahrnehmung besser nachahmt, die im Allgemeinen robuster gegenüber kleinen Störungen ist.
Da Deep-Learning-Modelle in kritischeren Anwendungen eingesetzt werden, wird das Verständnis und die Minderung von Adversarial Examples zunehmend wichtiger. Das Zusammenspiel zwischen Angriff und Verteidigung treibt die laufende Forschung voran, wobei jede neue Verteidigung oft ausgefeiltere Angriffe inspiriert. Das ultimative Ziel ist es, Systeme des maschinellen Lernens zu schaffen, die nicht nur bei sauberen Daten genau sind, sondern auch in Gegenwart von Gegnern zuverlässig.