Adversarial Examples sind Eingaben für ein maschinelles Lernmodell, die absichtlich so gestaltet wurden, dass das Modell einen Fehler macht. Diese Eingaben werden typischerweise erzeugt, indem kleine, oft kaum wahrnehmbare Störungen an legitimen Daten vorgenommen werden, wie das Hinzufügen von Rauschen zu einem Bild oder das Verändern einiger Wörter in einem Text. Die Existenz von Adversarial Examples verdeutlicht eine grundlegende Verwundbarkeit vieler Systeme des maschinellen Lernens, die oft annehmen, dass Trainings- und Testdaten aus derselben statistischen Verteilung stammen. In der Praxis können Benutzer oder Angreifer jedoch fabrizierte Daten liefern, die diese Annahme verletzen, was zu falschen Vorhersagen in sicherheitskritischen Anwendungen wie Sicherheit, autonomen Fahren und biometrischer Erkennung führt.
Die Untersuchung dieser Angriffe und der Verteidigungsmaßnahmen gegen sie fällt in das Gebiet des adversarialen maschinellen Lernens. Dieses Feld untersucht, wie Modelle getäuscht werden können und wie man sie robuster machen kann. Adversarial Examples unterscheiden sich von anderen Arten von Modellfehlern, da sie gezielt optimiert werden, um spezifische Schwächen in der Entscheidungsgrenze eines Modells auszunutzen, anstatt aus zufälligem Rauschen oder schlechter Generalisierung zu entstehen.
Geschichte
Das Konzept der Adversarial Examples entstand aus frühen Arbeiten zur Spam-Filterung. Auf der MIT Spam Conference im Januar 2004 zeigte John Graham-Cumming, dass ein maschinell lernender Spam-Filter verwendet werden konnte, um einen anderen solchen Filter zu besiegen, indem er automatisch lernte, welche Wörter einer Spam-E-Mail hinzugefügt werden müssen, damit sie als kein Spam klassifiziert wird. Im selben Jahr stellten Nilesh Dalvi und Kollegen fest, dass lineare Klassifikatoren, die in Spam-Filtern verwendet werden, durch einfache Umgehungsangriffe besiegt werden konnten, bei denen Spammer gute Wörter in ihre E-Mails einfügten. Um 2007 fügten einige Spammer zufälliges Rauschen hinzu, um Wörter in Bild-Spam zu verschleiern und OCR-basierte Filter zu besiegen.
Im Jahr 2006 veröffentlichten Marco Barreno und andere "Can Machine Learning Be Secure?", das eine breite Taxonomie von Angriffen umriss. Noch bis 2013 hofften viele Forscher, dass nichtlineare Klassifikatoren wie Support Vector Machines und neuronale Netze robust gegenüber Gegnern sein könnten. Diese Hoffnung wurde zerstört, als Battista Biggio und andere 2012-2013 die ersten gradientenbasierten Angriffe auf solche Modelle demonstrierten. Im Jahr 2014 zeigten Christian Szegedy und Kollegen, dass tiefe neuronale Netze durch Gegner getäuscht werden konnten, indem sie gradientenbasierte Methoden verwendeten, um adversarial Perturbationen zu erzeugen. Diese Arbeit löste eine Welle von Forschung zu sowohl Angriffen als auch Verteidigungen aus.
Weitere Forschung zeigte, dass adversarial Angriffe in unkontrollierten Umgebungen schwerer zu erzeugen sind, da kleine Rotationen oder Änderungen der Beleuchtung den adversarial Effekt zerstören können. Forscher wie Nick Frosst von Google Brain stellten fest, dass es oft einfacher ist, ein Stoppschild physisch zu entfernen, als ein zuverlässiges adversarial Beispiel für ein selbstfahrendes Auto zu erstellen. Frosst argumentierte auch, dass die Gemeinschaft fälschlicherweise annimmt, dass Modelle, die auf einer Datenverteilung trainiert wurden, gut auf einer anderen funktionieren, und schlug neue Ansätze vor, die die menschliche Wahrnehmung nachahmen. Obwohl das Feld in der Wissenschaft verwurzelt bleibt, haben große Technologieunternehmen wie Google, Microsoft und IBM begonnen, Dokumentationen und Open-Source-Codebasen zu kuratieren, um die Robustheit von Modellen zu bewerten und Angriffsrisiken zu minimieren.
Angriffsarten
Adversariales maschinelles Lernen umfasst mehrere häufige Angriffskategorien. Umgehungsangriffe (Evasion Attacks) treten zur Testzeit auf, bei denen ein Angreifer eine Eingabe modifiziert, um falsch klassifiziert zu werden, wie das Hinzufügen von Rauschen zu einem Bild eines Stoppschilds, sodass es als Geschwindigkeitsbegrenzungsschild erkannt wird. Datenvergiftungsangriffe (Data Poisoning Attacks) treten während des Trainings auf, bei denen ein Angreifer bösartige Daten in den Trainingssatz injiziert, um das Verhalten des Modells zu korrumpieren. Byzantinische Angriffe zielen auf verteilte Trainingssysteme ab, bei denen kompromittierte Knoten falsche Updates senden. Modellextraktionsangriffe zielen darauf ab, die Funktionalität eines Modells zu stehlen, indem sie es abfragen und ein Ersatzmodell trainieren.
Im Kontext der Malware-Erkennung haben Forscher Methoden zur adversarialen Malware-Generierung vorgeschlagen, die automatisch Binärdateien erstellen, um lernbasierte Detektoren zu umgehen, während die bösartige Funktionalität erhalten bleibt. Optimierungsbasierte Angriffe wie GAMMA verwenden genetische Algorithmen, um harmlosen Inhalt, wie Padding oder neue PE-Abschnitte, in Windows-Ausführungsdateien zu injizieren. Dieser Ansatz formuliert Umgehung als ein eingeschränktes Optimierungsproblem, das den Missklassifikationserfolg mit der Payload-Größe abwägt, und zeigt Übertragbarkeit auf kommerzielle Antivirenprodukte. Ergänzende Arbeiten verwenden generative adversariale Netzwerke (GANs), um Merkmalsraum-Perturbationen zu lernen, die dazu führen, dass Malware als harmlos klassifiziert wird; Mal-LSGAN beispielsweise ersetzt den Standard-GAN-Verlust durch ein Least-Squares-Ziel, um die Trainingsstabilität zu verbessern und die True-Positive-Raten über mehrere Detektoren hinweg zu reduzieren.
Beispiele aus der Praxis
Adversarial Examples wurden in vielen Bereichen demonstriert. Forscher zeigten, dass das Ändern nur eines Pixels Deep-Learning-Algorithmen täuschen konnte. Andere druckten eine Schildkröte in 3D mit einer Textur, die entwickelt wurde, um Googles Objekterkennungs-KI dazu zu bringen, sie unabhängig vom Betrachtungswinkel als Gewehr zu klassifizieren, unter Verwendung nur kostengünstiger kommerziell erhältlicher 3D-Drucktechnologie. Ein maschinell verändertes Bild eines Hundes wurde gezeigt, das sowohl für Computer als auch für Menschen wie eine Katze aussah. Eine Studie aus dem Jahr 2019 berichtete, dass Menschen erraten können, wie Maschinen adversarial Bilder klassifizieren.
Im autonomen Fahren entdeckten Forscher Methoden, um das Erscheinungsbild eines Stoppschilds zu stören, sodass ein Fahrzeug es als Einfädelungs- oder Geschwindigkeitsbegrenzungsschild klassifizierte. McAfee griff Teslas früheres Mobileye-System an, indem es dazu gebracht wurde, 50 Meilen pro Stunde über dem Tempolimit zu fahren, indem ein zwei Zoll langer Streifen schwarzen Klebebands an einem Geschwindigkeitsbegrenzungsschild angebracht wurde. Adversarial Muster auf Brillen oder Kleidung, die entwickelt wurden, um Gesichtserkennungssysteme oder Kennzeichenleser zu täuschen, haben zu einer Nischenindustrie von Stealth-Straßenkleidung geführt.
Adversarial Audio-Eingaben können Befehle an intelligente Assistenten in harmlos erscheinendem Audio tarnen. In der biometrischen Erkennung können gefälschte Merkmale legitime Benutzer imitieren oder Vorlagen-Galerien kompromittieren. Neue Angriffe sind auch in Systemen zur Erkennung menschlicher Aktionen wirksam, die für Überwachung und autonome Fahrzeuge verwendet werden, bei denen Angreifer Rauschen in menschliche Merkmalsdarstellungen einführen, um die Systeme zu täuschen, oft ohne Zugriff auf das Erkennungssystem selbst zu benötigen.
Verteidigungsmaßnahmen und Minderungen
Verteidigungen gegen Adversarial Examples umfassen adversariales Training, bei dem Modelle auf adversarialen Beispielen trainiert werden, um die Robustheit zu verbessern; Eingabevorverarbeitung, wie Entrauschen oder Feature Squeezing; und Erkennungsmethoden, die verdächtige Eingaben kennzeichnen. Es existiert jedoch keine universelle Verteidigung, und Angreifer entwickeln kontinuierlich neue Techniken. Der Nightshade-Datenvergiftungsfilter, der 2023 von Forschern der University of Chicago veröffentlicht wurde, ermöglicht es visuellen Künstlern, die Datensätze von Text-zu-Bild-Modellen zu korrumpieren, die Daten ohne Zustimmung scrapen, was veranschaulicht, wie Vergiftung defensiv eingesetzt werden kann.