Datenvergiftung ist eine Klasse von Angriffen gegen maschinelles Lernen-Systeme, bei denen ein Angreifer absichtlich die Trainingsdaten manipuliert, die zum Aufbau eines Modells verwendet werden. Im Gegensatz zu Evasionsangriffen, die ein trainiertes Modell zur Inferenzzeit ausnutzen, finden Vergiftungsangriffe während der Lernphase statt und zielen darauf ab, die Gesamtleistung des Modells zu verschlechtern, spezifische Fehlklassifikationen einzuführen oder versteckte Hintertüren zu implantieren, die unter bestimmten Bedingungen aktiviert werden. Der Angriff ist besonders gefährlich in Anwendungen mit hohem Risiko, in denen Trainingsdaten von unzuverlässigen Mitwirkenden stammen oder ohne strenge Überprüfung aus öffentlichen Repositorien gesammelt werden.
Die grundlegende Annahme, die den meisten Algorithmen des maschinellen Lernens zugrunde liegt, ist, dass Trainings- und Testdaten aus derselben statistischen Verteilung stammen (unabhängig und identisch verteilt, oder IID). Datenvergiftung verletzt diese Annahme, indem sie absichtlich fabrizierte Stichproben einfügt, die die gelernte Entscheidungsgrenze verschieben. Diese adversariale Manipulation kann subtil sein und erfordert oft nur einen kleinen Anteil korrupter Beispiele, um das Ziel des Angreifers zu erreichen. Die Untersuchung solcher Angriffe und ihrer Abwehrmaßnahmen fällt in das breitere Feld des adversarialen maschinellen Lernens, das auch Evasionsangriffe, Byzantinische Angriffe und Modellextraktion umfasst.
Historische Entwicklung
Frühe Demonstrationen von Datenvergiftung entstanden im Kontext der Spam-Filterung. Auf der MIT Spam Conference im Januar 2004 zeigte John Graham-Cumming, dass ein maschinell lernender Spam-Filter verwendet werden konnte, um einen anderen zu besiegen, indem automatisch gelernt wurde, welche Wörter zu einer Spam-E-Mail hinzugefügt werden müssen, damit sie als kein Spam klassifiziert wird. Im selben Jahr stellten Nilesh Dalvi und Kollegen fest, dass lineare Klassifikatoren, die in Spam-Filtern verwendet werden, durch einfache Evasionsangriffe besiegt werden konnten, bei denen Spammer "gute Wörter" in ihre E-Mails einfügten. Um 2007 fügten einige Spammer zufälliges Rauschen hinzu, um Wörter in Bild-Spam zu verschleiern und optische Zeichenerkennung (OCR) basierte Filter zu besiegen.
Im Jahr 2006 veröffentlichten Marco Barreno und andere "Can Machine Learning Be Secure?", das eine breite Taxonomie von Angriffen auf Lernsysteme skizzierte. Noch bis 2013 hofften viele Forscher, dass nichtlineare Klassifikatoren wie Support-Vektor-Maschinen und neuronale Netze von Natur aus robust gegenüber Gegnern sein könnten. Diese Hoffnung wurde geschmälert, als Battista Biggio und andere zwischen 2012 und 2013 die ersten gradientenbasierten Angriffe auf solche Modelle demonstrierten. Ab 2014 zeigten Christian Szegedy und andere, dass tiefe neuronale Netze von Gegnern getäuscht werden konnten, die gradientenbasierte Methoden verwendeten, um adversariale Störungen zu erzeugen - ein Befund, der ein schnelles Wachstum des Feldes katalysierte.
Angriffsmechanismen und Varianten
Datenvergiftungsangriffe können je nach Zielen und Zugriff des Angreifers verschiedene Formen annehmen. Eine häufige Variante ist der Hintertür-Angriff, bei dem ein Angreifer Trainingsstichproben injiziert, die ein spezifisches Auslösemuster enthalten (wie einen kleinen Fleck oder eine bestimmte Pixelanordnung), die mit einer Zielklasse beschriftet sind. Nach dem Training verhält sich das Modell bei sauberen Eingaben normal, klassifiziert jedoch jede Eingabe, die den Auslöser enthält, falsch. Eine andere Variante ist Verfügbarkeitsvergiftung, die darauf abzielt, die Gesamtgenauigkeit des Modells bei legitimen Daten zu verschlechtern, oft durch Injizieren von Ausreißern oder falsch beschrifteten Beispielen, die den Lernalgorithmus verwirren.
Optimierungsbasierte Ansätze wurden entwickelt, um Vergiftungsstichproben zu erzeugen, die die Auswirkung auf das trainierte Modell maximieren. Zum Beispiel haben Forscher in der Malware-Erkennung Methoden für die adversariale Malware-Generierung vorgeschlagen, die automatisch Binärdateien erzeugen, um lernbasierte Detektoren zu umgehen, während die bösartige Funktionalität erhalten bleibt. Das GAMMA-Framework verwendet genetische Algorithmen, um harmlosen Inhalt wie Padding oder neue PE-Abschnitte in Windows-Ausführbare Dateien zu injizieren, wobei Evasion als ein eingeschränktes Optimierungsproblem formuliert wird, das den Fehlklassifikationserfolg mit der Größe der injizierten Nutzlast ausbalanciert. Ergänzende Arbeiten verwenden generative adversarial networks (GANs), um Merkmalsraum-Störungen zu lernen, die dazu führen, dass Malware als harmlos klassifiziert wird; Mal-LSGAN zum Beispiel ersetzt den Standard-GAN-Verlust durch ein Least-Squares-Ziel und modifizierte Aktivierungsfunktionen, um die Trainingsstabilität zu verbessern und adversariale Malware-Beispiele zu erzeugen, die die Richtig-Positiv-Raten über mehrere Detektoren hinweg erheblich reduzieren.
Im Bereich der Computer Vision haben Forscher gezeigt, dass das Ändern nur eines Pixels Deep-Learning-Algorithmen täuschen kann. Andere druckten eine Spielzeugschildkröte in 3-D mit einer Textur, die so konstruiert war, dass Googles Objekterkennungs-KI sie unabhängig vom Betrachtungswinkel als Gewehr klassifizierte. Die Erstellung der Schildkröte erforderte nur kostengünstige, kommerziell erhältliche 3-D-Drucktechnologie. Ein maschinell verändertes Bild eines Hundes wurde gezeigt, das sowohl für Computer als auch für Menschen wie eine Katze aussah, und eine Studie aus dem Jahr 2019 berichtete, dass Menschen erraten können, wie Maschinen adversariale Bilder klassifizieren.
Beispiele aus der Praxis
Datenvergiftung und verwandte adversariale Angriffe wurden in zahlreichen praktischen Umgebungen demonstriert. Bei der Spam-Filterung umfassen Angriffe die Verschleierung von Nachrichten durch Rechtschreibfehler bei "schlechten" Wörtern oder das Einfügen von "guten" Wörtern. In der Computersicherheit verschleiern Angreifer Malware-Code in Netzwerkpaketen oder ändern Netzwerkflussmerkmale, um Eindringungserkennungssysteme in die Irre zu führen. Bei der biometrischen Erkennung können gefälschte biometrische Merkmale ausgenutzt werden, um einen legitimen Benutzer zu impersonieren oder die Vorlagen-Galerien von Benutzern zu kompromittieren, die sich im Laufe der Zeit an aktualisierte Merkmale anpassen.
Ein bemerkenswertes Beispiel betraf McAfee, das Teslas ehemaliges Mobileye-System angriff und es dazu brachte, 50 Meilen pro Stunde über dem Tempolimit zu fahren, indem einfach ein zwei Zoll langer Streifen schwarzen Klebebands auf ein Tempolimit-Schild geklebt wurde. Forscher entdeckten auch Methoden, um das Erscheinungsbild eines Stoppschilds so zu stören, dass ein autonomes Fahrzeug es als Einfädelungs- oder Tempolimit-Schild klassifizierte. Adversariale Muster auf Brillen oder Kleidung, die entwickelt wurden, um Gesichtserkennungssysteme oder Kennzeichenleser zu täuschen, haben zu einer Nischenindustrie der "Stealth-Straßenkleidung" geführt.
Im Jahr 2023 veröffentlichten Forscher der Universität Chicago einen Datenvergiftungsfilter namens Nightshade, der für visuelle Künstler entwickelt wurde, um ihre Kunstwerke zu schützen und die Datensätze von Text-zu-Bild-Modellen zu korrumpieren, die normalerweise Daten ohne Zustimmung des Bildschöpfers aus dem Internet scrapen. Ein adversarieller Angriff auf ein neuronales Netz kann es einem Angreifer auch ermöglichen, Algorithmen in das Zielsystem zu injizieren. Forscher haben adversariale Audio-Eingaben erstellt, um Befehle an intelligente Assistenten in harmlos erscheinendem Audio zu verschleiern; eine parallele Literatur untersucht die menschliche Wahrnehmung solcher Reize.
Herausforderungen in realen Umgebungen
Weitere Arbeiten haben gezeigt, dass adversariale Angriffe in unkontrollierten Umgebungen schwerer zu erzeugen sind, da verschiedene Umgebungsbeschränkungen die Wirkung des Rauschens aufheben. Zum Beispiel kann jede kleine Drehung oder leichte Beleuchtung auf einem adversarialen Bild die Adversarialität zerstören. Forscher wie Nick Frosst von Google Brain weisen darauf hin, dass es viel einfacher ist, selbstfahrende Autos dazu zu bringen, Stoppschilder zu übersehen, indem man das Schild physisch entfernt, anstatt adversariale Beispiele zu erzeugen. Frosst glaubt auch, dass die Gemeinschaft des adversarialen maschinellen Lernens fälschlicherweise annimmt, dass Modelle, die auf einer bestimmten Datenverteilung trainiert wurden, auf einer völlig anderen Verteilung gut abschneiden. Er schlägt vor, dass ein neuer Ansatz für maschinelles Lernen erforscht werden sollte, und arbeitet derzeit an einem einzigartigen neuronalen Netz mit Eigenschaften, die der menschlichen Wahrnehmung ähnlicher sind als modernste Ansätze.
Aufkommende adversariale Angriffe sind auch in Systemen zur Erkennung menschlicher Aktionen hochwirksam, die häufig für reale Anwendungen wie Überwachung, autonome Fahrzeuge und In-Haus-Überwachung eingesetzt werden. Bei diesen Angriffen führen Angreifer Rauschen in die Darstellung menschlicher Merkmale ein, um die Erkennungssysteme zu täuschen. Diese Angriffe erfordern nicht unbedingt Zugriff auf die Erkennungssysteme selbst und können für menschliche Benutzer solcher Systeme unmerklich sein.
Abwehrmaßnahmen und Minderung
Abwehrmaßnahmen gegen Datenvergiftung fallen im Allgemeinen in mehrere Kategorien. Datenbereinigung umfasst das Filtern von Trainingsdaten, um anomale oder verdächtige Stichproben vor dem Training zu entfernen. Robuste Aggregationsmethoden wie getrimmte Mittelwerte oder medianbasierte Ansätze reduzieren den Einfluss von Ausreißer-Gradienten während des verteilten Trainings. Anomalieerkennungstechniken können Vergiftungsversuche identifizieren, indem sie die statistischen Eigenschaften eingehender Daten überwachen. Differentielle Privatsphäre bietet eine formale Garantie, dass der Einfluss einer einzelnen Trainingsstichprobe begrenzt ist, was die Auswirkung von Vergiftung einschränkt.
Im Kontext von Clustering-Algorithmen, die in Sicherheitsanwendungen verwendet werden, wie der Analyse von Malware und Computerviren zur Identifizierung von Malware-Familien und zur Erzeugung spezifischer Erkennungssignaturen, müssen Abwehrmaßnahmen die Möglichkeit berücksichtigen, dass Angreifer Stichproben injizieren, die den Clustering-Prozess in die Irre führen sollen. Während das adversariale maschinelle Lernen weiterhin stark in der Wissenschaft verwurzelt ist, haben große Technologieunternehmen wie Google, Microsoft und IBM begonnen, Dokumentationen und Open-Source-Codebasen zu kuratieren, um anderen zu ermöglichen, die Robustheit von Modellen des maschinellen Lernens konkret zu bewerten und das Risiko adversarialer Angriffe zu minimieren.
Breitere Implikationen
Die Untersuchung von Datenvergiftung hebt grundlegende Schwachstellen in der Pipeline des maschinellen Lernens hervor. Da Systeme der künstlichen Intelligenz zunehmend in kritischen Bereichen wie autonomes Fahren, Gesundheitswesen und Sicherheit eingesetzt werden, wird die Integrität der Trainingsdaten von größter Bedeutung. Der Aufstieg von generativer KI und großen Sprachmodellen, die oft auf massiven Datensätzen trainieren, die aus dem Internet gescrapt werden, erweitert die Angriffsfläche erheblich. Vergiftungsangriffe könnten auf die Präferenzen oder Sicherheitsausrichtungen dieser Modelle abzielen und möglicherweise dazu führen, dass sie schädliche oder verzerrte Ausgaben erzeugen.
Forscher untersuchen weiterhin sowohl Angriffs- als auch Abwehrmethoden, mit einem anhaltenden Wettrüsten zwischen Gegnern und Verteidigern. Das Feld stützt sich auf Erkenntnisse aus tiefem Lernen, Neuronalen-Netz-Theorie und Optimierung. Das Verständnis der Einschränkungen aktueller Modelle, insbesondere ihrer Empfindlichkeit gegenüber Verteilungsverschiebungen und adversarialen Störungen, ist wesentlich für den Aufbau robusterer und vertrauenswürdigerer KI-Systeme.
Zukünftige Richtungen
Zukünftige Forschung zur Datenvergiftung wird sich wahrscheinlich auf die Entwicklung beweisbarer Abwehrmaßnahmen, das Verständnis der theoretischen Grenzen der Vergiftungsresistenz und die Erstellung standardisierter Benchmarks zur Bewertung der Robustheit konzentrieren. Die Integration der Forschung zur menschlichen Wahrnehmung, wie von Frosst vorgeschlagen, könnte zu Architekturen führen, die von Natur aus resistenter gegen adversariale Manipulation sind. Darüber hinaus werden die ethischen Implikationen von Datenvergiftung als Form des Protests oder Schutzes, wie durch Werkzeuge wie Nightshade veranschaulicht, weiterhin debattiert, während sich Vorschriften zu Datenschutz und Einwilligung weiterentwickeln.