El envenenamiento de datos es una clase de ataque adversarial contra sistemas de aprendizaje automático en el que un atacante manipula deliberadamente los datos de entrenamiento utilizados para construir un modelo. A diferencia de los ataques de evasión, que explotan un modelo ya entrenado en el momento de la inferencia, los ataques de envenenamiento ocurren durante la fase de aprendizaje, con el objetivo de degradar el rendimiento general del modelo, introducir clasificaciones erróneas específicas o implantar puertas traseras ocultas que se activan bajo condiciones particulares. El ataque es especialmente peligroso en aplicaciones de alto riesgo donde los datos de entrenamiento pueden provenir de contribuyentes no confiables o ser extraídos de repositorios públicos sin una verificación rigurosa.
El supuesto fundamental que subyace a la mayoría de los algoritmos de aprendizaje automático es que los datos de entrenamiento y los datos de prueba se extraen de la misma distribución estadística (independientes e idénticamente distribuidos, o IID). El envenenamiento de datos viola este supuesto al inyectar intencionalmente muestras fabricadas que desplazan el límite de decisión aprendido. Esta manipulación adversarial puede ser sutil, requiriendo a menudo solo una pequeña fracción de ejemplos corruptos para lograr el objetivo del atacante. El estudio de tales ataques y sus defensas se enmarca en el campo más amplio del aprendizaje automático adversarial, que también abarca los ataques de evasión, los ataques bizantinos y la extracción de modelos.
Desarrollo histórico
Las primeras demostraciones de envenenamiento de datos surgieron en el contexto del filtrado de spam. En la Conferencia de Spam del MIT de enero de 2004, John Graham-Cumming mostró que un filtro de spam basado en aprendizaje automático podía ser derrotado por otro al aprender automáticamente qué palabras añadir a un correo no deseado para que fuera clasificado como legítimo. Ese mismo año, Nilesh Dalvi y sus colegas señalaron que los clasificadores lineales utilizados en los filtros de spam podían ser derrotados mediante ataques de evasión simples, en los que los spammers insertaban "palabras buenas" en sus correos. Alrededor de 2007, algunos spammers añadieron ruido aleatorio para ofuscar palabras dentro del spam con imágenes, con el fin de eludir los filtros basados en reconocimiento óptico de caracteres (OCR).
En 2006, Marco Barreno y otros publicaron "Can Machine Learning Be Secure?", un artículo que esbozaba una taxonomía amplia de ataques contra sistemas de aprendizaje. Hasta 2013, muchos investigadores esperaban que los clasificadores no lineales, como las máquinas de vectores de soporte y las redes neuronales, pudieran ser inherentemente robustos frente a los adversarios. Esa esperanza se desvaneció cuando Battista Biggio y otros demostraron los primeros ataques basados en gradientes contra tales modelos entre 2012 y 2013. A partir de 2014, Christian Szegedy y otros mostraron que las redes neuronales profundas podían ser engañadas por adversarios utilizando métodos basados en gradientes para crear perturbaciones adversariales, un hallazgo que impulsó un rápido crecimiento del campo.
Mecanismos de ataque y variantes
Los ataques de envenenamiento de datos pueden adoptar varias formas dependiendo de los objetivos y el nivel de acceso del atacante. Una variante común es el ataque de puerta trasera, en el que un atacante inyecta muestras de entrenamiento que contienen un patrón desencadenante específico (como un pequeño parche o una disposición particular de píxeles) etiquetadas con una clase objetivo. Tras el entrenamiento, el modelo se comporta con normalidad ante entradas limpias, pero clasifica erróneamente cualquier entrada que contenga el desencadenante. Otra variante es el envenenamiento de disponibilidad, que busca degradar la precisión general del modelo sobre datos legítimos, a menudo inyectando valores atípicos o ejemplos mal etiquetados que confunden al algoritmo de aprendizaje.
Se han desarrollado enfoques basados en optimización para crear muestras de envenenamiento que maximicen el impacto sobre el modelo entrenado. Por ejemplo, en la detección de malware, los investigadores han propuesto métodos para la generación adversarial de malware que crean automáticamente binarios capaces de evadir los detectores basados en aprendizaje, preservando al mismo tiempo su funcionalidad maliciosa. El marco GAMMA utiliza algoritmos genéticos para inyectar contenido benigno, como relleno o nuevas secciones PE, en ejecutables de Windows, planteando la evasión como un problema de optimización con restricciones que equilibra el éxito de la clasificación errónea con el tamaño de la carga útil inyectada. Un trabajo complementario utiliza redes generativas adversariales (GAN) para aprender perturbaciones en el espacio de características que hacen que el malware sea clasificado como benigno; Mal-LSGAN, por ejemplo, reemplaza la función de pérdida estándar de las GAN por un objetivo de mínimos cuadrados y modificaciones en las funciones de activación para mejorar la estabilidad del entrenamiento y producir ejemplos de malware adversarial que reducen sustancialmente las tasas de verdaderos positivos en múltiples detectores.
En el ámbito de la visión por computador, los investigadores han demostrado que cambiar un solo píxel puede engañar a los algoritmos de aprendizaje profundo. Otros imprimieron en 3D una tortuga de juguete con una textura diseñada para que el sistema de detección de objetos de Google la clasificara como un rifle, independientemente del ángulo de visión. La creación de la tortuga solo requirió tecnología de impresión 3D de bajo costo disponible comercialmente. También se mostró que una imagen de un perro, modificada por una máquina, podía parecer un gato tanto para los ordenadores como para los humanos, y un estudio de 2019 informó de que los humanos pueden adivinar cómo clasificarán las máquinas las imágenes adversariales.
Ejemplos del mundo real
El envenenamiento de datos y los ataques adversariales relacionados se han demostrado en numerosos entornos prácticos. En el filtrado de spam, los ataques implican ofuscar mensajes mediante el error ortográfico de "palabras malas" o la inserción de "palabras buenas". En seguridad informática, los atacantes ofuscan el código de malware dentro de paquetes de red o modifican las características del flujo de red para engañar a los sistemas de detección de intrusiones. En la biometría, se pueden explotar rasgos biométricos falsos para suplantar a un usuario legítimo o comprometer las galerías de plantillas que se adaptan a rasgos actualizados con el tiempo.
Un caso notable involucró a McAfee atacando el sistema Mobileye de Tesla, logrando que el vehículo aumentara su velocidad hasta 50 mph por encima del límite simplemente añadiendo una tira de cinta adhesiva negra de dos pulgadas sobre una señal de límite de velocidad. Los investigadores también descubrieron métodos para alterar la apariencia de una señal de stop de modo que un vehículo autónomo la clasificara como una señal de fusión o de límite de velocidad. Los patrones adversariales en gafas o prendas de vestir, diseñados para engañar a los sistemas de reconocimiento facial o de lectura de matrículas, han dado lugar a un nicho de industria conocido como "ropa sigilosa".
En 2023, investigadores de la Universidad de Chicago lanzaron un filtro de envenenamiento de datos llamado Nightshade, creado para que los artistas visuales lo aplicaran a sus obras y corrompieran los conjuntos de datos de los modelos de texto a imagen, que suelen extraer datos de internet sin el consentimiento del creador de la imagen. Un ataque adversarial contra una red neuronal también puede permitir a un atacante inyectar algoritmos en el sistema objetivo. Los investigadores han creado entradas de audio adversariales para disfrazar comandos dirigidos a asistentes inteligentes dentro de audio que parece benigno; una literatura paralela explora la percepción humana de tales estímulos.
Desafíos en entornos del mundo real
Trabajos posteriores han demostrado que los ataques adversariales son más difíciles de producir en entornos no controlados debido a las distintas restricciones ambientales que pueden anular el efecto del ruido. Por ejemplo, cualquier pequeña rotación o cambio de iluminación en una imagen adversarial puede destruir su capacidad de engaño. Investigadores como Nick Frosst, de Google Brain, señalan que es mucho más fácil hacer que un coche autónomo no detecte una señal de stop eliminando físicamente la señal que creando ejemplos adversariales. Frosst también opina que la comunidad de aprendizaje automático adversarial asume incorrectamente que los modelos entrenados con una determinada distribución de datos funcionarán bien con una distribución completamente diferente. Sugiere que se debería explorar un nuevo enfoque para el aprendizaje automático y trabaja actualmente en una red neuronal única con características más similares a la percepción humana que los modelos de última generación.
Los ataques adversariales emergentes también son muy eficaces en los sistemas de reconocimiento de acciones humanas, que se emplean ampliamente en aplicaciones del mundo real como la vigilancia, los vehículos autónomos y la monitorización doméstica. En estos ataques, los atacantes introducen ruido en la representación de las características humanas para engañar a los sistemas de reconocimiento. Estos ataques no requieren necesariamente acceso a los propios sistemas de reconocimiento y pueden ser imperceptibles para los usuarios humanos de dichos sistemas.
Defensas y mitigación
Las defensas contra el envenenamiento de datos se dividen generalmente en varias categorías. La sanitización de datos consiste en filtrar los datos de entrenamiento para eliminar muestras anómalas o sospechosas antes del entrenamiento. Los métodos de agregación robusta, como la media podada o los enfoques basados en la mediana, reducen la influencia de gradientes atípicos durante el entrenamiento distribuido. Las técnicas de detección de anomalías pueden identificar intentos de envenenamiento monitorizando las propiedades estadísticas de los datos entrantes. La privacidad diferencial proporciona una garantía formal de que la influencia de cualquier ejemplo de entrenamiento individual está acotada, limitando así el impacto del envenenamiento.
En el contexto de los algoritmos de agrupamiento utilizados en aplicaciones de seguridad, como el análisis de malware y virus informáticos para identificar familias de malware y generar firmas de detección específicas, las defensas deben tener en cuenta la posibilidad de que los atacantes inyecten muestras diseñadas para desviar el proceso de agrupamiento. Aunque el aprendizaje automático adversarial sigue estando muy arraigado en el ámbito académico, grandes empresas tecnológicas como Google, Microsoft e IBM han comenzado a seleccionar documentación y bases de código de código abierto para permitir que otros evalúen de forma concreta la robustez de los modelos de aprendizaje automático y minimicen el riesgo de ataques adversariales.
Implicaciones más amplias
El estudio del envenenamiento de datos pone de relieve vulnerabilidades fundamentales en el proceso de aprendizaje automático. A medida que los sistemas de inteligencia artificial se despliegan cada vez más en ámbitos críticos como la conducción autónoma, la atención sanitaria y la seguridad, la integridad de los datos de entrenamiento se vuelve primordial. El auge de la IA generativa y de los modelos de lenguaje de gran tamaño, que a menudo se entrenan con conjuntos de datos masivos extraídos de internet, amplía considerablemente la superficie de ataque. Los ataques de envenenamiento podrían dirigirse a las preferencias o a los alineamientos de seguridad de estos modelos, lo que podría hacer que generaran resultados dañinos o sesgados.
Los investigadores continúan explorando tanto metodologías de ataque como de defensa, en una carrera de armas constante entre atacantes y defensores. El campo se nutre de conocimientos del aprendizaje profundo, la teoría de redes neuronales y la optimización. Comprender las limitaciones de los modelos actuales, en particular su sensibilidad a los cambios de distribución y a las perturbaciones adversariales, es esencial para construir sistemas de IA más robustos y fiables.
Direcciones futuras
Es probable que la investigación futura sobre el envenenamiento de datos se centre en el desarrollo de defensas demostrables, la comprensión de los límites teóricos de la resistencia al envenenamiento y la creación de puntos de referencia estandarizados para evaluar la robustez. La integración de la investigación sobre percepción humana, como sugiere Frosst, podría conducir a arquitecturas inherentemente más resistentes a la manipulación adversarial. Además, a medida que evolucionen las regulaciones sobre privacidad de datos y consentimiento, se seguirá debatiendo las implicaciones éticas del envenenamiento de datos como forma de protesta o protección, ejemplificada por herramientas como Nightshade.