Los ejemplos adversariales son entradas para un modelo de aprendizaje automático que han sido diseñados intencionalmente para hacer que el modelo cometa un error. Estas entradas se crean típicamente aplicando perturbaciones pequeñas, a menudo imperceptibles, a datos legítimos, como añadir ruido a una imagen o alterar unas pocas palabras en un texto. La existencia de ejemplos adversariales pone de manifiesto una vulnerabilidad importante en muchos sistemas de Machine learning, que a menudo asumen que los datos de entrenamiento y los de prueba provienen de la misma distribución estadística. Sin embargo, en la práctica, los usuarios o atacantes pueden proporcionar datos fabricados que violan esta suposición, lo que conduce a predicciones incorrectas en aplicaciones de alto riesgo como la seguridad, la conducción autónoma y el reconocimiento biométrico.
El estudio de estos ataques y las defensas contra ellos se enmarca en el campo del aprendizaje automático adversarial. Este campo examina cómo se puede engañar a los modelos y cómo hacerlos más robustos. Los ejemplos adversariales se distinguen de otros tipos de fallos del modelo porque están deliberadamente optimizados para explotar debilidades específicas en la frontera de decisión del modelo, en lugar de surgir de ruido aleatorio o de una mala generalización.
Historia
El concepto de ejemplos adversariales surgió de los primeros trabajos sobre filtrado de spam. En la Conferencia de Spam del MIT de enero de 2004, John Graham-Cumming demostró que se podía utilizar un filtro de spam basado en aprendizaje automático para derrotar a otro filtro similar, aprendiendo automáticamente qué palabras añadir a un correo spam para que se clasificara como no spam. Ese mismo año, Nilesh Dalvi y sus colegas señalaron que los clasificadores lineales utilizados en los filtros de spam podían ser derrotados mediante ataques de evasión simples, en los que los spammers insertaban palabras inocuas en sus correos. Alrededor de 2007, algunos spammers añadieron ruido aleatorio para ofuscar palabras dentro del spam con imágenes y así derrotar a los filtros basados en OCR.
En 2006, Marco Barreno y otros publicaron "Can Machine Learning Be Secure?", en el que esbozaban una taxonomía amplia de ataques. Hasta 2013, muchos investigadores esperaban que los clasificadores no lineales, como las máquinas de vectores de soporte y las redes neuronales, pudieran ser robustos frente a los adversarios. Esta esperanza se desvaneció cuando Battista Biggio y otros demostraron los primeros ataques basados en gradientes contra estos modelos en 2012-2013. En 2014, Christian Szegedy y sus colegas mostraron que las redes neuronales profundas podían ser engañadas por adversarios, utilizando métodos basados en gradientes para crear perturbaciones adversariales. Este trabajo provocó un aumento en la investigación tanto de ataques como de defensas.
Investigaciones posteriores revelaron que los ataques adversariales son más difíciles de producir en entornos no controlados, ya que pequeñas rotaciones o cambios en la iluminación pueden destruir el efecto adversarial. Investigadores como Nick Frosst, de Google Brain, señalaron que a menudo es más fácil eliminar físicamente una señal de stop que crear un ejemplo adversarial fiable para un coche autónomo. Frosst también argumentó que la comunidad asume incorrectamente que los modelos entrenados con una distribución de datos funcionarán bien con una distribución diferente, lo que sugiere la necesidad de nuevos enfoques que imiten la percepción humana. Aunque el campo sigue teniendo sus raíces en el ámbito académico, grandes empresas tecnológicas como Google, Microsoft e IBM han comenzado a recopilar documentación y bases de código de código abierto para evaluar la robustez de los modelos y minimizar los riesgos de los ataques.
Tipos de ataques
El aprendizaje automático adversarial abarca varias categorías comunes de ataques. Los ataques de evasión ocurren en el momento de la inferencia, cuando un atacante modifica una entrada para que sea clasificada erróneamente, como añadir ruido a una imagen de una señal de stop para que sea reconocida como una señal de límite de velocidad. Los ataques de envenenamiento de datos ocurren durante el entrenamiento, cuando un atacante inyecta datos maliciosos en el conjunto de entrenamiento para corromper el comportamiento del modelo. Los ataques bizantinos se dirigen a sistemas de entrenamiento distribuido, donde nodos comprometidos envían actualizaciones incorrectas. Los ataques de extracción de modelos pretenden robar la funcionalidad de un modelo consultándolo y entrenando un modelo sustituto.
En el contexto de la detección de malware, los investigadores han propuesto métodos para la generación adversarial de malware que crean automáticamente binarios para evadir los detectores basados en aprendizaje automático, preservando al mismo tiempo la funcionalidad maliciosa. Los ataques basados en optimización, como GAMMA, utilizan algoritmos genéticos para inyectar contenido benigno, como relleno o nuevas secciones PE, en ejecutables de Windows. Este enfoque plantea la evasión como un problema de optimización restringida que equilibra el éxito de la clasificación errónea con el tamaño de la carga útil y muestra transferibilidad a los productos antivirus comerciales. Un trabajo complementario utiliza redes generativas adversariales (GAN) para aprender perturbaciones en el espacio de características que hacen que el malware sea clasificado como benigno; Mal-LSGAN, por ejemplo, sustituye la pérdida estándar de las GAN por un objetivo de mínimos cuadrados para mejorar la estabilidad del entrenamiento y reducir las tasas de verdaderos positivos en múltiples detectores.
Ejemplos en el mundo real
Se han demostrado ejemplos adversariales en muchos dominios. Los investigadores demostraron que cambiar un solo píxel podía engañar a los algoritmos de aprendizaje profundo. Otros crearon una tortuga de juguete impresa en 3D con una textura diseñada para que el sistema de detección de objetos de Google la clasificara como un rifle, independientemente del ángulo de visión, utilizando tecnología de impresión 3D de bajo costo disponible comercialmente. También se demostró que una imagen de un perro, modificada mediante técnicas automáticas, podía ser percibida como un gato tanto por ordenadores como por humanos. Un estudio de 2019 informó de que los humanos podían adivinar cómo clasificarían las máquinas las imágenes adversariales.
En la conducción autónoma, los investigadores descubrieron métodos para alterar la apariencia de una señal de stop de modo que un vehículo la clasificara como una señal de fusión o de límite de velocidad. Se atacó el sistema Mobileye de Tesla, logrando que el vehículo aumentara la velocidad en 50 mph más allá del límite permitido al añadir una tira de cinta negra de dos pulgadas a una señal de límite de velocidad. También se han diseñado patrones adversariales en gafas o prendas de vestir para engañar a los sistemas de reconocimiento facial o a los lectores de matrículas, lo que ha dado lugar a un nicho de industria de prendas de vestir sigilosas.
Los inputs adversariales de audio pueden disfrazar comandos para asistentes inteligentes en audio que parece benigno. En el reconocimiento biométrico, las características falsas pueden suplantar a usuarios legítimos o comprometer las plantillas de los usuarios. También están surgiendo ataques en los sistemas de reconocimiento de acciones humanas utilizados para la vigilancia y la conducción autónoma, donde los atacantes introducen ruido en las representaciones de las características humanas para engañar a los sistemas, a menudo sin necesidad de acceder al propio sistema de reconocimiento.
Defensas y mitigaciones
Las defensas contra los ejemplos adversariales incluyen el entrenamiento adversarial, en el que los modelos se entrenan con ejemplos adversariales para mejorar su robustez; el preprocesamiento de entradas, como la reducción de ruido o la compresión de características; y los métodos de detección que señalan entradas sospechosas. Sin embargo, no existe una defensa universal, y los atacantes desarrollan continuamente nuevas técnicas. El filtro de envenenamiento de datos Nightshade, lanzado en 2023 por investigadores de la Universidad de Chicago, permite a los artistas visuales corromper los conjuntos de datos de los modelos de texto a imagen que extraen datos sin consentimiento, lo que ilustra cómo el envenenamiento puede utilizarse también con fines defensivos.