Los ejemplos adversariales son entradas diseñadas para engañar a los modelos de IA, típicamente mediante la introducción de pequeñas perturbaciones, a menudo imperceptibles, a datos legítimos que causan que un modelo de aprendizaje automático clasifique incorrectamente o se comporte de manera errónea. Estas entradas explotan los supuestos estadísticos subyacentes a la mayoría de los algoritmos de aprendizaje, que generalmente esperan que los datos de entrenamiento y prueba provengan de la misma distribución. En la práctica, los adversarios pueden suministrar intencionalmente datos fabricados que violan este supuesto, lo que lleva a fallos en aplicaciones de alto riesgo como el filtrado de spam, la seguridad informática, el reconocimiento biométrico y la conducción autónoma.
El estudio de los ejemplos adversariales se enmarca en el campo más amplio del aprendizaje automático adversarial, que examina tanto los ataques a los algoritmos de aprendizaje automático como las defensas contra dichos ataques. Las categorías comunes de ataque incluyen ataques de evasión, donde las entradas se modifican en el momento de la inferencia para evitar la detección; ataques de envenenamiento de datos, donde se corrompen los datos de entrenamiento; ataques bizantinos, que se dirigen a sistemas de aprendizaje distribuido; y extracción de modelos, donde un atacante intenta robar o replicar la funcionalidad de un modelo.
Desarrollo Histórico
El interés en los ejemplos adversariales surgió de los primeros trabajos sobre filtrado de spam. En la Conferencia de Spam del MIT en enero de 2004, John Graham-Cumming demostró que un filtro de spam basado en aprendizaje automático podía usarse para derrotar a otro filtro similar aprendiendo automáticamente qué palabras añadir a un correo de spam para que se clasificara como no spam. Más tarde ese año, Nilesh Dalvi y sus colegas señalaron que los clasificadores lineales utilizados en los filtros de spam podían ser derrotados por simples ataques de evasión, ya que los spammers insertaban "palabras buenas" en sus correos. Alrededor de 2007, algunos spammers añadían ruido aleatorio para ofuscar palabras dentro de spam de imágenes con el fin de derrotar los filtros basados en OCR.
En 2006, Marco Barreno y otros publicaron "Can Machine Learning Be Secure?", esbozando una taxonomía amplia de ataques. Hasta 2013, muchos investigadores esperaban que clasificadores no lineales como las máquinas de vectores de soporte y las redes neuronales pudieran ser robustos frente a adversarios. Esa esperanza se desvaneció cuando Battista Biggio y otros demostraron los primeros ataques basados en gradientes contra tales modelos en 2012 y 2013. A partir de 2014, Christian Szegedy y otros mostraron que las redes neuronales profundas podían ser engañadas por adversarios, nuevamente utilizando métodos basados en gradientes para crear perturbaciones adversariales.
Mecanismos y Propiedades
Los ejemplos adversariales se generan típicamente añadiendo una pequeña perturbación, cuidadosamente calculada, a una entrada. Para clasificadores de imágenes, esto a menudo implica modificar valores de píxeles de maneras que son imperceptibles para los humanos pero que hacen que el modelo produzca una clase diferente con alta confianza. Los métodos basados en gradientes, como el método de signo de gradiente rápido, utilizan la función de pérdida del modelo para determinar la dirección de la perturbación que maximiza el error de clasificación.
Investigaciones posteriores revelaron que los ejemplos adversariales son más difíciles de producir en entornos no controlados, porque las restricciones ambientales, como pequeñas rotaciones o ligeros cambios de iluminación, pueden cancelar el efecto del ruido. Por ejemplo, una imagen adversarial que engaña a un modelo en condiciones de laboratorio puede perder su adversarialidad cuando se ve desde un ángulo diferente o bajo una iluminación distinta. Esta observación tiene implicaciones para ataques en el mundo real, donde las condiciones físicas introducen variabilidad.
Investigadores de Google Brain, incluido Nick Frosst, han señalado que a menudo es más fácil hacer que los coches autónomos no detecten señales de stop eliminando físicamente la señal misma en lugar de crear ejemplos adversariales. Frosst también argumentó que la comunidad de aprendizaje automático adversarial asume incorrectamente que los modelos entrenados en una cierta distribución de datos funcionarán bien en una distribución completamente diferente. Sugirió explorar nuevos enfoques para el aprendizaje automático que incorporen características más similares a la percepción humana.
Demostraciones Notables
Varias demostraciones de alto perfil han ilustrado el poder de los ejemplos adversariales. Los investigadores mostraron que cambiar solo un píxel en una imagen podía engañar a los algoritmos de aprendizaje profundo. En otro caso, una tortuga de juguete impresa en 3D con una textura diseñada para hacer que el sistema de detección de objetos de Google la clasificara como un rifle, independientemente del ángulo desde el que se viera la tortuga. Crear la tortuga solo requirió tecnología de impresión 3D de bajo costo disponible comercialmente.
Una imagen de un perro modificada por una máquina se mostró como un gato tanto para computadoras como para humanos, y un estudio de 2019 informó que los humanos pueden adivinar cómo las máquinas clasificarán imágenes adversariales. Los investigadores también descubrieron métodos para perturbar la apariencia de una señal de stop de modo que un vehículo autónomo la clasificara como una señal de fusión o de límite de velocidad. En un incidente separado, McAfee atacó el antiguo sistema Mobileye de Tesla, engañándolo para que condujera a 50 mph por encima del límite de velocidad añadiendo una tira de cinta negra de dos pulgadas a una señal de límite de velocidad.
Los patrones adversariales en gafas o ropa diseñados para engañar a los sistemas de reconocimiento facial o a los lectores de matrículas han llevado a una industria de nicho de "ropa urbana sigilosa". Estos ejemplos adversariales físicos demuestran que el fenómeno se extiende más allá de las entradas digitales.
Aplicaciones en Seguridad y Malware
Los ejemplos adversariales tienen implicaciones significativas para la seguridad informática. En la detección de malware, los investigadores han propuesto métodos para la generación adversarial de malware que automáticamente crean binarios para evadir detectores basados en aprendizaje, preservando al mismo tiempo la funcionalidad maliciosa. Los ataques basados en optimización, como GAMMA, utilizan algoritmos genéticos para inyectar contenido benigno, como relleno o nuevas secciones PE, en ejecutables de Windows. Este enfoque enmarca la evasión como un problema de optimización restringida que equilibra el éxito de la clasificación errónea con el tamaño de la carga útil inyectada, y ha mostrado transferibilidad a productos antivirus comerciales.
El trabajo complementario utiliza redes generativas adversariales (GAN) para aprender perturbaciones en el espacio de características que hacen que el malware se clasifique como benigno. Mal-LSGAN, por ejemplo, reemplaza la pérdida estándar de GAN con un objetivo de mínimos cuadrados y funciones de activación modificadas para mejorar la estabilidad del entrenamiento. Este método produce ejemplos de malware adversarial que reducen sustancialmente las tasas de verdaderos positivos en múltiples detectores.
Los algoritmos de agrupamiento, que se utilizan en aplicaciones de seguridad para el análisis de malware y virus informáticos, también son vulnerables. Estos algoritmos tienen como objetivo identificar familias de malware y generar firmas de detección específicas, pero los adversarios pueden manipular las entradas para evadir el agrupamiento o engañar a las firmas resultantes.
Ataques de Audio y Físicos
Los ataques adversariales no se limitan a imágenes. Los investigadores han creado entradas de audio adversariales que disfrazan comandos para asistentes inteligentes en audio de apariencia benigna. Estos ataques pueden usarse para inyectar algoritmos en un sistema objetivo o desencadenar acciones no deseadas. Una literatura paralela explora la percepción humana de tales estímulos, examinando si las personas pueden detectar o entender los comandos ocultos.
En el dominio del reconocimiento de acciones humanas, los ataques adversariales emergentes son altamente efectivos. Estos sistemas se emplean para vigilancia, vehículos autónomos y monitoreo en interiores. Los atacantes introducen ruido en la representación de las características humanas para engañar a los sistemas de reconocimiento. Notablemente, estos ataques no necesariamente requieren acceso a los propios sistemas de reconocimiento, y pueden ser imperceptibles para los usuarios humanos.
Defensas y Mitigaciones
Defenderse contra ejemplos adversariales sigue siendo un desafío abierto. Técnicas como el entrenamiento adversarial, donde los modelos se entrenan con ejemplos adversariales para mejorar la robustez, han mostrado cierto prometedor, pero a menudo reducen la precisión en entradas limpias. Otros enfoques incluyen el preprocesamiento de entradas, la detección de entradas adversariales y defensas certificadas que proporcionan garantías formales.
Mientras que el aprendizaje automático adversarial continúa estando fuertemente arraigado en el ámbito académico, grandes empresas tecnológicas como Google, Microsoft e IBM han comenzado a curar documentación y bases de código de código abierto para permitir que otros evalúen concretamente la robustez de los modelos de aprendizaje automático y minimicen el riesgo de ataques adversariales. Estos recursos tienen como objetivo estandarizar los métodos de evaluación y fomentar el desarrollo de sistemas más resilientes.
Envenenamiento de Datos y Protecciones Creativas
Una amenaza relacionada es el envenenamiento de datos, donde los atacantes corrompen los datos de entrenamiento para influir en el comportamiento del modelo. En 2023, investigadores de la Universidad de Chicago lanzaron un filtro de envenenamiento de datos llamado Nightshade. Fue creado para que los artistas visuales lo usaran en sus obras para corromper el conjunto de datos de los modelos de texto a imagen, que generalmente extraen sus datos de internet sin el consentimiento del creador de la imagen. Esta herramienta representa un uso defensivo de las técnicas adversariales, permitiendo a los individuos proteger su propiedad intelectual del uso no autorizado en el entrenamiento de modelos de IA generativa.
Investigación en Curso y Direcciones Futuras
El campo de los ejemplos adversariales continúa evolucionando, con investigadores explorando tanto nuevos vectores de ataque como mecanismos de defensa más robustos. El supuesto de que los modelos entrenados en una cierta distribución de datos funcionarán bien en una distribución completamente diferente se cuestiona cada vez más. Algunos investigadores abogan por un nuevo enfoque del aprendizaje automático que imite mejor la percepción humana, que generalmente es más robusta a pequeñas perturbaciones.
A medida que los modelos de aprendizaje profundo se despliegan en aplicaciones más críticas, comprender y mitigar los ejemplos adversariales se vuelve cada vez más importante. La interacción entre ataque y defensa impulsa la investigación en curso, con cada nueva defensa a menudo inspirando ataques más sofisticados. El objetivo final es crear sistemas de aprendizaje automático que no solo sean precisos en datos limpios, sino también confiables en presencia de adversarios.