Exemplos adversários são entradas projetadas para enganar modelos de IA, tipicamente introduciendo pequenas perturbações, muitas vezes imperceptibles, em dados legítimos que fazem com que um modelo de aprendizado automático classifique incorretamente ou se comporte de forma inadequada. Estas entradas exploran os supuestos estatísticos subjacentes à maioria dos algoritmos de aprendizado, que geralmente esperam que os dados de treinamento e teste provengan da mesma distribuição. Na prática, adversários podem fornecer intencionalmente dados fabricados que violan esta suposição, levando a falhas em aplicações de alto risco como filtragem de spam, segurança informática, reconhecimento biométrico e condução autónoma.
O estudo de exemplos adversários se enquadra no campo mais amplo do aprendizado automático adversário, que examina tanto ataques a algoritmos de aprendizado automático como defesas contra tais ataques. Categorías comuns de ataques incluyen ataques de evasión, onde entradas são modificadas no momento da inferência para evitar detección; ataques de envenenamento de dados, onde dados de treinamento são corrompidos; ataques bizantinos, que visam sistemas de aprendizado distribuido; e extração de modelos, onde um atacante tenta roubar ou replicar a funcionalidade de um modelo.
Desenvolvimento Histórico
O interesse em exemplos adversários surgiu de trabalhos iniciais sobre filtragem de spam. Na Conferência de Spam do MIT em janeiro de 2004, John Graham-Cumming demonstrou que um filtro de spam baseado em aprendizado automático podía ser usado para derrotar outro filtro similar, aprendendo automaticamente quais palavras adicionar a um e-mail de spam para que fosse classificado como não spam. Mais tarde nesse ano, Nilesh Dalvi e colegas notaram que classificadores lineares usados em filtros de spam podían ser derrotados por ataques simples de evasión, já que spammers inserían "palabras buenas" em seus e-mails. Por volta de 2007, alguns spammers adicionavam ruido aleatório para ofuscar palavras em spam de imagem, a fim de derrotar filtros baseados em OCR.
Em 2006, Marco Barreno e outros publicaram "Can Machine Learning Be Secure?", esbozando uma taxonomía ampla de ataques. Ainda em 2013, muitos pesquisadores esperavam que classificadores não lineares, como máquinas de vectores de suporte e redes neurais, pudessem ser robustos a adversários. Essa esperanza diminuiu quando Battista Biggio e outros demonstraram os primeiros ataques baseados em gradientes em tais modelos em 2012 e 2013. A partir de 2014, Christian Szegedy e outros mostraram que redes neurais profundas podían ser enganadas por adversários, novamente usando métodos baseados em gradientes para criar perturbações adversárias.
Mecanismos e Propiedades
Exemplos adversários são tipicamente gerados adicionando uma pequena perturbação, cuidadosamente calculada, a uma entrada. Para classificadores de imagens, isso muitas vezes envolve modificar valores de píxeles de maneiras imperceptibles para humanos, mas que fazem o modelo produzir uma classe diferente com alta confianza. Métodos baseados em gradientes, como o método do signo do gradiente rápido, usam a função de perda do modelo para determinar a direção da perturbação que maximiza o erro de classificação.
Pesquisas posteriores revelaram que exemplos adversários são mais difíceis de produzir em ambientes não controlados, porque restricciones ambientales, como pequenas rotações ou ligeras variaciones de iluminación, podem cancelar o efeito do ruido. Por exemplo, uma imagem adversária que engana um modelo em condições de laboratório pode perder sua adversarialidad quando vista desde um ângulo diferente ou sob iluminación diferente. Esta observación tem implicações para ataques no mundo real, onde condições físicas introducen variabilidade.
Pesquisadores do Google Brain, incluindo Nick Frosst, apuntaron que muitas vezes é mais fácil fazer que carros autónomos não vejam señales de stop removendo fisicamente a própria señal, em vez de criar exemplos adversários. Frosst também argumentou que a comunidade de aprendizado automático adversário assume incorretamente que modelos treinados em uma certa distribuição de dados terão buen desempeño em uma distribuição completamente diferente. Ele sugeriu explorar novas abordagens para o aprendizado automático que incorporen características más similares à percepción humana.
Demonstrações Notables
Várias demonstrações de alto perfil ilustraron o poder dos exemplos adversários. Pesquisadores mostraram que cambiar apenas um píxel em uma imagem podía enganar algoritmos de aprendizado profundo. Em outro caso, uma tartaruga de brinquedo impressa em 3D, com uma textura projetada para fazer que o sistema de detección de objetos do Google a classificara como um rifle, independentemente do ângulo desde o qual a tartaruga fosse vista. Criar a tartaruga requirió apenas tecnologia de impressão 3D de baixo custo disponível comercialmente.
Uma imagem de um cão, ajustada por máquina, foi mostrada como parecendo um gato tanto para computadores como para humanos, e um estudo de 2019 reportou que humanos podem adivinar como máquinas classificarão imagens adversárias. Pesquisadores também descobriron métodos para perturbar a aparência de uma señal de stop de modo que um vehículo autónomo a classificara como uma señal de fusión ou de límite de velocidade. Em um incidente separado, McAfee atacou o sistema Mobileye anterior da Tesla, enganándolo para que condujera a 80 km/h acima do límite de velocidade, adicionando uma tira de fita adesiva negra de cinco centímetros a uma señal de límite de velocidade.
Padrones adversários em óculos ou roupas, projetados para enganar sistemas de reconhecimento facial ou leitores de placas de licencia, levaram a uma indústria de nicho de "streetwear furtivo". Estes exemplos adversários físicos demonstram que o fenômeno se extiende além das entradas digitais.
Aplicações em Segurança e Malware
Exemplos adversários têm implicações significativas para a segurança informática. Na detección de malware, pesquisadores propuseron métodos para a generación adversária de malware que automaticamente criam binários para evadir detectores baseados em aprendizado, enquanto preservan a funcionalidade maliciosa. Ataques baseados em optimización, como GAMMA, usam algoritmos genéticos para inyectar contenido benigno, como relleno ou novas secciones PE, em executables de Windows. Esta abordagem enquadra a evasión como um problema de optimización com restricciones que equilibra o sucesso da classificação errónea com o tamanho da carga útil inyectada, e mostrou transferibilidad a produtos antivirus comerciales.
Trabajo complementario usa redes generativas adversarias (GANs) para aprender perturbações no espaço de características que fazem que malware seja classificado como benigno. Mal-LSGAN, por exemplo, substituye a perda padrão de GAN por um objetivo de mínimos quadrados e funções de activación modificadas para melhorar a estabilidad do treinamento. Este método produz exemplos de malware adversários que reducen substancialmente as taxas de verdadeiros positivos em múltiples detectores.
Algoritmos de agrupamento, usados em aplicações de segurança para análise de malware e virus informáticos, também são vulnerables. Estes algoritmos visam identificar famílias de malware e generar assinaturas de detección específicas, mas adversários podem manipular entradas para evadir o agrupamento ou enganar as assinaturas resultantes.
Ataques de Áudio e Físicos
Ataques adversários não se limitan a imagens. Pesquisadores criaron entradas de áudio adversárias que disfrazan comandos para assistentes inteligentes em áudio aparentemente benigno. Estes ataques podem ser usados para inyectar algoritmos em um sistema alvo ou desencadenar ações não intencionadas. Uma literatura paralela explora a percepción humana de tais estímulos, examinando se as pessoas podem detectar ou entender os comandos ocultos.
No domínio do reconhecimiento de ações humanas, ataques adversários emergentes são altamente eficaces. Estes sistemas são empregados para vigilancia, vehículos autónomos e monitorização interna. Atacantes introducen ruido na representación das características humanas para enganar os sistemas de reconhecimiento. Notavelmente, estes ataques não requerem necessariamente acesso aos próprios sistemas de reconhecimiento, e podem ser imperceptibles para usuários humanos.
Defensas e Mitigaciones
Defender-se contra exemplos adversários permanece um desafío aberto. Técnicas como treinamento adversário, onde modelos são treinados em exemplos adversários para melhorar a robustez, mostraram algum prometido, mas muitas vezes reducen a precisión em entradas limpias. Outras abordagens incluyen preprocesamiento de entradas, detección de entradas adversárias e defensas certificadas que proporcionan garantías formales.
Embora o aprendizado automático adversário continue profundamente enraizado na academia, grandes empresas de tecnologia como Google, Microsoft e IBM começaron a curar documentación e bases de código de código aberto para permitir que outros avaliem concretamente a robustez de modelos de aprendizado automático e minimicen o risco de ataques adversários. Estes recursos visam estandarizar métodos de evaluación e incentivar o desenvolvimento de sistemas más resilientes.
Envenenamento de Dados e Protecciones Criativas
Uma ameaça relacionada é o envenenamento de dados, onde atacantes corrompen dados de treinamento para influenciar o comportamento do modelo. Em 2023, pesquisadores da Universidade de Chicago lançaron um filtro de envenenamento de dados chamado Nightshade. Fue criado para uso por artistas visuais para colocar em suas obras de arte, a fim de corromper o conjunto de dados de modelos de texto a imagem, que geralmente raspam seus dados da internet sem o consentimiento do criador da imagem. Esta ferramenta representa um uso defensivo de técnicas adversárias, permitindo que indivíduos protejam sua propriedad intelectual do uso não autorizado em treinamento de modelos de IA generativa.
Pesquisa em Curso e Direções Futuras
O campo dos exemplos adversários continua evoluindo, com pesquisadores explorando tanto novos vectores de ataque como mecanismos de defesa más robustos. A suposición de que modelos treinados em uma certa distribuição de dados terán buen desempeño em uma distribuição completamente diferente é cada vez más cuestionada. Alguns pesquisadores advogam por uma nova abordagem para o aprendizado automático que imite melhor a percepción humana, que é geralmente más robusta a pequenas perturbações.
À medida que modelos de aprendizado profundo são implantados em aplicações más críticas, entender e mitigar exemplos adversários se torna cada vez más importante. A interacción entre ataque e defesa impulsiona a pesquisa em curso, com cada nova defesa muitas vezes inspirando ataques más sofisticados. O objetivo final é criar sistemas de aprendizado automático que não sejam apenas precisos em dados limpos, mas também confiables na presencia de adversários.