Exemplos adversariais são entradas para um modelo de aprendizado de máquina que foram intencionalmente projetadas para fazer o modelo cometer um erro. Essas entradas são tipicamente criadas aplicando pequenas perturbações, muitas vezes imperceptíveis, a dados legítimos, como adicionar ruído a uma imagem ou alterar algumas palavras em um texto. A existência de exemplos adversariais destaca uma vulnerabilidade fundamental em muitos sistemas de Machine learning, que frequentemente assumem que os dados de treinamento e de teste provêm da mesma distribuição estatística. Na prática, no entanto, usuários ou atacantes podem fornecer dados fabricados que violam essa suposição, levando a previsões incorretas em aplicações de alto risco, como segurança, direção autônoma e reconhecimento biométrico.
O estudo desses ataques e das defesas contra eles insere-se no campo do aprendizado de máquina adversarial. Esse campo examina como os modelos podem ser enganados e como torná-los mais robustos. Exemplos adversariais são distintos de outros tipos de falhas de modelo porque são deliberadamente otimizados para explorar fraquezas específicas na fronteira de decisão de um modelo, em vez de surgirem de ruído aleatório ou de generalização deficiente.
História
O conceito de exemplos adversariais emergiu de trabalhos iniciais sobre filtragem de spam. Na Conferência de Spam do MIT em janeiro de 2004, John Graham-Cumming demonstrou que um filtro de spam baseado em aprendizado de máquina poderia ser usado para derrotar outro filtro desse tipo, aprendendo automaticamente quais palavras adicionar a um e-mail de spam para fazê-lo ser classificado como não spam. No mesmo ano, Nilesh Dalvi e colegas notaram que classificadores lineares usados em filtros de spam podiam ser derrotados por ataques simples de evasão, nos quais spammers inseriam palavras boas em seus e-mails. Por volta de 2007, alguns spammers adicionavam ruído aleatório para embaralhar palavras em spam de imagem, a fim de derrotar filtros baseados em OCR.
Em 2006, Marco Barreno e outros publicaram "Can Machine Learning Be Secure?", delineando uma ampla taxonomia de ataques. Ainda em 2013, muitos pesquisadores esperavam que classificadores não lineares, como máquinas de vetores de suporte e redes neurais, pudessem ser robustos a adversários. Essa esperança foi destruída quando Battista Biggio e outros demonstraram os primeiros ataques baseados em gradiente a tais modelos em 2012-2013. Em 2014, Christian Szegedy e colegas mostraram que redes neurais profundas podiam ser enganadas por adversários, usando métodos baseados em gradiente para criar perturbações adversariais. Esse trabalho desencadeou uma onda de pesquisas tanto em ataques quanto em defesas.
Pesquisas adicionais revelaram que ataques adversariais são mais difíceis de produzir em ambientes não controlados, pois pequenas rotações ou mudanças na iluminação podem destruir o efeito adversarial. Pesquisadores como Nick Frosst, do Google Brain, notaram que muitas vezes é mais fácil remover fisicamente uma placa de pare do que criar um exemplo adversarial confiável para um carro autônomo. Frosst também argumentou que a comunidade assume incorretamente que modelos treinados em uma distribuição de dados terão bom desempenho em uma distribuição diferente, sugerindo a necessidade de novas abordagens que imitem a percepção humana. Embora o campo permaneça enraizado na academia, grandes empresas de tecnologia, como Google, Microsoft e IBM, começaram a organizar documentação e bases de código de código aberto para avaliar a robustez dos modelos e minimizar os riscos de ataque.
Tipos de Ataque
O aprendizado de máquina adversarial abrange várias categorias comuns de ataque. Ataques de evasão ocorrem no momento do teste, em que um atacante modifica uma entrada para que seja classificada incorretamente, como adicionar ruído a uma imagem de uma placa de pare para que seja reconhecida como uma placa de limite de velocidade. Ataques de envenenamento de dados ocorrem durante o treinamento, em que um atacante injeta dados maliciosos no conjunto de treinamento para corromper o comportamento do modelo. Ataques bizantinos visam sistemas de treinamento distribuído, em que nós comprometidos enviam atualizações incorretas. Ataques de extração de modelo visam roubar a funcionalidade de um modelo, consultando-o e treinando um modelo substituto.
No contexto da detecção de malware, pesquisadores propuseram métodos para geração adversarial de malware que criam automaticamente binários para evadir detectores baseados em aprendizado, preservando a funcionalidade maliciosa. Ataques baseados em otimização, como o GAMMA, usam algoritmos genéticos para injetar conteúdo benigno, como preenchimento ou novas seções PE, em executáveis do Windows. Essa abordagem enquadra a evasão como um problema de otimização restrita que equilibra o sucesso da classificação incorreta com o tamanho da carga útil e mostra transferibilidade para produtos antivírus comerciais. Trabalhos complementares usam redes adversariais generativas (GANs) para aprender perturbações no espaço de características que fazem o malware ser classificado como benigno; o Mal-LSGAN, por exemplo, substitui a perda padrão da GAN por um objetivo de mínimos quadrados para melhorar a estabilidade do treinamento e reduzir as taxas de verdadeiros positivos em vários detectores.
Exemplos do Mundo Real
Exemplos adversariais foram demonstrados em muitos domínios. Pesquisadores mostraram que alterar apenas um pixel podia enganar algoritmos de aprendizado profundo. Outros imprimiram em 3D uma tartaruga de brinquedo com uma textura projetada para fazer a IA de detecção de objetos do Google classificá-la como um rifle, independentemente do ângulo de visão, usando apenas tecnologia de impressão 3D de baixo custo disponível comercialmente. Uma imagem de um cachorro ajustada por máquina foi mostrada como parecendo um gato tanto para computadores quanto para humanos. Um estudo de 2019 relatou que humanos podem adivinhar como as máquinas classificam imagens adversariais.
Na direção autônoma, pesquisadores descobriram métodos para perturbar a aparência de uma placa de pare de modo que um veículo a classificasse como uma placa de fusão ou de limite de velocidade. A McAfee atacou o antigo sistema Mobileye da Tesla, enganando-o para dirigir 50 mph acima do limite de velocidade ao adicionar uma tira de fita preta de duas polegadas a uma placa de limite de velocidade. Padrões adversariais em óculos ou roupas projetados para enganar sistemas de reconhecimento facial ou leitores de placas de veículos levaram a um nicho de indústria de vestuário furtivo.
Entradas de áudio adversariais podem disfarçar comandos para assistentes inteligentes em áudio de aparência benigna. No reconhecimento biométrico, características falsas podem se passar por usuários legítimos ou comprometer galerias de modelos. Ataques emergentes também são eficazes em sistemas de reconhecimento de ação humana usados para vigilância e veículos autônomos, em que atacantes introduzem ruído nas representações de características humanas para enganar os sistemas, muitas vezes sem exigir acesso ao próprio sistema de reconhecimento.
Defesas e Mitigações
Defesas contra exemplos adversariais incluem treinamento adversarial, em que modelos são treinados em exemplos adversariais para melhorar a robustez; pré-processamento de entrada, como remoção de ruído ou compressão de características; e métodos de detecção que sinalizam entradas suspeitas. No entanto, não existe defesa universal, e atacantes continuamente desenvolvem novas técnicas. O filtro de envenenamento de dados Nightshade, lançado em 2023 por pesquisadores da Universidade de Chicago, permite que artistas visuais corrompam os conjuntos de dados de modelos de texto para imagem que coletam dados sem consentimento, ilustrando como o envenenamento pode ser usado de forma defensiva.