Envenenamento de dados é uma classe de ataque adversário contra sistemas de aprendizado de máquina no qual um atacante manipula deliberadamente os dados de treinamento usados para construir um modelo. Diferentemente dos ataques de evasão, que exploram um modelo treinado no momento da inferência, os ataques de envenenamento ocorrem durante a fase de aprendizado, visando degradar o desempenho geral do modelo, introduzir classificações incorretas específicas ou implantar backdoors ocultos que ativam sob condições particulares. O ataque é particularmente perigoso em aplicações de alto risco, onde os dados de treinamento podem ser obtidos de contribuidores não confiáveis ou coletados de repositórios públicos sem verificação rigorosa.
A suposição fundamental subjacente à maioria dos algoritmos de aprendizado de máquina é que os dados de treinamento e de teste são extraídos da mesma distribuição estatística (independentes e identicamente distribuídos, ou IID). O envenenamento de dados viola essa suposição ao injetar intencionalmente amostras fabricadas que deslocam a fronteira de decisão aprendida. Essa manipulação adversária pode ser sutil, muitas vezes exigindo apenas uma pequena fração de exemplos corrompidos para atingir o objetivo do atacante. O estudo de tais ataques e suas defesas se enquadra no campo mais amplo do aprendizado de máquina adversário, que também abrange ataques de evasão, ataques bizantinos e extração de modelos.
Desenvolvimento Histórico
As primeiras demonstrações de envenenamento de dados surgiram no contexto da filtragem de spam. Na Conferência de Spam do MIT em janeiro de 2004, John Graham-Cumming mostrou que um filtro de spam de aprendizado de máquina poderia ser usado para derrotar outro, aprendendo automaticamente quais palavras adicionar a um e-mail de spam para que ele fosse classificado como não-spam. No mesmo ano, Nilesh Dalvi e colegas notaram que classificadores lineares usados em filtros de spam poderiam ser derrotados por ataques simples de evasão, onde spammers inseriam "palavras boas" em seus e-mails. Por volta de 2007, alguns spammers adicionavam ruído aleatório para ofuscar palavras em spam de imagem, a fim de derrotar filtros baseados em reconhecimento óptico de caracteres (OCR).
Em 2006, Marco Barreno e outros publicaram "Can Machine Learning Be Secure?", delineando uma taxonomia ampla de ataques contra sistemas de aprendizado. Até 2013, muitos pesquisadores esperavam que classificadores não lineares, como máquinas de vetores de suporte e redes neurais, pudessem ser inerentemente robustos a adversários. Essa esperança foi diminuída quando Battista Biggio e outros demonstraram os primeiros ataques baseados em gradiente em tais modelos entre 2012 e 2013. A partir de 2014, Christian Szegedy e outros mostraram que redes neurais profundas poderiam ser enganadas por adversários usando métodos baseados em gradiente para criar perturbações adversárias, uma descoberta que catalisou o rápido crescimento do campo.
Mecanismos de Ataque e Variantes
Os ataques de envenenamento de dados podem assumir várias formas, dependendo dos objetivos e do acesso do atacante. Uma variante comum é o ataque de backdoor, onde um atacante injeta amostras de treinamento contendo um padrão de gatilho específico (como um pequeno patch ou um arranjo particular de pixels) rotulado com uma classe alvo. Após o treinamento, o modelo se comporta normalmente em entradas limpas, mas classifica incorretamente qualquer entrada que contenha o gatilho. Outra variante é o envenenamento de disponibilidade, que visa degradar a precisão geral do modelo em dados legítimos, muitas vezes injetando outliers ou exemplos mal rotulados que confundem o algoritmo de aprendizado.
Abordagens baseadas em otimização foram desenvolvidas para criar amostras de envenenamento que maximizam o impacto no modelo treinado. Por exemplo, na detecção de malware, pesquisadores propuseram métodos para geração adversária de malware que criam automaticamente binários para evadir detectores baseados em aprendizado, preservando a funcionalidade maliciosa. O framework GAMMA usa algoritmos genéticos para injetar conteúdo benigno, como padding ou novas seções PE, em executáveis do Windows, enquadrando a evasão como um problema de otimização restrita que equilibra o sucesso da classificação incorreta com o tamanho do payload injetado. Trabalhos complementares usam redes adversárias generativas (GANs) para aprender perturbações no espaço de características que fazem o malware ser classificado como benigno; o Mal-LSGAN, por exemplo, substitui a perda padrão da GAN por um objetivo de mínimos quadrados e funções de ativação modificadas para melhorar a estabilidade do treinamento e produzir exemplos adversários de malware que reduzem substancialmente as taxas de verdadeiros positivos em vários detectores.
No domínio da visão computacional, pesquisadores mostraram que mudar apenas um pixel pode enganar algoritmos de aprendizado profundo. Outros imprimiram em 3D uma tartaruga de brinquedo com uma textura projetada para fazer a IA de detecção de objetos do Google classificá-la como um rifle, independentemente do ângulo de visão. Criar a tartaruga exigiu apenas tecnologia de impressão 3D comercialmente disponível e de baixo custo. Uma imagem de um cachorro ajustada por máquina foi mostrada como parecendo um gato tanto para computadores quanto para humanos, e um estudo de 2019 relatou que humanos podem adivinhar como as máquinas classificam imagens adversárias.
Exemplos do Mundo Real
Envenenamento de dados e ataques adversários relacionados foram demonstrados em inúmeros ambientes práticos. Na filtragem de spam, os ataques envolvem ofuscar mensagens por meio de erros de ortografia de palavras "ruins" ou inserção de palavras "boas". Em segurança de computadores, atacantes ofuscam código de malware dentro de pacotes de rede ou modificam características de fluxo de rede para enganar sistemas de detecção de intrusão. No reconhecimento biométrico, características biométricas falsas podem ser exploradas para se passar por um usuário legítimo, ou para comprometer as galerias de modelos dos usuários que se adaptam a características atualizadas ao longo do tempo.
Um exemplo notável envolveu a McAfee atacando o antigo sistema Mobileye da Tesla, enganando-o para dirigir 50 mph acima do limite de velocidade simplesmente adicionando uma tira de fita preta de duas polegadas a uma placa de limite de velocidade. Pesquisadores também descobriram métodos para perturbar a aparência de uma placa de pare, de modo que um veículo autônomo a classificasse como uma placa de fusão ou de limite de velocidade. Padrões adversários em óculos ou roupas projetados para enganar sistemas de reconhecimento facial ou leitores de placas de licença levaram a uma indústria de nicho de "vestuário furtivo".
Em 2023, pesquisadores da Universidade de Chicago lançaram um filtro de envenenamento de dados chamado Nightshade, criado para uso por artistas visuais em suas obras para corromper os conjuntos de dados de modelos de texto para imagem, que geralmente coletam dados da internet sem o consentimento do criador da imagem. Um ataque adversário em uma rede neural também pode permitir que um atacante injete algoritmos no sistema alvo. Pesquisadores criaram entradas de áudio adversárias para disfarçar comandos a assistentes inteligentes em áudio de aparência benigna; uma literatura paralela explora a percepção humana de tais estímulos.
Desafios em Ambientes do Mundo Real
Trabalhos adicionais mostraram que ataques adversários são mais difíceis de produzir em ambientes não controlados devido a diferentes restrições ambientais que cancelam o efeito do ruído. Por exemplo, qualquer pequena rotação ou leve iluminação em uma imagem adversária pode destruir a adversariedade. Pesquisadores como Nick Frosst, do Google Brain, apontam que é muito mais fácil fazer carros autônomos não perceberem placas de pare removendo fisicamente a própria placa do que criar exemplos adversários. Frosst também acredita que a comunidade de aprendizado de máquina adversário assume incorretamente que modelos treinados em uma certa distribuição de dados terão bom desempenho em uma distribuição completamente diferente. Ele sugere que uma nova abordagem para o aprendizado de máquina deve ser explorada e atualmente trabalha em uma rede neural única com características mais semelhantes à percepção humana do que as abordagens de ponta.
Ataques adversários emergentes também são altamente eficazes em sistemas de reconhecimento de ações humanas, que são amplamente empregados em aplicações do mundo real, como vigilância, veículos autônomos e monitoramento doméstico. Nesses ataques, os atacantes introduzem ruído na representação das características humanas para enganar os sistemas de reconhecimento. Esses ataques não exigem necessariamente acesso aos próprios sistemas de reconhecimento e podem ser imperceptíveis para usuários humanos de tais sistemas.
Defesas e Mitigação
As defesas contra envenenamento de dados geralmente se enquadram em várias categorias. A sanitização de dados envolve filtrar dados de treinamento para remover amostras anômalas ou suspeitas antes do treinamento. Métodos robustos de agregação, como média aparada ou abordagens baseadas em mediana, reduzem a influência de gradientes outliers durante o treinamento distribuído. Técnicas de detecção de anomalias podem identificar tentativas de envenenamento monitorando as propriedades estatísticas dos dados recebidos. A privacidade diferencial fornece uma garantia formal de que a influência de qualquer exemplo de treinamento individual é limitada, restringindo o impacto do envenenamento.
No contexto de algoritmos de agrupamento usados em aplicações de segurança, como análise de malware e vírus de computador para identificar famílias de malware e gerar assinaturas de detecção específicas, as defesas devem considerar a possibilidade de que atacantes possam injetar amostras projetadas para enganar o processo de agrupamento. Embora o aprendizado de máquina adversário continue fortemente enraizado na academia, grandes empresas de tecnologia como Google, Microsoft e IBM começaram a organizar documentação e bases de código de código aberto para permitir que outros avaliem concretamente a robustez dos modelos de aprendizado de máquina e minimizem o risco de ataques adversários.
Implicações Mais Amplas
O estudo do envenenamento de dados destaca vulnerabilidades fundamentais no pipeline de aprendizado de máquina. À medida que os sistemas de inteligência artificial são cada vez mais implantados em domínios críticos, como direção autônoma, saúde e segurança, a integridade dos dados de treinamento se torna primordial. O surgimento de sistemas de IA generativa e modelos de linguagem de grande escala, que geralmente treinam em conjuntos de dados massivos coletados da internet, expande consideravelmente a superfície de ataque. Ataques de envenenamento poderiam visar as preferências ou alinhamentos de segurança desses modelos, potencialmente fazendo-os gerar saídas prejudiciais ou tendenciosas.
Pesquisadores continuam explorando metodologias de ataque e defesa, com uma corrida armamentista contínua entre adversários e defensores. O campo se baseia em insights de aprendizado profundo, teoria de redes neurais e otimização. Compreender as limitações dos modelos atuais, particularmente sua sensibilidade a mudanças de distribuição e perturbações adversárias, é essencial para construir sistemas de IA mais robustos e confiáveis.
Direções Futuras
A pesquisa futura em envenenamento de dados provavelmente se concentrará em desenvolver defesas comprováveis, entender os limites teóricos da resistência ao envenenamento e criar benchmarks padronizados para avaliar a robustez. A integração da pesquisa em percepção humana, como sugerido por Frosst, pode levar a arquiteturas inerentemente mais resistentes à manipulação adversária. Além disso, à medida que as regulamentações sobre privacidade e consentimento de dados evoluem, as implicações éticas do envenenamento de dados como uma forma de protesto ou proteção, exemplificada por ferramentas como o Nightshade, continuarão a ser debatidas.