Inferência de associação é um tipo de ataque à privacidade que visa determinar se um registro de dados específico foi incluído no conjunto de dados usado para treinar um modelo de aprendizado de máquina ou para calcular estatísticas publicadas. A capacidade de confirmar a associação pode revelar informações sensíveis: por exemplo, se um conjunto de dados compreende pacientes com uma doença específica, confirmar que um indivíduo está no conjunto de treinamento efetivamente divulga seu diagnóstico. Esse vetor de ataque tornou-se uma preocupação central na pesquisa de privacidade, intersectando-se com campos como aprendizado de máquina, inteligência artificial e anonimização de dados.
O conceito ganhou destaque no contexto de dados genômicos, onde estatísticas agregadas, como frequências alélicas, mostraram-se capazes de revelar a participação individual. Com o tempo, a inferência de associação foi estendida a modelos de aprendizado de máquina, onde atacantes exploram saídas ou parâmetros do modelo para inferir a associação aos dados de treinamento. A eficácia desses ataques varia amplamente dependendo da arquitetura do modelo, da distribuição dos dados e das defesas disponíveis, tornando esta uma área de estudo dinâmica.
Origens Históricas na Genômica
Os primeiros ataques de inferência de associação surgiram da pesquisa de privacidade genômica. Em 2008, Nils Homer e colegas demonstraram que o genótipo de um indivíduo, combinado com estatísticas de frequência alélica publicadas em múltiplos sítios de polimorfismo de nucleotídeo único (SNP), poderia determinar se aquela pessoa contribuiu com DNA para uma população de estudo. Essa descoberta teve consequências práticas imediatas: os Institutos Nacionais de Saúde dos EUA (NIH) e o Wellcome Trust subsequentemente restringiram o acesso a muitos conjuntos de dados genômicos, movendo-os de repositórios públicos para bancos de dados de acesso controlado, como o dbGaP.
Trabalhos posteriores generalizaram esses resultados. Cynthia Dwork e outros mostraram que qualquer número de estatísticas publicadas sobre um banco de dados poderia ser explorado para inferência de associação, estabelecendo uma conexão formal com privacidade diferencial. Essa linha de pesquisa lançou as bases para entender como divulgações de dados agregados podem vazar informações em nível individual.
Ataques a Estatísticas Agregadas
Além da genômica, os ataques de inferência de associação se aplicam a vários tipos de dados agregados. Um artigo notável de 2018, "Knock Knock, Who's There?", formulou o problema como uma tarefa de classificação binária: um atacante treina um classificador para distinguir entre indivíduos que são membros de um conjunto de dados e aqueles que não são, e então o aplica a uma pessoa-alvo cuja presença em um rastro de localização agregado (por exemplo, um mapa de calor) é suspeita. O artigo demonstrou que tais ataques são bem-sucedidos mesmo quando nenhum rastro individual é publicado, contando apenas com padrões de mobilidade agregados.
Esse princípio se estende a qualquer forma de estatística agregada, incluindo contagens simples sobre uma população sensível. Por exemplo, se um hospital publica o número de pacientes com uma condição rara, um atacante pode inferir se um indivíduo específico está entre eles, comparando a contagem com e sem a suposta inclusão dessa pessoa. A abordagem geral aproveita a diferença estatística entre o agregado com e sem o registro-alvo.
Ataques a Modelos de Aprendizado de Máquina
Ataques de inferência de associação em modelos de aprendizado de máquina exploram a tendência dos modelos de se comportarem de maneira diferente em dados de treinamento versus dados não vistos. O primeiro ataque bem-sucedido desse tipo foi introduzido por Reza Shokri e colegas em 2017. Eles observaram que muitos modelos atribuem pontuações de confiança mais altas a registros nos quais foram treinados. Para explorar isso, desenvolveram o conceito de modelos-sombra: o adversário treina múltiplos modelos em dados semelhantes ao conjunto de treinamento do modelo-alvo e, como o adversário sabe quais registros foram usados para cada modelo-sombra, pode treinar um classificador para prever a associação com base nas saídas do modelo.
Os modelos-sombra permitem que o atacante aproxime o comportamento interno do modelo-alvo sem acesso direto aos seus dados de treinamento. Em 2019, o artigo ML-Leaks mostrou que, para alguns modelos, um único modelo-sombra é suficiente, reduzindo a complexidade do ataque. Essa descoberta destacou que a vulnerabilidade não se limitava a arquiteturas específicas.
Ataques Baseados em Pontuações e em Rótulos
Pesquisas subsequentes refinaram os ataques de inferência de associação, relaxando suposições e melhorando a praticidade. Duas categorias principais emergiram: ataques baseados em pontuações e ataques baseados em rótulos. Ataques baseados em pontuações, como os de Yeom et al. e o Ataque de Razão de Verossimilhança (LiRA) de Carlini et al., usam as pontuações de confiança do modelo (por exemplo, probabilidades softmax) para inferir a associação. Ataques baseados em rótulos, como o Label-Only Membership Inference de Choquette-Choo et al., dependem apenas do rótulo de classe previsto, que muitas vezes é mais fácil de obter em cenários do mundo real.
Ataques baseados em rótulos podem ser mais poderosos, especialmente quando o adversário pode perturbar a entrada. Por exemplo, em processamento de linguagem natural, um atacante pode pontuar um texto-alvo e várias variações que diferem por algumas palavras; se as previsões do modelo mudarem significativamente, isso sugere que o original estava no conjunto de treinamento. Outra abordagem, a destilação de modelo, usa um modelo aluno mais simples para replicar um modelo professor complexo, potencialmente extraindo informações adicionais sobre os dados de treinamento.
A eficácia desses ataques depende do conjunto de dados e do modelo. O sobreajuste é a fonte mais comum de vazamento, e técnicas de regularização padrão como abandono, decaimento de peso e parada antecipada podem reduzi-lo. No entanto, a inferência de associação tende a ser mais eficaz quando os modelos são grandes, os dados são complexos e tanto os conjuntos de treinamento quanto os de teste são grandes - condições comuns em sistemas modernos de aprendizado profundo.
Inferência de Associação em Modelos de Linguagem de Grande Porte
Os modelos de linguagem de grande porte (LLMs) apresentam um caso único. Uma avaliação de 2024 sugeriu que, em muitas tarefas, os ataques de inferência de associação têm desempenho apenas ligeiramente melhor do que adivinhação aleatória. Isso se deve em grande parte à distribuição dos dados de treinamento: os LLMs tipicamente encontram qualquer dado específico apenas uma vez, minimizando a sobreposição entre conjuntos de treinamento e teste. Além disso, uma linha de base simples que ignora o modelo completamente muitas vezes supera ataques sofisticados, indicando que os ataques podem erroneamente sinalizar registros como membros simplesmente porque são de um período de tempo mais antigo ou de uma distribuição diferente.
Essa questão espelha a limitação do estudo genômico original: se a população do estudo é homogênea, testar um indivíduo de um grupo étnico diferente pode falsamente identificá-lo como membro. Para LLMs, se os dados de treinamento e teste são amostrados de períodos de tempo diferentes, um ataque pode alegar associação para qualquer registro que seja temporalmente consistente com os dados de treinamento, independentemente da inclusão real.
Defesas e Mitigações
A privacidade diferencial é a defesa mais robusta contra a inferência de associação, pois fornece garantias teóricas que limitam a influência de qualquer registro individual. Para redes neurais, a privacidade diferencial é comumente implementada via DP-SGD (Descida de Gradiente Estocástica Diferencialmente Privada), que adiciona ruído aos gradientes durante o treinamento.
Na prática, defender-se contra a inferência de associação frequentemente envolve melhorar a generalização e reduzir o sobreajuste. Técnicas padrão como abandono, decaimento de peso e parada antecipada são medidas indiretas, mas eficazes, de privacidade. Além disso, os modelos podem ser modificados para limitar o vazamento de informações: por exemplo, arredondando as pontuações de confiança, truncando-as para as k principais classes ou adicionando ruído às saídas. Essas abordagens reduzem o sinal que um atacante pode explorar, embora possam sacrificar a utilidade do modelo.
A pesquisa continua a explorar o equilíbrio entre desempenho do modelo e privacidade, especialmente à medida que os modelos crescem em escala e complexidade. A inferência de associação permanece um referencial-chave para avaliar técnicas de aprendizado de máquina que preservam a privacidade.