Privacidade diferencial (DP) é uma estrutura matematicamente rigorosa para divulgar informações estatísticas sobre conjuntos de dados, protegendo ao mesmo tempo a privacidade dos indivíduos cujos dados estão incluídos. Ela permite que um detentor de dados compartilhe padrões agregados do grupo, limitando informações que identifiquem indivíduos específicos. Isso é feito injetando ruído cuidadosamente calibrado em cálculos estatísticos, de modo que a utilidade da estatística seja preservada, enquanto se limita de forma comprovável o que pode ser inferido sobre qualquer indivíduo no conjunto de dados.
Outra forma de descrever a privacidade diferencial é como uma restrição sobre os algoritmos usados para publicar informações agregadas sobre um banco de dados estatístico, que limita a divulgação de informações privadas dos registros no banco. Por exemplo, algoritmos de privacidade diferencial são usados por algumas agências governamentais para publicar informações demográficas ou outros agregados estatísticos, garantindo a confidencialidade das respostas de pesquisas, e por empresas para coletar informações sobre o comportamento dos usuários, controlando o que é visível até mesmo para analistas internos.
De forma geral, um algoritmo é diferencialmente privado se um observador que vê sua saída não consegue distinguir se a informação de um indivíduo específico foi usada no cálculo. A privacidade diferencial é frequentemente discutida no contexto de identificar indivíduos cujas informações podem estar em um banco de dados. Embora não se refira diretamente a ataques de identificação e reidentificação, algoritmos diferencialmente privados resistem de forma comprovável a tais ataques.
Origens e Formalização
O conceito de privacidade diferencial foi introduzido em 2006 por Cynthia Dwork, Frank McSherry, Kobbi Nissim e Adam D. Smith em seu artigo "Calibrating Noise to Sensitivity in Private Data Analysis". Este trabalho forneceu uma definição matemática para a perda de privacidade associada a qualquer divulgação de dados proveniente de um banco de dados estatístico. Aqui, o termo banco de dados estatístico significa um conjunto de dados coletados sob a promessa de confidencialidade com o propósito de produzir estatísticas que, por sua produção, não comprometam a privacidade dos indivíduos que forneceram os dados.
A percepção central da privacidade diferencial é que, conforme uma consulta é feita sobre os dados de cada vez menos pessoas, mais ruído precisa ser adicionado ao resultado da consulta para produzir a mesma quantidade de privacidade. Se um banco de dados contém dados de uma única pessoa, os dados dessa pessoa contribuem com 100% para qualquer resultado de consulta. Se contém dados de cem pessoas, os dados de cada pessoa contribuem com apenas 1%. O artigo de 2006 formalizou como calibrar o ruído à sensibilidade da consulta, que mede o quanto a saída pode mudar quando os dados de um indivíduo são alterados.
Definição de ε-Privacidade Diferencial
Seja ε um número real positivo e seja A um algoritmo aleatorizado que recebe um conjunto de dados como entrada (representando as ações da parte confiável que detém os dados). Seja im A a imagem de A. Diz-se que o algoritmo A fornece (ε, δ)-privacidade diferencial se, para todos os conjuntos de dados D1 e D2 que diferem em um único elemento (ou seja, os dados de uma pessoa), e todos os subconjuntos S de im A:
Pr[A(D1) ∈ S] ≤ e^ε * Pr[A(D2) ∈ S] + δ
onde a probabilidade é calculada sobre a aleatoriedade usada pelo algoritmo. Esta definição é às vezes chamada de "privacidade diferencial aproximada", sendo a "privacidade diferencial pura" um caso especial quando δ = 0. Neste último caso, diz-se comumente que o algoritmo satisfaz ε-privacidade diferencial (ou seja, omitindo δ = 0).
A intuição por trás desta definição é que a privacidade de uma pessoa não pode ser comprometida por uma divulgação estatística se seus dados não estiverem no banco de dados. Na privacidade diferencial, cada indivíduo recebe aproximadamente a mesma privacidade que resultaria da remoção de seus dados. Ou seja, as funções estatísticas executadas no banco de dados não devem ser substancialmente afetadas pela remoção, adição ou alteração de qualquer indivíduo nos dados.
Propriedades e Garantias
A privacidade diferencial oferece garantias fortes e robustas que facilitam o design modular e a análise de mecanismos diferencialmente privados. Uma propriedade chave é a composabilidade: se múltiplos mecanismos diferencialmente privados são executados no mesmo conjunto de dados, a perda de privacidade combinada pode ser limitada. Isso permite que análises complexas sejam construídas a partir de blocos de construção diferencialmente privados mais simples, mantendo uma garantia geral de privacidade.
Outra propriedade importante é a robustez ao pós-processamento. Se um algoritmo é diferencialmente privado, então qualquer função aplicada à sua saída (sem acesso aos dados originais) permanece diferencialmente privada. Isso significa que um adversário não pode enfraquecer a garantia de privacidade transformando as estatísticas divulgadas.
A privacidade diferencial também degrada graciosamente na presença de dados correlacionados. Mesmo que os dados contenham correlações entre indivíduos, a garantia de privacidade ainda se mantém, embora a perda efetiva de privacidade possa aumentar. Isso a torna mais robusta do que alguns outros modelos de privacidade que falham quando os dados não são independentes.
Mecanismos para Alcançar Privacidade Diferencial
Os mecanismos mais comuns para alcançar privacidade diferencial são o mecanismo de Laplace e o mecanismo gaussiano. O mecanismo de Laplace adiciona ruído extraído de uma distribuição de Laplace ao resultado de uma consulta, com a escala do ruído calibrada à sensibilidade da consulta dividida por ε. Isso fornece ε-privacidade diferencial pura. O mecanismo gaussiano adiciona ruído extraído de uma distribuição gaussiana e fornece (ε, δ)-privacidade diferencial, que é frequentemente mais conveniente para cálculos de alta dimensão ou iterativos.
Outro mecanismo importante é o mecanismo exponencial, usado para selecionar a melhor resposta de um conjunto finito de opções enquanto preserva a privacidade. Ele atribui probabilidades a cada opção com base em uma função de utilidade, com opções de maior utilidade recebendo maior probabilidade, mas com as probabilidades cuidadosamente calibradas para garantir privacidade diferencial.
Aplicações em Aprendizado de Máquina
A privacidade diferencial tornou-se cada vez mais importante no aprendizado de máquina, particularmente no treinamento de modelos sobre dados sensíveis. A técnica mais amplamente usada é a descida de gradiente estocástica diferencialmente privada (DP-SGD), que modifica o algoritmo padrão de descida de gradiente estocástica. No DP-SGD, os gradientes são cortados para uma norma máxima para limitar sua sensibilidade, e ruído é adicionado aos gradientes médios antes de atualizar os parâmetros do modelo. Isso garante que o modelo treinado não revele muito sobre qualquer exemplo de treinamento individual.
O DP-SGD foi aplicado no treinamento de modelos de linguagem de grande porte e outros sistemas de aprendizado profundo. Por exemplo, grupos de pesquisa exploraram o treinamento diferencialmente privado de modelos transformer, embora a compensação entre privacidade e utilidade continue sendo um desafio. A técnica também é relevante para sistemas de IA generativa, onde proteger a privacidade dos dados de treinamento é uma preocupação crescente.
Várias empresas de tecnologia incorporaram privacidade diferencial em seus produtos. A Apple usa mecanismos diferencialmente privados para coletar estatísticas de comportamento do usuário no iOS e macOS, como aprender emojis populares e novas palavras, enquanto protege a privacidade individual do usuário. O Google DeepMind e outras equipes do Google exploraram a privacidade diferencial para várias aplicações, incluindo aprendizado federado e análises. A OpenAI também pesquisou treinamento diferencialmente privado para seus modelos.
Desafios e Compensações
O principal desafio na privacidade diferencial é a compensação entre privacidade e utilidade. Adicionar mais ruído fornece garantias de privacidade mais fortes, mas reduz a precisão dos resultados estatísticos. O parâmetro ε controla essa compensação: valores menores de ε fornecem privacidade mais forte, mas exigem mais ruído, enquanto valores maiores de ε permitem resultados mais precisos, mas garantias de privacidade mais fracas. Não há um padrão universalmente aceito para o que constitui um valor aceitável de ε, e isso frequentemente depende da aplicação específica e da sensibilidade dos dados.
Outro desafio é a composição de muitas consultas. Embora a privacidade diferencial componha, a perda de privacidade se acumula a cada consulta adicional. Após muitas consultas, a perda total de privacidade pode se tornar grande demais para fornecer proteção significativa. Teoremas avançados de composição podem ajudar a limitar a perda total de forma mais rigorosa, mas a questão fundamental permanece.
No aprendizado de máquina, o treinamento diferencialmente privado frequentemente resulta em menor precisão do modelo em comparação ao treinamento não privado, especialmente para modelos complexos como redes neurais. O ruído adicionado durante o treinamento pode desacelerar a convergência e degradar o desempenho final. Pesquisadores continuam desenvolvendo técnicas para melhorar a compensação entre privacidade e utilidade, como melhores cronogramas de ruído, corte adaptativo e uso de dados públicos para pré-treinar modelos antes do ajuste fino diferencialmente privado.
Impacto Mais Amplo e Direções Futuras
A privacidade diferencial tornou-se uma ferramenta padrão na caixa de ferramentas de privacidade, usada por agências governamentais e empresas. O U.S. Census Bureau usou privacidade diferencial para o censo de 2020 para proteger a confidencialidade dos respondentes enquanto publicava estatísticas demográficas. Isso marcou uma implantação significativa da tecnologia no mundo real.
No campo da inteligência artificial, a privacidade diferencial é vista como um componente crucial para construir sistemas confiáveis. À medida que modelos de aprendizado de máquina são treinados em conjuntos de dados cada vez maiores e mais sensíveis, a capacidade de fornecer garantias formais de privacidade torna-se mais importante. O desenvolvimento de algoritmos diferencialmente privados que possam escalar para grandes modelos e conjuntos de dados é uma área ativa de pesquisa.
As direções futuras incluem melhorar a eficiência do treinamento diferencialmente privado, desenvolver melhores mecanismos para dados de alta dimensão e integrar a privacidade diferencial com outras tecnologias de aprimoramento de privacidade, como aprendizado federado e computação multiparte segura. O campo continua evoluindo, com novos resultados teóricos e implementações práticas surgindo regularmente.