멤버십 추론은 특정 데이터 레코드가 기계 학습 모델을 훈련하는 데 사용된 데이터셋이나 게시된 통계를 계산하는 데 포함되었는지 여부를 판별하는 것을 목표로 하는 일종의 개인정보 보호 공격이다. 멤버십을 확인할 수 있는 능력은 민감한 정보를 드러낼 수 있다. 예를 들어, 데이터셋이 특정 질병을 가진 환자들로 구성된 경우, 개인이 훈련 세트에 있다는 것을 확인하는 것은 사실상 그 개인의 진단을 공개하는 것이다. 이 공격 벡터는 개인정보 보호 연구에서 핵심적인 관심사가 되었으며, 기계 학습, 인공지능, 데이터 익명화와 같은 분야와 교차한다.
이 개념은 유전체 데이터 맥락에서 두드러지게 되었는데, 대립 유전자 빈도와 같은 집계 통계가 개인 참여를 드러낼 수 있음이 입증되었다. 시간이 지나면서 멤버십 추론은 기계 학습 모델로 확장되었으며, 공격자는 모델 출력이나 매개변수를 악용하여 훈련 데이터 멤버십을 추론한다. 이러한 공격의 효과는 모델 아키텍처, 데이터 분포, 사용 가능한 방어 수단에 따라 크게 달라지며, 이는 역동적인 연구 영역이 되게 한다.
유전체학에서의 역사적 기원
가장 초기의 멤버십 추론 공격은 유전체 개인정보 보호 연구에서 등장했다. 2008년, Nils Homer와 동료들은 개인의 유전자형이 여러 단일 염기 다형성(SNP) 부위에 걸쳐 게시된 대립 유전자 빈도 통계와 결합될 때, 그 사람이 연구 집단에 DNA를 기여했는지 여부를 판별할 수 있음을 입증했다. 이 발견은 즉각적인 실질적 결과를 가져왔다. 미국 국립보건원(NIH)과 Wellcome Trust는 이후 많은 유전체 데이터셋에 대한 접근을 제한하고, 이를 공개 저장소에서 dbGaP와 같은 통제된 접근 데이터베이스로 이동시켰다.
이후 연구는 이러한 결과를 일반화했다. Cynthia Dwork와 다른 연구자들은 데이터베이스에 대해 게시된 어떤 수의 통계라도 멤버십 추론에 악용될 수 있음을 보여주었으며, 이를 차등 개인정보 보호와의 공식적 연결을 확립했다. 이 연구 라인은 집계 데이터 공개가 개인 수준 정보를 누출할 수 있는 방법을 이해하는 기초를 마련했다.
집계 통계에 대한 공격
유전체학을 넘어, 멤버십 추론 공격은 다양한 유형의 집계 데이터에 적용된다. 주목할 만한 2018년 논문 "Knock Knock, Who's There?"는 이 문제를 이진 분류 작업으로 공식화했다. 공격자는 데이터셋의 구성원인 개인과 그렇지 않은 개인을 구별하는 분류기를 훈련시킨 다음, 집계 위치 추적(예: 히트 맵)에 존재하는 것으로 의심되는 대상 개인에게 이를 적용한다. 이 논문은 단일 추적이 게시되지 않더라도 이러한 공격이 성공할 수 있음을 입증했으며, 집계 이동 패턴에만 의존했다.
이 원리는 민감한 집단에 대한 단순한 개수 계산을 포함한 모든 형태의 집계 통계로 확장된다. 예를 들어, 병원이 희귀 질환을 가진 환자 수를 게시하는 경우, 공격자는 해당 개인의 추정 포함 여부에 따른 개수 차이를 비교하여 특정 개인이 그들 중 하나인지 추론할 수 있다. 일반적인 접근 방식은 대상 레코드가 있거나 없는 집계 간의 통계적 차이를 활용한다.
기계 학습 모델에 대한 공격
기계 학습 모델에 대한 멤버십 추론 공격은 모델이 훈련 데이터와 보이지 않는 데이터에 대해 다르게 동작하는 경향을 악용한다. 이러한 종류의 첫 번째 성공적인 공격은 2017년 Reza Shokri와 동료들에 의해 소개되었다. 그들은 많은 모델이 훈련된 레코드에 더 높은 신뢰도 점수를 할당한다는 것을 관찰했다. 이를 악용하기 위해 그들은 섀도우 모델 개념을 개발했다. 적대자는 대상 모델의 훈련 세트와 유사한 데이터로 여러 모델을 훈련시키며, 각 섀도우 모델에 어떤 레코드가 사용되었는지 알고 있기 때문에 모델 출력을 기반으로 멤버십을 예측하는 분류기를 훈련시킬 수 있다.
섀도우 모델을 통해 공격자는 대상 모델의 훈련 데이터에 직접 접근하지 않고도 내부 동작을 근사할 수 있다. 2019년, ML-Leaks 논문은 일부 모델의 경우 단일 섀도우 모델로 충분하여 공격의 복잡성을 줄인다는 것을 보여주었다. 이 발견은 취약성이 특정 아키텍처에 국한되지 않음을 강조했다.
점수 기반 및 레이블 기반 공격
후속 연구는 멤버십 추론 공격을 개선하여 가정을 완화하고 실용성을 향상시켰다. 점수 기반 및 레이블 기반 공격이라는 두 가지 주요 범주가 등장했다. Yeom 등과 Carlini 등의 우도 비율 공격(LiRA)과 같은 점수 기반 공격은 모델의 신뢰도 점수(예: 소프트맥스 확률)를 사용하여 멤버십을 추론한다. Choquette-Choo 등의 레이블 전용 멤버십 추론과 같은 레이블 기반 공격은 예측된 클래스 레이블에만 의존하며, 이는 실제 시나리오에서 얻기 쉬운 경우가 많다.
레이블 기반 공격은 특히 적대자가 입력을 교란할 수 있을 때 더 강력할 수 있다. 예를 들어, 자연어 처리에서 공격자는 대상 텍스트와 몇 단어가 다른 여러 변형을 점수화할 수 있다. 모델의 예측이 크게 변경되면 원본이 훈련 세트에 있었음을 시사한다. 또 다른 접근 방식인 모델 증류는 더 간단한 학생 모델을 사용하여 복잡한 교사 모델을 복제하며, 훈련 데이터에 대한 추가 정보를 추출할 수 있다.
이러한 공격의 효과는 데이터셋과 모델에 따라 달라진다. 과적합은 누출의 가장 일반적인 원인이며, 드롭아웃, 가중치 감쇠, 조기 중단과 같은 표준 정규화 기술이 이를 줄일 수 있다. 그러나 멤버십 추론은 모델이 크고, 데이터가 복잡하며, 훈련 및 테스트 세트가 모두 클 때 더 효과적인 경향이 있다. 이는 현대 딥 러닝 시스템에서 흔한 조건이다.
대규모 언어 모델에 대한 멤버십 추론
대규모 언어 모델(LLM)은 독특한 사례를 제시한다. 2024년 평가에 따르면 많은 작업에서 멤버십 추론 공격은 무작위 추측보다 약간 나은 성능을 보일 뿐이다. 이는 주로 훈련 데이터의 분포 때문이다. LLM은 일반적으로 특정 데이터를 한 번만 접하므로 훈련 및 테스트 세트 간의 중복이 최소화된다. 또한 모델을 완전히 무시하는 간단한 기준선이 정교한 공격보다 더 나은 성능을 보이는 경우가 많으며, 이는 공격이 단순히 더 오래된 기간이나 다른 분포의 레코드이기 때문에 멤버십으로 잘못 표시할 수 있음을 나타낸다.
이 문제는 원래 유전체 연구의 한계를 반영한다. 연구 집단이 동질적인 경우, 다른 민족 집단의 개인을 테스트하면 그들을 구성원으로 잘못 식별할 수 있다. LLM의 경우 훈련 및 테스트 데이터가 서로 다른 기간에서 샘플링되면 공격은 실제 포함 여부와 관계없이 훈련 데이터와 시간적으로 일치하는 모든 레코드에 대해 멤버십을 주장할 수 있다.
방어 및 완화
차등 개인정보 보호는 멤버십 추론에 대한 가장 강력한 방어 수단이며, 단일 레코드의 영향을 제한하는 이론적 보장을 제공한다. 신경망의 경우 차등 개인정보 보호는 일반적으로 훈련 중 그래디언트에 노이즈를 추가하는 DP-SGD(차등 개인정보 보호 확률적 경사 하강법)를 통해 구현된다.
실제로 멤버십 추론을 방어하는 것은 종종 일반화를 개선하고 과적합을 줄이는 것을 포함한다. 드롭아웃, 가중치 감쇠, 조기 중단과 같은 표준 기술은 간접적이지만 효과적인 개인정보 보호 조치이다. 또한 모델을 수정하여 정보 누출을 제한할 수 있다. 예를 들어, 신뢰도 점수를 반올림하거나 상위 k개 클래스로 잘라내거나 출력에 노이즈를 추가하는 방법이 있다. 이러한 접근 방식은 공격자가 악용할 수 있는 신호를 줄이지만 모델 유용성을 희생할 수 있다.
연구는 특히 모델의 규모와 복잡성이 증가함에 따라 모델 성능과 개인정보 보호 간의 균형을 계속 탐구하고 있다. 멤버십 추론은 개인정보 보호를 유지하는 기계 학습 기술을 평가하기 위한 핵심 벤치마크로 남아 있다.