데이터 포이즈닝(data poisoning)은 머신러닝 시스템에 대한 적대적 공격의 한 유형으로, 공격자가 모델 구축에 사용되는 훈련 데이터를 의도적으로 조작하는 공격이다. 추론 단계에서 훈련된 모델을 이용하는 회피 공격과 달리, 포이즈닝 공격은 학습 단계에서 발생하며 전체 모델 성능 저하, 특정 오분류 유도, 또는 특정 조건에서 활성화되는 숨은 백도어 삽입을 목표로 한다. 이러한 공격은 훈련 데이터가 신뢰할 수 없는 기여자로부터 수집되거나 공개 저장소에서 검증 없이 스크래핑될 수 있는 고위험 애플리케이션에서 특히 위험하다.
대부분의 머신러닝 알고리즘의 기본 가정은 훈련 데이터와 테스트 데이터가 동일한 통계적 분포(독립적 동일 분포, 또는 IID)에서 추출된다는 것이다. 데이터 포폐닝은 학습된 결정 경계를 의도적으로 이동시키는 가짜 샘플을 삽입함으로써 이 가정을 위반한다. 이 적대적 조작은 미묘하게 이루어질 수 있으며, 공격 목표를 달성하기 위해 손상된 예제의 극히 일부만 필요할 때가 많다. 이러한 공격과 그 방어에 대한 연구는 <unk> 적대적 머신러닝이라는 더 넓은 분야의 일부이며, 이는 회피 공격, 비잔틴 공격, 모델 추출 공격에 대한 연구도 포함한다.
역사적 발전
데이터 포폐닝의 초기 사례는 스팸 필터링 맥락에서 나타났다. 2004년 1월 MIT 스팸 컨퍼런스에서 존 그레이엄-커밍은 한 머신러닝 스팸 필터를 자동 학습하여 다른 필터를 무력화할 수 있다는 것을 보여주며, 스팸 메일에 어떤 단어를 추가하면 스팸으로 분류되지 않게 할 수 있는지 자동으로 학습했다. 같은 해에, Nilesh Dalvi와 동료들은 스팸 필터에 사용되는 선형 분류기를 공격자가 이메일에 "양호한 단어"를 삽입하는 간단한 회피 공격으로 무력화할 수 있다고 언급했다. 2007년경, 일부 스패머는 이미지 스팸 내의 단어를 오인식시키기 위해 무작위 노이즈를 추가하여 OCR(광학 문자 인식) 기반 필터를 무력화했다.
2006년, Marco Barreno와 다른 연구자들은 "Can Machine Learning Be Secure?"를 발표하여 학습 시스템에 대한 공격의 광범위한 분류체계를 개괄했다. 2013년까지도 많은 연구자들은 서포트 벡터 머신과 신경망과 같은 비선형 분류기가 본질적으로 적대자에게 견고할 것이라는 기대를 가지고 있었다. 그러나 2012년에서 2013년 사이 Battista Biggio와 다른 이들이 이 모델에 대한 최초의 그래디언트 기반 공격을 시연하면서 그 기대는 줄어들었다. 2014년부터 Christian Szegedy와 다른 이들은 심층 신경망이 그래디언트 기반 방법을 사용하여 적대적 섭동을 생성함으로써 속일 수 있다는 것을 보여주었고, 이는 분야의 급속한 성장을 촉발하였다.
공격 메커니즘과 변형
데이터 포폐닝 공격은 공격자의 목표와 접근 권한에 따라 여러 가지 형태가 될 수 있다. 일반적인 변형은 백도어 공격으로, 특정 트리거 패턴(예: 작은 패치 또는 특정 픽셀 배치)을 포함한 훈련 샘플을 주입하여 가상의 대상 클래스로 라벨을 붙는 것이다. 훈련 후, 모델은 깨끗한 입력에 대해서는 정상으로 동작하지만 트리거가 포함된 입력은 포함된 경우 잘못 분류한다. 또 다른 변형은 가용성 포폐닝으로, 학습 알고리즘을 혼동시키는 아웃라이어 또는 잘못 등딩된 예를 주입하여 실제 데이터에 대한 모델의 전반적인 정확도를 저하시키는 것을 목표로 한다.
최적화 기반 접근법이 개발되어 훈련된 모델에 미치는 영향이 가장 큰 포폐닝 샘플을 생성하는데 이용된다. 예를 들어, 악성 코드 검출 분야에서 악성 이진 파일을 자동으로 생성하여 학습 기반 탐지기를 회피하면서 악성 기능을 유지하는 방법이 제안되었다. GAMMA 프레임워크는 유전자 알고리즘을 사용하여 Windows 실행파일에 패딩 또는 새로운 PE 섹션과 같은 유해한 콘텐츠를 주입하여 회피를 제한된 최적화 문제로 프레이밍하며, 잘못된 분류 성공과 주입된 페이로드의 크기 사이의 균형을 맞춘다. 보완적인 작업은 GAN(생성적 적대 신경망)을 사용하여 표본을 benign으로 분류하는 특징 공간의 노이즈를 학습한다. Mal-LSGAN은 표준 GAN 손실 함수를 최소 제곱 목적으로 대체하고 수정된 활성화 함수를 사용하여 훈련 안정성을 향상시켜 다수의 탐지기에서 참 양성 비율을 현저히 줄이는 포폐닝 샘플을 생성한다.
컴퓨터 비전 분야에서는 단 하나의 픽셀만 바꾸어도 심층 학습 알고리즘을 속일 수 있음을 보여준 연구가 있다. 다른 연구는 Google의 객체 감지 AI가 무한한 시야각에서도 이를 소총으로 분류하도록 특수 질감의 3D 프린팅 장난감 거북이를 제작하였다. 이 거북의 생성은 저비용으로 상업적으로 구매 가능한 3D 프린팅 기술만으로 가능했다. 그리고 개 이미지를 기계 조작한 뒤 컴퓨터와 인간 모두이 개체를 고양이로 인식하게 한 결과와 2019년 연구에서는 인간이 기계도적 이미지를 어떻게 분류될지 추측할 수 있다고 발표했다.
실제 세계 사례
데이터 포폐닝과 관련 적대 공격은 다양한 실제 환경에서 시연되었다. 스팸 필터링에서는 메시지를 어휘 왜곡을 사용하여 "나쁜" 단어를 재발하거나 "좋은" 단어를 삽입하여 처리하는 공격이 포함된다. 컴퓨터 보안에서는 네트워크 패킷에 악성 코드를 난독화하거나 네트워크 흐름 특성을 수정하여 침입 탐지 시스템을 속인다. 생체 인식에서는 실제사용자를 사칭하거나 시간에 따라 갱신되는 사용자의 템플 레이트를 조작하기 위해 위조된 생재적 특징이 사용될 수 있다.
특히 주목할 만한 사례로는 McAfee가 테슬라의 옛 MoleSys 시스템을 공격하여 빨간 제한 표지판에 2인치 흑테이프만 추가하여 시속 50km 초과로 달리게 하는 것이었다. 연구가 표지판의 모양을 변형시켜 무인 차량이 이를 합류 또는 속도 제한 표시로 분류하게 하는 방법도 발견했다. 얼굴 인식 시스템이나 차량 번호판 판독기를 속이기 위한 특수 패턴의 안경이나 의복 위의 소프트웨어적 장식은 "은밀 스트리트 웨어"라는 전문 시장을 만들어 냈다.
2023년, 미국 시카고 대학 연구위는 시각 아티스트들이 자신의 저작물에 사용할 수 있는 데이터 포폐닝 필터인 "Nightshade"를 발표했다. 이 필터는 작품을 인터넷에서 동의 없이 스크래핑하는 텍스트-이미지 모델들의 데이터셋을 오염시키기 위한 것이다. 신경망에 대한 적대 공격은 공격자가 타깃 시스템에 특정 알고리즘을 주입할 수도 임했다. 연구자들은 지능형 어시스턴트에게 benign하게 들리는 오디오에 명령을 숨겨 넣는 적대적 오디오 입력을 생성했으며, 이와 병행한 연구는 인간의 인식 왜곡 유사 자극에 미치는 인간의 지각 능력에 대해 탐구하고 있다.
실제 환경에서의 도전 과제
추가 연구에 따르면, 통제되지 않은 환경에서는 다양한 제약 조건들이 노이즈 효과를 상쇄시키기 때문에 적대 공격을 발생시키기가 더 어렵게 된다. 예를 들어, 적대 이미지의 작은 회전이나 약간의 조명 변화만으로도 적대성이 파괴될 수 있다. Google Brain의 Nick Frosst와 같은 연구자들은 적대 사례 생성보다는 실제 지운 표지판을 제거하는 것이 자율 알고리즘이 정지 신호를 놓치게 만들기가 훨씬 쉽다고 지적한다. Frosst는 또 적대적 머신러닝 커뮤니티가 특정 데이터 분포에 학습된 모델이 완전히 다른 분포에서도 잘 작동할 것이라는 가정을 잘못하고 있다고 믿는다. 그는 인간 인식 특성에 깊이 연결된 성질을 가진 새로운 머신러닝 접근을 탐구해야 한다고 제안하며, 현재 최신 기술보다는 인간의 지각 특성에 특징을 갖춘 독특한 신경망을 연구 중이다.
새로운 적대적 공격은 인간의 움직임 인식 시스템에서도 매우 효과적이다. 인공지능은 주위 감시, 자율주행 차량, 실내 모니터링 등 다양한 응용분야에서 널리 사용되고 있다. 이런 시스템에 대한 공격위험 통해, 공격자들은 인간 특성 표현에 노이즈를 유도하여 인식 시스템을 속인다. 이 공격은 인식 시스템 자체에 대한 접근 권한을 필요하지 않을 수 있으며, 사용자 인식에 무해한 불가지적일 수 있다.
방어와 완화
데이터 포폐닝에 대한 방어는 일반적으로 몇 가지 범주로 나뉜다. 데이터 샤네이팅은 훈련 전에 훈련 데이터을 필터링하여 이상하거나 의심스러운 샘플을 제거하는 방법이다. 중간값 평균과 같은 강 건한 집합 방법(robust aggregation)은 분산 학습 중 아웃라이어 그레이디언트의 영향을 줄인다. 이상 감지 기술은 들어오는 데이터의 통계적 특성을 모니터링하여 포폐닝 시도를 식별할 수 있다. 차별 정의적 프라이버시는 모든 단일 훈령 데이터의 영향력을 수학적으로 제한하여 포폐닝의 충격을 제한하는 패를 제공한다.
보안 응용(예: 악성 코드 및 바이러스 분석에서 악성군탐지하고 특정 감지 서명을 생성)에서 사용되는 클러스터링 알고리즘의 맥락에서는 클러스터 과정을 오도하는 샘플을 주입할 수 있는 가능성을 고려해야 한다. 적대적 머신러닝은 여전히 학문에 깊이 뿌리를 두고 있지만, Google, Microsoft, IBM과 같은 대형 기술 기업들이 머신러닝 모델의 견고성을 구체적으로 평가하고 가장 위험을 최소화할 수 있도록 문서와 오프 소스 코드 베이스를 정리하기 시작했다.
광범위한 영향
데이터 포폐닝에 대한 연구는 머신러닝 파이프라인에서의 기본적인 취약점을 강조한다. 인공지능 시스템이 자동 차, 헬스케어, 보안과 같은 중요한 분야에 점점 더 배치되면서 훈련 데이터의 무결성은 확인할 수 없다. 인터넷에서 스크래핑된 거대한 데이터셋으로 훈련하는 생성형 AI 및 대형 언어 모델 그리고 가능성이 크게 늘어난 공격 표면은 크게 확장된다. 포피접 공격이 이기적 모형의 선호도나 안전 정렬을 타깃으로 하여, 해롭거나 편향된 결과들에 대해 생산할 수 있다.
연구자들은 공시 중 공세와 방어 방법을 모두 계속 탐구하고 있으며, 적적과의 군비 경쟁은 계속되고 있다. 이 분야는 심층 학습, 신경망 이론, 최적화 이론에서 아이디어를 얻고 있다. 특히 불연속 민감성과 적자적 잡음에 대한 모델의 민감성을 이해하는 것은 더 강건하고 신뢰할 수 있는 AI 시스템을 구축하기 위해 필수적이다.
향후 방향
데이터 포폐닝에 대한 향후 연구는 증명 가능한 방어 기능 개발, 저항성의 이론적 한계 이해, 견성성을 평가를 위한 표준화된 기준점을 구축하는 일반화 가능성에 중점을 둔다. Frosst가 제안한 인간 지각 연구와의 통합은 별도으로 조적인 조작에 본질적으로 더 저항할 수 있는 구성으로 이어질 수 있다. 또한 데이터 보드와 동의에 대한 규정이 진화함에 따라 데이터 포폐닝을 항의 또는 보호로 사용하는 윤리적 걷이, Nightpoll과 같은 도구로 예시로 제시된 이슈에 대한 논쟁은 계속될 것이다.