CLEVER 점수(Cross-Lipschitz Extreme Value for nEtwork Robustness)는 신경망 분류기의 적대적 예제에 대한 견고성을 평가하기 위한 정량적 지표이다. 2018년 Tsui-Wei Weng과 동료들이 제안했으며, 주어진 입력에 대해 네트워크의 분류를 변경하는 데 필요한 최소 왜곡의 하한을 추정한다. 이 점수는 딥러닝의 핵심 과제, 즉 각 입력에 대해 풀기 어려운 최적화 문제를 해결하지 않고 최악의 경우 견고성을 측정하는 실용적이고 확장 가능한 방법을 제공하는 문제를 해결한다.
전통적인 적대적 견고성 측정은 종종 공격 알고리즘에 의존하는데, 이는 성공하는 특정 섭동만을 찾거나, 계산 비용이 높고 대규모 네트워크에는 거의 확장되지 않는 형식 검증에 의존한다. CLEVER는 이론적 보장과 계산 효율적 근사를 결합한 대안을 제공하며, 신경망 및 딥러닝 모델과 같은 현대 아키텍처에서 사용할 수 있게 한다.
방법론
CLEVER는 입력에 대한 네트워크 출력 함수의 립시츠 상수를 추정하여 로컬 견고성 인증서를 계산한다. 분류 네트워크의 경우 관련 함수는 실제 클래스와 각 경쟁 클래스의 로짓(소프트맥스 이전 출력) 간의 차이이다. 로컬 립시츠 상수는 입력이 섭동될 때 이러한 로짓 차이가 얼마나 빠르게 변할 수 있는지를 포착한다.
핵심 혁신은 극단값 이론의 사용이다. 딥 네트워크에는 비현실적인 전역 립시츠 상수를 직접 계산하는 대신, CLEVER는 입력 주변의 공 내에서 무작위 점에서 기울기를 샘플링한다. 그런 다음 관찰된 최대 기울기 크기에 극단값 분포(구체적으로 일반화 극단값 분포)를 적합시킨다. 추정된 꼬리 매개변수는 최소 적대적 왜곡에 대한 확률적 하한을 도출하는 데 사용된다.
이 접근 방식은 정확한 검증에 사용되는 혼합 정수 프로그래밍이나 SAT 솔버의 필요성을 피하므로 CLEVER가 훨씬 빠르다. 결과 점수는 엄격한 보장이 아닌 신뢰 수준이 있는 근사치이지만, 많은 이전 휴리스틱 경계보다 더 타이트한 것으로 입증되었다.
응용 및 비교
CLEVER는 MNIST 및 CIFAR-10과 같은 이미지 분류 벤치마크를 포함한 다양한 분류기의 견고성을 벤치마킹하는 데 사용되었다. 평가에서 공격 기반 지표(예: Fast Gradient Sign Method 또는 Projected Gradient Descent 공격)보다 모델 견고성의 더 정확한 순위를 제공했다. 예를 들어, CLEVER 점수가 더 높은 모델은 오분류를 유발하는 데 더 큰 섭동이 필요하며, 이는 더 나은 적대적 방어와 상관관계가 있었다.
Reluplex 또는 Planet과 같은 형식 검증 도구와 비교할 때 CLEVER는 덜 정확하지만 수백만 개의 매개변수를 가진 네트워크로 확장된다. ReLU 활성화가 있는 피드포워드 네트워크와 컨볼루션 아키텍처에 적용되었지만, 계산 비용으로 인해 순환 및 트랜스포머 기반 모델로의 확장은 덜 일반적이다.
확장 및 변형
여러 확장이 제안되었다. Multi-CLEVER(2019)는 최악의 경우뿐만 아니라 무작위 섭동 하에서 검증된 오류 경계를 계산하도록 방법을 확장한다. Robust-CLEVER는 점수를 적대적 훈련에 정규화기로 통합하여 네트워크를 더 평평한 결정 경계로 유도한다. 다른 연구는 \ell_2, \ell_\infty 및 \ell_1 섭동 노름을 처리하도록 맞춤형 립시츠 추정 기법을 제공하여 CLEVER를 적응시켰다.
TensorFlow 및 PyTorch 도구 상자를 포함한 소프트웨어 구현을 통해 연구자는 사용자 정의 모델에서 CLEVER 점수를 계산할 수 있다. 이 방법은 또한 무작위 평활화 방어의 견고성을 연구하는 데 사용되었으며, 여기서 점수는 평활화된 분류기에서 평가된다.
한계
CLEVER의 극단값 이론 의존은 통계적 불확실성을 도입한다. 하한은 지정된 확률(예: 95%)에서만 유효하며, 이는 안전이 중요한 응용에는 허용되지 않을 수 있다. 고차원 입력의 경우 필요한 기울기 샘플 수가 증가하여 계산이 늘어난다. 이 방법은 또한 손실 함수가 국소적으로 립시츠 연속이라고 가정하는데, 이는 대부분의 표준 네트워크에서 성립하지만 계단 함수와 같은 비매끄러운 활성화로 인해 위반될 수 있다.
실제로 CLEVER는 때때로 견고성을 과소평가한다 - 경계보다 작은 적대적 섭동도 정교한 공격으로 발견될 수 있다. 이러한 격차는 스펙트럼 정규화 또는 장벽 함수를 통한 립시츠 상수 기반과 같은 더 엄격한 인증서에 대한 추가 연구를 촉진했다.
유산
CLEVER 점수는 머신러닝의 견고성 검증 분야 성장에 기여했다. CROWN 및 SparseGROWN과 같은 인증된 방어 체계 하의 로컬 견고성 경계에 대한 후속 연구에 영향을 미쳤다. 최신 검증 방법이 더 타이트한 경계를 제공하지만, CLEVER는 경험적 연구에서 유용한 기준선으로 남아 있으며 수많은 적대적 견고성 논문에서 인용된다.
같이 보기
- 적대적 예제
- 형식 검증
- 립시츠 연속성
- 신경망 견고성