폐색 민감도(occlusion sensitivity)는 머신 러닝과 인공 지능에서 훈련된 모델의 동작을 해석하는 데 사용되는 기법으로, 특히 신경망에 적용된다. 이 기법은 입력(예: 이미지, 텍스트 구간, 오디오 창)의 특정 영역을 체계적으로 가리거나 교란하고 모델의 예측 변화를 관찰하는 방식으로 작동한다. 특정 영역을 폐색했을 때 신뢰도가 크게 떨어지거나 예측 클래스가 바뀌면 해당 영역은 모델의 결정에 중요한 것으로 간주된다. 반대로 예측이 변하지 않으면 그 영역은 필수적이지 않은 것으로 판단된다. 이 방법은 모델에 구애받지 않으며, 내부 기울기나 아키텍처 세부 사항에 접근할 필요 없이 모든 예측 모델에 적용할 수 있다.
이 접근법은 컴퓨터 비전 맥락에서 대중화되었는데, 연구자들이 회색 사각형이나 블러 패치를 이미지 위로 슬라이드하며 각 위치에서 모델의 출력을 기록했다. 이는 예측에 가장 큰 영향을 미치는 입력 영역을 강조하는 히트맵 또는 돌출 맵(saliency map)을 생성한다. 이 기법은 직관적이고 구현이 쉬워 더 정교한 해석 가능성 방법을 평가하는 일반적인 기준선으로 사용된다. 그러나 폐색된 영역마다 한 번씩 여러 번의 순전파가 필요하므로 계산 비용이 많이 들며, 폐색 크기와 보폭(stride) 선택이 결과에 영향을 줄 수 있다.
역사적 배경
폐색 민감도의 개념은 딥 러닝 모델이 실제로 무엇을 학습하는지 이해하려는 초기 노력에서 등장했다. 2010년대에 딥 러닝 모델이 이미지 분류 작업에서 최첨단 결과를 달성하기 시작하면서 연구자들은 그 결정을 설명하려고 했다. 폐색 민감도를 보여준 가장 초기이자 영향력 있는 논문 중 하나는 2014년 스탠포드 대학교 및 다른 기관의 연구자들에 의해 발표되었다. 그들은 회색 사각형을 사용하여 이미지의 일부를 폐색했고, 결과 히트맵이 개를 개로 분류할 때 개의 얼굴을 강조하는 등 인간의 직관과 일치함을 보여주었다.
이 작업은 객체 검출 및 인식에 폐색을 사용한 컴퓨터 비전의 초기 연구를 기반으로 했다. 입력을 교란하여 중요성을 평가하는 아이디어는 통계학자와 엔지니어가 출력 변동이 입력 변동에 어떻게 의존하는지 연구한 고전적 민감도 분석에도 뿌리를 두고 있다. 머신 러닝 커뮤니티에서 폐색 민감도는 해석 가능성 도구 상자의 표준 도구가 되었으며, 종종 돌출 맵이나 기울기 시각화와 같은 기울기 기반 방법의 건전성 검사로 사용되었다.
방법론 및 구현
폐색 민감도의 핵심 절차는 여러 단계를 포함한다. 먼저 훈련된 모델을 선택하고 입력 샘플을 준비한다. 이미지의 경우 입력은 일반적으로 고정 크기 텐서이다. 특정 크기(예: 15x15 픽셀)의 창이 정의되고, 해당 창 내의 모든 픽셀을 상수 값(종종 0(검정), 평균 픽셀 값 또는 블러)으로 설정하는 마스크가 생성된다. 마스크된 입력은 모델을 통과하고 원래 예측 클래스에 대한 출력 확률이 기록된다. 이 과정은 창을 입력 전체에 걸쳐 슬라이드하며 반복되며, 일반적으로 창 크기보다 작은 보폭을 사용하여 겹치는 영역을 만든다.
결과는 점수들의 2D 맵이며, 각 점수는 해당 영역이 숨겨졌을 때 모델의 신뢰도를 나타낸다. 낮은 점수는 더 높은 중요성을 의미한다. 이러한 점수는 히트맵으로 시각화될 수 있으며, 종종 원본 이미지 위에 겹쳐진다. 텍스트 입력의 경우 개별 토큰이나 토큰 범위를 마스킹하여 특수 [MASK] 토큰이나 빈칸으로 대체함으로써 폐색을 적용할 수 있다. 오디오의 경우 시간-주파수 패치를 0으로 설정할 수 있다.
여러 변형이 존재한다. 상수 마스크 대신 무작위 노이즈를 사용할 수 있는데, 이는 정보 부재보다는 교란에 대한 모델의 민감도를 테스트한다. 또 다른 변형은 다양한 크기의 슬라이딩 창을 사용하여 여러 규모의 특징을 포착하는 것이다. 폐색 값의 선택도 중요하다: 검정 픽셀을 사용하면 인공적인 가장자리가 도입될 수 있는 반면, 평균 픽셀 값을 사용하면 더 중립적이다. 일부 구현은 원래 영역의 블러 버전을 사용하여 로컬 통계를 보존한다.
컴퓨터 비전에서의 응용
폐색 민감도는 이미지 분류, 객체 검출, 의료 이미지 분석과 같은 컴퓨터 비전 작업에 널리 적용되었다. 예를 들어 의료 이미징에서 연구자들은 피부 병변이나 폐 결절을 진단하는 모델이 우연한 인공물보다 임상적으로 관련된 영역에 초점을 맞추는지 검증하기 위해 폐색 민감도를 사용했다. 이는 자동 진단 시스템에 대한 신뢰를 구축하는 데 중요하다.
자율 주행에서 폐색 민감도는 모델이 결정을 위해 장면의 어떤 부분(예: 보행자, 교통 표지판, 차선 표시)에 의존하는지 식별하는 데 도움이 된다. 이는 디버깅 및 안전 분석에 유용하다. 예를 들어 특정 배경이 폐색될 때 모델이 정지 표지판을 일관되게 무시한다면 편향을 나타낼 수 있다.
이 기법은 명시적 감독 없이 객체 위치 파악에도 사용된다. 클래스 확률의 가장 큰 감소를 일으키는 영역을 찾음으로써 객체의 경계 상자를 근사할 수 있다. 이는 클래스 활성화 맵과 유사한 접근법이지만 계산 집약적이다.
자연어 처리에서의 응용
자연어 처리에서 폐색 민감도는 트랜스포머와 대규모 언어 모델에 적용되어 어떤 단어나 구문이 예측을 주도하는지 이해한다. 예를 들어 감정 분석에서 "I do not like this movie"와 같은 문장에서 "not"이라는 단어를 폐색하면 예측이 크게 바뀌어야 한다. 이는 모델이 표면적 단서보다 논리적 부정을 사용하는지 검증하는 데 도움이 된다.
질문 응답에서 맥락의 핵심 개체를 폐색하면 모델이 실제로 추론하는지 아니면 지름길에 의존하는지 드러낼 수 있다. 기계 번역에서 소스 토큰을 폐색하면 특정 대상 단어를 생성하는 데 가장 영향력 있는 단어를 보여줄 수 있다. 이는 번역 오류를 디버깅하는 데 특히 유용하다.
그러나 텍스트에서의 폐색은 언어가 이산적이고 맥락 의존적이기 때문에 더 어렵다. 단일 토큰을 마스킹하면 문법 구조가 바뀔 수 있으며, 모델은 정보 부재보다 마스크 토큰 자체에 반응할 수 있다. 연구자들은 무작위 토큰이나 빈칸으로 대체하는 등 여러 마스킹 전략을 사용하여 이를 완화한다.
다른 해석 가능성 방법과의 관계
폐색 민감도는 입력에 대한 출력의 기울기를 계산하는 돌출 맵과 같은 기울기 기반 방법과 자주 비교된다. 기울기 방법은 빠르지만 노이즈가 있을 수 있으며 비선형적으로 상호작용하는 특징의 진정한 중요성을 포착하지 못할 수 있다. 폐색 민감도는 정보 제거의 효과를 직접 측정하기 때문에 이 측면에서 더 견고하지만 더 느리다.
또 다른 관련 방법은 입력이 아닌 모델 자체의 일부를 제거하는 모델 가지치기이다. 폐색 민감도는 입력을 교란한다는 점에서 데이터 증강과도 유사하지만, 목적이 다르다: 증강은 일반화를 개선하는 반면 폐색은 예측을 설명하는 것을 목표로 한다.
이 기법은 주의 메커니즘이나 계층 귀속과 같은 새로운 방법을 평가하는 기준선으로 때때로 사용된다. 새로운 방법이 폐색 민감도와 크게 다른 히트맵을 생성한다면 의심스러울 수 있다. 그러나 폐색 민감도는 한계가 없지 않으며, 특징이 상관되어 있을 때 오해의 소지가 있을 수 있다고 연구자들은 지적했다.
한계 및 과제
주요 한계 중 하나는 계산 비용이다. 224x224 이미지에 16x16 폐색 창과 보폭 8을 사용하면 대략 676번의 순전파가 필요하다. 수십억 개의 매개변수를 가진 트랜스포머와 같은 대규모 모델의 경우 이는 엄청나게 비싸진다. 폐색 영역의 더 작은 하위 집합을 사용하거나 기울기로 효과를 근사하는 등 비용을 줄이기 위한 여러 전략이 제안되었다.
또 다른 과제는 폐색 값의 선택이다. 검정 픽셀을 사용하면 모델이 새로운 특징으로 해석할 수 있는 고주파 가장자리가 도입되어 잘못된 중요성을 초래할 수 있다. 평균 픽셀 값을 사용하면 더 중립적이지만 현실적인 시나리오를 반영하지 못할 수 있다. 블러는 대안이지만 신중한 매개변수 조정이 필요하다.
폐색 민감도는 또한 특징이 독립적이라고 가정한다. 두 영역이 함께 중요하지만 개별적으로는 필수적이지 않은 경우, 한 번에 하나씩 폐색하면 결합된 중요성을 드러내지 못한다. 이는 "마스킹 문제"로 알려져 있으며 교란 기반 방법의 근본적인 한계이다. 여러 영역을 동시에 폐색하거나 탐욕적 검색을 사용하는 것과 같은 일부 확장은 이를 해결하려고 시도한다.
최근 발전 및 미래 방향
생성형 AI와 대규모 언어 모델의 부상으로 폐색 민감도는 텍스트 생성 작업에 적응되었다. 예를 들어 연구자들은 생성된 응답에 가장 책임이 있는 프롬프트 토큰을 결정하는 데 사용했다. 이는 프롬프트 엔지니어링과 모델 출력의 편향 감지에 유용하다.
이미지와 텍스트를 모두 처리하는 다중 모달 모델에서 폐색 민감도는 두 양식 모두에 적용되어 교차 양식 의존성을 드러낼 수 있다. 예를 들어 이미지의 영역을 폐색하면 질문이 해당 영역을 명시적으로 언급하지 않더라도 모델의 답변에 영향을 줄 수 있다.
최근 연구는 적대적 견고성을 위해 폐색 민감도를 사용하는 것도 탐구했다. 민감도가 높은 입력 영역을 식별함으로써 더 효과적인 적대적 예제를 생성하거나, 반대로 해당 영역을 평활화하여 방어할 수 있다. 이는 적대적 견고성 및 견고한 훈련 연구와 연결된다.
모델이 더 복잡해짐에 따라 신뢰할 수 있는 해석 가능성의 필요성도 커진다. 폐색 민감도는 단순하고 직관적이며 모델에 구애받지 않기 때문에 여전히 가치 있는 도구로 남아 있다. 미래 발전은 근사를 통해 더 효율적으로 만들거나 주의나 잔차 연결과 같은 다른 기법과 통합하여 모델 동작에 대한 더 완전한 그림을 제공하는 데 초점을 맞출 수 있다.
실용적 고려 사항
실제로 폐색 민감도를 적용할 때 여러 매개변수를 선택해야 한다. 폐색 크기는 의미 있는 특징을 덮을 만큼 충분히 커야 하지만 공간 해상도를 제공할 만큼 작아야 한다. 보폭은 히트맵의 세분성을 결정한다. 폐색 값은 데이터 분포에 따라 선택해야 한다. 이미지의 경우 데이터 세트의 평균 픽셀 값을 사용하는 것이 일반적이다. 텍스트의 경우 특수 마스크 토큰을 사용하는 것이 표준이다.
기준 예측도 고려하는 것이 중요하다. 모델이 이미 불확실하면 폐색이 거의 효과가 없을 수 있다. 따라서 높은 신뢰도로 올바르게 분류된 샘플에 적용되는 경우가 많다. 또한 여러 샘플에 걸쳐 결과를 집계하여 더 안정적인 중요도 맵을 생성할 수 있다.
마지막으로 폐색 민감도는 다른 해석 가능성 방법과 함께 사용해야 한다. 완벽한 기법은 없으며, 여러 접근법의 결과를 삼각 측량하면 더 신뢰할 수 있는 통찰력을 제공할 수 있다. 이는 설명이 단순히 있으면 좋은 것이 아니라 규제 준수를 위해 요구되는 의료 및 금융과 같은 고위험 분야에서 특히 중요하다.
요약하면, 폐색 민감도는 대규모 AI 시대에도 여전히 관련성이 있는 기초적인 해석 가능성 기법이다. 단순성과 견고성 덕분에 계산 비용과 내재적 한계에도 불구하고 모델 결정을 이해하기 위한 첫 번째 도구로 사용된다.