Integrated Gradients는 Machine learning에서 Deep learning 모델, 특히 Neural network의 예측을 설명하는 기법이다. 이 기법은 각 입력 특성에 대한 기여도 값을 계산하여, 특정 예측에서 해당 특성이 모델 출력에 얼마나 기여했는지를 나타낸다. 이 방법은 2017년 Mukund Sundararajan, Ankur Taly, Qiqi Yan의 논문에서 소개되었으며, 컴퓨터 비전 및 자연어 처리와 같은 분야에서 모델 해석에 널리 사용된다.
핵심 아이디어는 중립적인 기준선(예: 제로 벡터 또는 완전히 검은 이미지)에서 실제 입력으로 입력이 보간될 때 모델 출력이 어떻게 변하는지 측정하는 것이다. 이 직선 경로를 따라 출력의 입력에 대한 기울기를 누적함으로써, Integrated Gradients는 각 특성에 대해 단일하고 일관된 기여도 점수를 제공한다. 이 접근 방식은 이미 강하게 활성화된 특성에 대해 기울기가 0이 되는 포화 문제를 겪을 수 있는 더 단순한 기울기 기반 방법과 차별화된다.
공리적 기반
Integrated Gradients는 모든 기여도 방법에 바람직한 것으로 간주되는 두 가지 핵심 공리를 충족하도록 설계되었다. 첫 번째는 민감도(Sensitivity)로, 특성이 기준선과 입력 사이에서 다르고 해당 특성만 변경하면 모델 출력이 변경되는 경우 해당 특성은 0이 아닌 기여도를 받아야 한다는 것을 명시한다. 두 번째는 구현 불변성(Implementation Invariance)으로, 두 개의 기능적으로 동등한 모델(즉, 내부 계산이 다르더라도 모든 입력에 대해 동일한 출력을 생성하는 모델)이 동일한 기여도를 생성해야 한다는 것을 요구한다. 이 속성은 많은 신경망 아키텍처가 여러 방식으로 구현될 수 있고, 사용자가 특정 코드가 아닌 모델의 동작에 연결된 설명을 원하기 때문에 중요하다.
세 번째 공리인 완전성(Completeness)도 충족된다: 모든 기여도의 합은 입력에서의 모델 출력과 기준선에서의 출력 간의 차이와 같다. 이는 유용한 검산 역할을 하며 기여도를 출력 변화에 대한 기여로 직접 해석할 수 있게 한다.
수학적 정의
모델 \(f\)(일반적으로 신경망)에 대해 입력 \(x \in \mathbb{R}^n\)과 기준선 \(x'\)이 주어질 때, \(i\)-번째 특성에 대한 Integrated Gradient는 다음과 같이 정의된다:
\[ IG_i(x) = (x_i - x'_i) \times \int_{\alpha=0}^{1} \frac{\partial f(x' + \alpha(x - x'))}{\partial x_i} \, d\alpha \]
실제로 적분은 경로를 따라 균등하게 배치된 \(m\)개의 점에 대한 이산 합으로 근사되며, 일반적으로 \(m\)은 20에서 300 사이로 사용된다. 기준선 선택은 중요하다; 일반적인 기준선에는 제로 벡터, 훈련 데이터셋의 평균, 또는 입력의 블러 버전이 포함된다. 텍스트 모델의 경우 기준선은 모두 0인 임베딩 벡터일 수 있다.
다른 기여도 방법과의 비교
Integrated Gradients 이전에는 일반적인 기여도 기법으로 기울기 포화(입력에서의 원시 기울기)와 폐색 기반 방법(입력의 일부를 교란하고 출력 변화를 측정)이 포함되었다. 원시 기울기는 시그모이드나 탄젠트 하이퍼볼릭과 같은 활성화 함수의 포화 영역에 이미 있는 중요 특성에 대해 0에 가까울 수 있기 때문에 종종 실패한다. 폐색 방법은 계산 비용이 많이 들고 교란 선택에 민감할 수 있다. Integrated Gradients는 전체 경로에 걸쳐 기울기를 누적하여 포화 문제를 해결하며, 표준 역전파와 유사한 몇 번의 순전파 및 역전파만 필요하므로 계산 효율적이다.
또 다른 인기 있는 방법인 SHAP(SHapley Additive exPlanations)은 게임 이론에 기반하며 다른 이론적 보장을 제공하지만, 정확히 계산하는 데 더 많은 비용이 들 수 있다. Integrated Gradients는 특히 대규모 모델에서 단순성과 속도로 인해 종종 선호된다.
자연어 처리에서의 응용
Natural language processing 작업에서 Integrated Gradients는 Transformer (architecture) 기반 모델, 특히 Large language model의 예측을 설명하는 데 자주 사용된다. 예를 들어, 감정 분류 모델이 주어지면 이 방법은 문장에서 어떤 단어가 예측을 긍정 또는 부정으로 가장 강하게 밀어붙이는지 강조할 수 있다. 이는 각 토큰의 임베딩을 특성으로 취급하고 임베딩 차원에 대해 기여도를 계산한 다음 토큰별로 집계하여 수행된다.
연구자들은 Integrated Gradients를 사용하여 모델을 디버깅하고, 허위 상관관계를 식별하며, 모델이 관련 정보에 주의를 기울이는지 확인했다. 예를 들어, 질문 응답 시스템에서 기여도는 모델이 구절의 올바른 부분에 의존하는지 아니면 관련 없는 단서에 의존하는지 밝힐 수 있다. 이 방법은 기계 번역과 같은 작업의 Sequence-to-Sequence (Seq2Seq) 모델에도 적용되어, 각 생성된 대상 단어에 어떤 소스 단어가 영향을 미치는지 보여줄 수 있다.
컴퓨터 비전에서의 응용
컴퓨터 비전에서 Integrated Gradients는 모델의 분류 결정에 가장 책임이 있는 픽셀이나 이미지 영역을 강조하는 살리언시 맵을 생성한다. ImageNet에서 훈련된 모델의 경우, 개 이미지에 대한 기여도 맵은 배경을 무시하면서 개의 얼굴과 몸을 강조할 수 있다. 이러한 맵은 종종 원본 이미지 위에 오버레이된 히트맵으로 시각화된다.
이 방법은 Residual Network (ResNet) 아키텍처 및 기타 심층 모델을 분석하는 데 사용되어 연구자들이 계층 간에 특성이 어떻게 결합되는지 이해하는 데 도움을 준다. 또한 해석 가능성이 중요한 의료 영상에서 일반적인 도구로, 예를 들어 기여도는 방사선 스캔의 어떤 부분이 진단에 영향을 미쳤는지 보여주어 임상의가 모델 결정을 검증하는 데 도움을 준다.
확장 및 변형
원래 Integrated Gradients에 대한 여러 확장이 제안되었다. 기대 Integrated Gradients(Expected Integrated Gradients)는 분포에서 샘플링된 여러 기준선에 대해 평균을 내어 기준선 선택에 대한 민감도를 줄일 수 있다. 통합 헤시안(Integrated Hessians)은 2차 도함수로 아이디어를 확장하여 특성 상호작용에 대한 정보를 제공한다. 또 다른 변형인 DeepLIFT는 다른 역전파 규칙을 사용하지만 민감도 공리를 충족하는 동일한 목표를 공유한다.
텍스트 토큰과 같은 이산 입력을 가진 모델의 경우, 실무자는 종종 임베딩 계층에서 기여도를 계산한 다음 차원 전체에 걸쳐 집계한다. 일부 연구는 그래프와 같은 구조화된 데이터를 처리하도록 Integrated Gradients를 적응시켰으며, 여기서 경로는 노드 또는 엣지 특성에 대해 정의된다.
실용적 고려 사항
단계 수 \(m\)를 선택하는 것은 정확성과 계산 간의 절충을 포함한다. 단계가 너무 적으면 노이즈가 많은 근사치가 발생할 수 있고, 너무 많으면 런타임이 증가한다. 일반적인 기본값은 \(m = 50\) 또는 \(m = 100\)이다. 기준선 선택도 중요하다; 이미지의 경우 검은 이미지(모두 0)가 표준이지만, 정규화된 입력으로 훈련된 모델의 경우 평균 픽셀 값이 더 적절할 수 있다. 텍스트의 경우 제로 임베딩 벡터를 사용하는 것이 일반적이지만, 일부 연구에서는 패딩 토큰의 임베딩과 같은 특수 토큰을 사용할 것을 제안한다.
기여도는 음수일 수 있으며, 이는 특성이 예측을 대상 클래스에서 멀어지게 밀어붙인다는 것을 나타낸다. 절대값을 취하거나 양수 및 음수 기여도를 별도로 시각화하는 것이 일반적이다. 완전성 공리는 기여도의 합이 출력 차이와 같음을 보장하므로 구현을 검증하는 데 사용할 수 있다.
한계 및 비판
인기에도 불구하고 Integrated Gradients에는 한계가 있다. 기준선 선택은 결과에 크게 영향을 미칠 수 있으며, 이를 선택하는 보편적으로 인정된 규칙은 없다. 이 방법은 직선 경로를 가정하지만, 이는 모델의 실제 결정 경계를 반영하지 않을 수 있다. 일부 연구는 기여도가 입력의 작은 교란에 민감할 수 있음을 보여주어 견고성에 대한 의문을 제기한다. 또한 매우 깊은 모델의 경우 적분 근사가 수렴하는 데 많은 단계가 필요할 수 있어 계산 비용이 증가한다.
또 다른 비판은 기여도가 국소적이며 모델 동작에 대한 전역적 이해를 제공하지 않는다는 것이다. 이는 단일 예측을 설명하지만 모델의 전반적인 논리를 설명하지는 않는다. 연구자들은 Model Pruning 또는 Data Augmentation과 같은 다른 기법과 Integrated Gradients를 결합하여 더 깊은 통찰력을 얻을 것을 제안했다.
다른 설명 가능성 도구와의 관계
Integrated Gradients는 더 넓은 설명 가능성 방법 생태계의 일부이다. 이는 PyTorch용 Captum 라이브러리와 AI Explainability 360 툴킷을 포함한 여러 인기 라이브러리에서 구현된다. 이러한 라이브러리는 다양한 모델 아키텍처에서 기여도를 계산하는 API를 제공하여 실무자가 접근할 수 있게 한다. 이 방법은 Artificial intelligence 안전 및 공정성 연구에서도 사용되며, 모델 결정을 이해하는 것이 감사 및 규제에 중요하다.
Generative AI 맥락에서 Integrated Gradients는 Stable Diffusion 및 GPT 스타일 모델과 같은 모델의 출력을 설명하는 데 적용되었지만, 고차원 출력 공간은 과제를 제기한다. Large language model의 경우 기여도는 어휘 또는 토큰 임베딩에 대해 계산될 수 있어 프롬프트의 어떤 부분이 특정 응답을 유도하는지 식별하는 데 도움을 준다.
미래 방향
모델이 크기와 복잡성에서 성장함에 따라 효율적이고 신뢰할 수 있는 기여도 방법의 필요성이 증가한다. Integrated Gradients는 여전히 기초적인 기법이지만, 진행 중인 연구는 계산 효율성을 개선하고, 하이퍼파라미터에 대한 민감도를 줄이며, 새로운 모델 유형으로 확장하는 것을 목표로 한다. 또한 단순한 상관관계가 아닌 인과적 설명을 제공하는 방법 개발에 대한 관심도 있으며, 이는 기여도를 개입 기반 접근 방식과 통합해야 할 것이다.
전반적으로 Integrated Gradients는 이론적 보장과 실용적 사용 용이성으로 인해 머신 러닝 해석 가능성 도구 상자에서 표준 도구가 되었다. 학계와 산업계 전반에 걸친 채택은 윤리적 고려 사항과 규제 요구 사항 모두에 의해 주도되는 AI 시스템의 투명성에 대한 더 넓은 추세를 반영한다.