레이어별 관련성 전파(LRP)는 기계 학습 및 딥 러닝에서 신경망의 예측을 설명하기 위한 기법이다. 이 기법은 모델의 출력 예측을 네트워크를 통해 역방향으로, 계층별로 전파하여 각 입력 특성에 대한 관련성 점수를 계산한다. 이러한 점수는 각 특성이 최종 결정에 기여한 정도를 나타내며, 일반적으로 입력 위에 히트맵으로 시각화된다. LRP는 보존 원칙에 기반을 두고 있으며, 각 계층의 총 관련성은 이전 계층으로 재분배될 때 보존되어, 관련성 점수의 합이 모델 출력(편향 항 제외)과 같아지도록 보장한다. 이는 LRP를 섭동 기반 방법(입력을 변경하여 출력 변화를 관찰하는 방법)과 구별되는, 원칙적이고 수학적으로 엄밀한 모델 해석 가능성 접근법으로 만든다.
2010년대 중반 Sebastian Bach, Alexander Binder, Grégoire Montavon, Klaus-Robert Müller, Wojciech Samek을 포함한 연구자들에 의해 개발된 LRP는 설명 가능한 AI(XAI)의 광범위한 분야에서 등장했다. 기초 논문인 "On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation"은 2015년에 출판되었다. 그 이후로 LRP는 특히 컴퓨터 비전과 자연어 처리에서 복잡한 모델을 해석하는 표준 도구가 되었다. 이는 모델이 관련 특성에 집중하는지 검증하고, 편향을 식별하며, 예상치 못한 동작을 디버깅하는 데 자주 사용된다. LRP는 의료 영상에서 자율 주행에 이르는 다양한 분야에 적용되었으며, 트랜스포머 기반 모델을 포함한 다양한 네트워크 아키텍처를 처리하도록 확장되었다.
핵심 원칙
LRP의 핵심 아이디어는 로컬 재분배 규칙을 사용하여 예측 출력 f(x)를 네트워크를 통해 역방향으로 재분배하는 것이다. 각 계층의 뉴런 i에 대해, 해당 관련성 R_i는 후속 계층의 뉴런 j의 관련성과 그들 사이의 가중 연결을 기반으로 계산된다. 가장 기본적인 규칙인 LRP-0 규칙은 각 뉴런이 다음 계층의 활성화에 기여한 비율에 따라 관련성을 분배한다. 공식적으로, 활성화 a_j와 뉴런 i를 j에 연결하는 가중치 w_{ij}를 가진 뉴런 j에 대해, j에서 i로의 관련성은 R_{i \leftarrow j} = (a_i w_{ij} / \sum_{i'} a_{i'} w_{i'j}) R_j로 주어진다. 이 규칙은 각 계층의 관련성 합이 다음 계층의 합과 같아지도록 보장하여 보존 속성을 충족한다.
그러나 LRP-0 규칙은 분모가 0에 가까울 때 불안정할 수 있다. 이를 해결하기 위해 여러 변형이 제안되었다. LRP-엡실론 규칙은 분모에 작은 양의 상수 엡실론을 추가하여 계산을 안정화한다. LRP-감마 규칙은 양의 기여를 더 강하게 가중하여 특정 모델에 대한 설명 품질을 향상시킬 수 있다. LRP-알파-베타 규칙은 알파와 베타 매개변수로 제어되는 양의 기여와 음의 기여의 가중 조합을 허용하며, 알파 + 베타 = 1이라는 제약 조건을 가진다. 이러한 변형은 특정 응용 프로그램과 모델 유형에 맞게 설명을 조정하는 유연성을 제공한다.
역전파와의 관계
LRP는 그래디언트 클리핑 및 SGD 변형을 통해 신경망을 훈련하는 데 사용되는 알고리즘인 역전파와 개념적 유사성을 공유한다. 둘 다 네트워크를 통한 역방향 패스를 포함한다. 그러나 그 목적은 근본적으로 다르다. 역전파는 훈련 중에 네트워크의 가중치를 업데이트하기 위해 손실 함수의 그래디언트를 계산한다. 반면 LRP는 네트워크를 수정하지 않고 특정 예측에 대한 입력 특성의 관련성 점수를 계산한다. 그래디언트는 속성 부여(예: 돌출 맵)에도 사용될 수 있지만, 그래디언트 포화 및 노이즈와 같은 문제가 있다. LRP는 보존을 명시적으로 강제하고 맞춤형 재분배 규칙을 사용하여 더 일관되고 인간이 해석할 수 있는 설명을 생성하도록 설계되었다.
컴퓨터 비전에서의 응용
컴퓨터 비전에서 LRP는 합성곱 신경망(CNN)에 자주 적용되어 분류 결정에 가장 강하게 영향을 미치는 이미지의 픽셀을 강조하는 히트맵을 생성한다. 예를 들어, 의료 영상에서 LRP는 X-ray 또는 MRI 스캔에서 질병을 감지하는 모델의 예측을 설명하는 데 사용되어 방사선 전문의가 모델의 초점을 신뢰하고 검증하도록 돕는다. 자율 주행에서 LRP는 모델이 보행자나 교통 표지판 감지와 같은 결정을 내리는 데 사용하는 도로 장면의 영역을 강조할 수 있다. 이 기법은 또한 모델이 실제 관심 대상이 아닌 워터마크나 배경 객체에 의존하는 것과 같은 허위 상관 관계를 식별하는 데 사용되었다.
자연어 처리에서의 응용
대규모 언어 모델과 트랜스포머 아키텍처의 부상과 함께 LRP는 텍스트 분류 및 생성 작업을 설명하도록 적응되었다. NLP에서 관련성은 어텐션 계층과 피드포워드 네트워크를 통해 전파되어 입력 문장의 개별 토큰이나 단어에 중요도 점수를 할당한다. 이는 모델이 감정 분류나 주제 라벨링과 같은 특정 예측을 한 이유를 이해하는 데 도움이 된다. 예를 들어, LRP는 감정 모델이 중립 단어를 무시하면서 "not"이나 "excellent"와 같은 단어에 크게 의존한다는 것을 밝힐 수 있다. LRP의 확장은 다중 헤드 어텐션 메커니즘과 잔차 연결을 통한 전파를 포함하여 트랜스포머의 특정 구조를 처리하기 위해 개발되었다.
변형 및 확장
기본 규칙 외에도 다양한 시나리오를 처리하기 위해 여러 LRP 확장이 제안되었다. 딥 테일러 분해(DTD)는 LRP를 테일러 확장과 통합하는 이론적 프레임워크를 제공하여 복잡한 비선형성에 대한 재분배 규칙을 도출하는 원칙적인 방법을 제공한다. LRP는 또한 모델 가지치기 및 데이터 증강과 같은 다른 해석 가능성 방법과 결합되어 모델 견고성과 설명 가능성을 향상시킨다. 시계열 데이터의 경우 LRP는 순환 신경망(RNN)과 장단기 메모리(LSTM) 네트워크에 적용될 수 있지만, 전파 규칙은 순환 연결을 처리하도록 적응되어야 한다. 또한 LRP는 더 세분화된 설명을 제공하기 위해 어텐션 메커니즘과 결합하여 사용되었다.
다른 설명 가능성 방법과의 비교
LRP는 신경망 예측을 설명하는 여러 기법 중 하나이다. 다른 인기 있는 방법으로는 SHAP(SHapley Additive exPlanations), LIME(Local Interpretable Model-agnostic Explanations) 및 통합 그래디언트가 있다. SHAP는 협동 게임 이론에 기반하며 특성 속성 부여를 위한 통합 프레임워크를 제공하지만 계산 비용이 많이 들 수 있다. LIME은 해석 가능한 대리 모델로 모델을 로컬에서 근사하지만 설명이 불안정할 수 있다. 통합 그래디언트는 LRP와 마찬가지로 역전파 기반 방법이지만 기준점에서 입력까지의 경로를 따라 그래디언트를 적분하는 데 의존한다. LRP는 계산 효율성과 여러 모델 평가 없이 선명하고 국소화된 설명을 생성하는 능력으로 인해 종종 선호된다. 그러나 방법 선택은 특정 사용 사례, 모델 아키텍처 및 설명의 원하는 속성에 따라 달라진다.
한계 및 과제
강점에도 불구하고 LRP에는 한계가 있다. 설명의 품질은 재분배 규칙과 하이퍼파라미터 선택에 따라 달라지며, 각 모델에 대해 조정이 필요할 수 있다. LRP는 매우 깊은 네트워크나 복잡한 비선형성을 가진 모델에 대해 노이즈가 많거나 직관에 반하는 설명을 생성할 수 있다. 보존 속성은 이론적으로 매력적이지만 수치적 문제나 근사로 인해 실제로 항상 정확히 유지되지는 않을 수 있다. 또한 LRP는 주로 미분 가능한 모델을 위해 설계되었으며, 미분 불가능한 모델이나 이산 구성 요소가 있는 모델에 적용하려면 추가 적응이 필요하다. 서로 다른 규칙이 동일한 예측에 대해 서로 다른 속성 부여를 생성할 수 있으므로 LRP 설명의 충실성에 대한 논쟁도 진행 중이다.
소프트웨어 및 구현
여러 오픈 소스 라이브러리가 LRP를 구현하여 실무자가 쉽게 접근할 수 있게 한다. 튀빙겐 대학 팀이 개발한 innvestigate 라이브러리는 LRP를 포함한 다양한 속성 부여 방법에 대한 통합 인터페이스를 제공하며 TensorFlow 및 Keras와 같은 인기 있는 딥 러닝 프레임워크를 지원한다. zennit 라이브러리는 더 유연하고 구성 가능한 구현을 제공하여 사용자가 사용자 정의 전파 규칙을 정의할 수 있게 한다. PyTorch 사용자를 위해 torchxrayvision 및 기타 전문 패키지에는 LRP 구현이 포함되어 있다. 이러한 도구는 연구와 산업 모두에서 LRP 채택을 촉진하여 실무자가 최소한의 코딩 노력으로 설명을 생성할 수 있게 했다.
향후 방향
LRP에 대한 연구는 계속 진화하고 있으며, 이론적 기반을 개선하고, 새로운 아키텍처로 확장하며, 모델 개발 파이프라인에 통합하려는 노력이 이루어지고 있다. 생성형 AI와 대규모 언어 모델이 더 보편화됨에 따라 그 출력을 설명하는 데 대한 관심이 증가하고 있으며, LRP는 이러한 모델의 규모와 복잡성을 처리하도록 적응되고 있다. 또한 LRP를 인과 추론 및 반사실적 추론과 결합하는 것은 활발한 탐구 영역이다. 목표는 단순한 특성 속성 부여를 넘어 모델 디버깅, 편향 감지 및 규제 준수에 정보를 제공할 수 있는 더 포괄적이고 실행 가능한 설명으로 나아가는 것이다.