특성 귀속(feature attribution)은 Machine learning에서 모델의 각 입력 특성에 수치적 중요도 점수를 할당하여, 해당 특성이 특정 예측에 얼마나 기여했는지를 나타내는 기법 계열이다. 이러한 점수는 모델이 특정 결정을 내린 이유를 설명하는 데 도움을 주며, 불투명한 모델을 해석 가능한 시스템으로 전환한다. 특성 귀속은 복잡한 알고리즘의 행동을 인간이 이해할 수 있게 만드는 것을 목표로 하는 설명 가능한 AI(XAI)라는 더 넓은 분야의 핵심 구성 요소이다. 개별 입력의 영향을 정량화함으로써, 이러한 방법은 실무자가 모델을 디버깅하고, 모델이 합리적인 패턴에 의존하는지 검증하며, 사용자와 규제 기관의 신뢰를 구축할 수 있게 한다.
특성 귀속의 필요성은 정교한 모델, 특히 종종 "블랙박스"로 기능하는 Deep learning 시스템의 배포가 증가하면서 발생한다. 이러한 모델은 이미지 인식, 자연어 처리, 의료 진단과 같은 작업에서 높은 정확도를 달성하지만, 내부 추론 과정은 직접 접근할 수 없다. 특성 귀속은 사후 설명 계층을 제공하여 모델의 의사 결정 과정에 대한 단순화된 관점을 제시한다. 이는 입력과 출력 간의 관계가 설계상 명시적인 선형 회귀나 결정 트리와 같은 본질적으로 해석 가능한 모델과는 구별된다.
역사적 발전
특성 귀속의 개념적 뿌리는 고전 통계학과 민감도 분석으로 거슬러 올라간다. 1960년대와 1970년대의 초기 연구는 Xerox PARC 및 다른 기관의 연구자들의 기여를 포함하여, 개별 변수가 모델 출력에 미치는 영향을 측정하는 방법을 탐구했다. 1990년대에는 서포트 벡터 머신과 신경망의 부상으로 그래디언트 기반 방법의 개발이 촉진되었으며, 이는 출력의 입력 특성에 대한 도함수를 국소 중요도의 자연스러운 척도로 사용한다.
2000년에는 Marco Tulio Ribeiro, Sameer Singh, 그리고 당시 University of Toronto에 있다가 나중에 Carnegie Mellon University로 옮긴 Carlos Guestrin이 LIME(Local Interpretable Model-agnostic Explanations) 프레임워크를 도입하면서 중요한 이정표가 세워졌다. LIME은 복잡한 모델을 선형 모델과 같은 더 단순하고 해석 가능한 모델로 국소적으로 근사하여 특성 가중치를 도출한다. 이어서 2017년에는 University of Toronto의 Scott Lundberg와 Su-In Lee가 개발한 SHAP(SHapley Additive exPlanations) 방법이 등장했다. SHAP은 여러 이전 귀속 기법을 게임 이론 프레임워크 아래 통합하여, 협동 게임 이론의 Shapley 값에 기반한 수학적으로 원리적인 중요도 점수를 제공했다.
핵심 원리와 방법
특성 귀속 방법은 각각 뚜렷한 수학적 기반과 실용적 절충점을 가진 여러 계열로 크게 분류할 수 있다.
그래디언트 기반 방법은 모델 출력의 각 입력 특성에 대한 편미분을 계산한다. 모델 \(f\)와 입력 \(x\)에 대해, 그래디언트 \(\nabla_x f(x)\)는 국소 민감도 척도를 제공한다. 간단한 접근 방식은 그래디언트 자체를 귀속 점수로 사용하는 것이다. 그러나 그래디언트는 노이즈가 있을 수 있으며, 모델이 비선형일 때 실제 기여를 반영하지 못할 수 있다. 이를 해결하기 위해 2017년 Mukund Sundararajan, Ankur Taly, Qiqi Yan이 도입한 Integrated Gradients와 같은 변형은 기준 입력에서 실제 입력까지의 직선 경로를 따라 그래디언트를 누적한다. 이 방법은 민감도와 구현 불변성과 같은 공리를 충족하여 Neural network 모델에 널리 사용되는 선택지가 되었다.
섭동 기반 방법은 입력 특성을 변경하고 모델 출력의 변화를 관찰한다. LIME은 입력 주변의 섭동 샘플을 생성하고 국소 대리 모델을 적합시키므로 이 범주에 속한다. 또 다른 예는 폐색 민감도(occlusion sensitivity)로, 입력의 영역(예: 이미지의 패치)을 중립 값으로 대체하고 예측 신뢰도의 하락을 측정한다. 이 방법은 직관적이지만 여러 번의 순방향 패스가 필요하여 계산 비용이 높다.
게임 이론 기반 방법은 모델의 예측을 특성 간의 협동 게임으로 취급한다. SHAP은 Shapley 값을 계산하며, 이는 예측의 기준선 대비 편차를 모든 특성에 공정한 방식으로 할당한다. 특성 \(i\)에 대한 Shapley 값은 다른 특성의 모든 가능한 부분 집합에 걸친 해당 특성의 평균 한계 기여이다. 정확한 계산은 특성 수에 따라 지수적으로 증가하지만, SHAP은 트리 앙상블 및 선형 모델과 같은 특정 모델 클래스에 대한 효율적인 근사를 제공한다. SHAP은 견고한 이론적 기반 덕분에 많은 응용 분야에서 사실상의 표준이 되었다.
대리 모델은 또 다른 접근 방식으로, 복잡한 모델의 행동을 국소 영역에서 모방하도록 간단하고 해석 가능한 모델을 훈련시킨다. LIME이 가장 잘 알려진 예이지만, 다른 방법은 결정 트리나 규칙 기반 모델을 대리자로 사용한다. 이러한 방법은 모델에 구애받지 않으므로 내부 아키텍처에 접근하지 않고도 모든 Artificial intelligence 시스템에 적용할 수 있다.
딥러닝에서의 응용
Deep learning의 맥락에서 특성 귀속은 이미지에 대한 살리언시 맵(saliency map)이나 텍스트에 대한 주의 유사 설명을 생성하는 데 자주 사용된다. 합성곱 신경망의 경우, 그래디언트 기반 방법은 분류 결정에 가장 영향력이 있었던 픽셀을 강조하는 히트맵을 생성한다. 예를 들어, 의료 영상에서 귀속 맵은 방사선 전문의에게 스캔의 어떤 영역이 진단에 기여했는지 보여주어 검증과 바이오마커 발견에 도움을 준다.
자연어 처리에서 특성 귀속은 Transformer (architecture) 기반 모델과 같은 Large language model에 적용된다. 연구자와 실무자는 귀속 점수를 사용하여 프롬프트의 어떤 단어나 토큰이 생성된 출력에 가장 강하게 영향을 미치는지 식별한다. 이는 환각이나 편향과 같은 문제를 디버깅하는 데 유용하며, 잘못된 상관관계를 드러낼 수 있다. 예를 들어, 귀속 분석은 감정 분류기가 전체 맥락보다 "not"이라는 단어에 크게 의존한다는 것을 보여줄 수 있으며, 이는 잠재적 약점을 나타낸다.
OpenAI, Anthropic, Google DeepMind와 같은 기업은 해석 가능성 연구에 투자했으며, 특성 귀속은 모델 행동을 이해하는 데 역할을 한다. 예를 들어, Anthropic의 해석 가능성 연구는 대규모 모델의 내부 활성화에서 특성이 어떻게 표현되는지 탐구하여 입력에 작동하는 귀속 방법을 보완한다.
도전 과제와 한계
유용성에도 불구하고 특성 귀속 방법은 몇 가지 중요한 도전 과제에 직면한다. 주요 문제 중 하나는 "올바른" 귀속이 무엇인지에 대한 기준 진실이 없다는 점이다. 다른 방법은 동일한 예측에 대해 상충되는 설명을 생성할 수 있어 신뢰성에 대한 의문을 제기한다. 이는 2018년 Julius Adebayo와 동료들이 제안한 건전성 검사와 같은 귀속 방법 평가 연구를 촉진했으며, 이는 귀속이 모델 매개변수에 민감한지 테스트한다.
또 다른 도전 과제는 계산 비용이다. 정확한 Shapley 값 계산은 고차원 입력에 대해 다루기 어렵고, 근사조차도 대규모 모델에서는 느릴 수 있다. 섭동 기반 방법은 여러 번의 순방향 패스가 필요하므로 실시간 응용에서 문제가 된다. 연구자들은 그래디언트 정보와 Shapley 값 추정을 결합한 GradientSHAP 및 DeepSHAP과 같은 더 빠른 근사를 개발했다.
귀속 점수는 신중하게 해석하지 않으면 오해를 불러일으킬 수도 있다. 이는 모델의 전역적 행동으로 일반화되지 않을 수 있는 국소 설명을 제공한다. 한 예측에 중요한 특성은 다른 예측에는 관련이 없을 수 있다. 또한, 귀속 방법은 기준선이나 참조 점의 선택에 민감할 수 있으며, 다른 기준선은 다른 점수를 산출할 수 있다.
평가와 벤치마킹
특성 귀속 방법의 품질을 평가하는 것은 활발한 연구 분야이다. 일반적인 평가 전략은 다음과 같다:
- 제거 기반 테스트: 상위 귀속 특성을 제거하고 예측의 변화를 측정한다. 좋은 귀속 방법은 중요한 특성이 제거될 때 신뢰도가 크게 하락해야 한다.
- 민감도 테스트: 입력을 약간 섭동하고 귀속이 급격히 변하지 않는지 확인하여 안정성을 보장한다.
- 인간 연구: 귀속을 인간 사용자에게 제시하고 사용자가 모델 행동을 이해하거나 예측하는 데 도움이 되는지 평가한다.
평가를 표준화하기 위해 벤치마크 데이터셋과 스위트가 개발되었다. 예를 들어, ERASER 벤치마크(Evaluating Rationales and Simple English Reasoning)는 인간이 주석을 단 근거가 포함된 작업을 포함하여 귀속 방법을 인간 판단과 직접 비교할 수 있게 한다.
다른 해석 가능성 기법과의 관계
특성 귀속은 모델 해석 가능성에 대한 여러 접근 방식 중 하나이다. 이는 다음과 밀접하게 관련된다:
- 활성화 최대화: 뉴런이나 계층을 최대한 활성화하는 입력을 찾아 모델이 학습한 특성을 드러낸다.
- 개념 기반 설명: 원시 픽셀보다는 더 높은 수준의 개념(예: 얼룩말의 "줄무늬")을 식별한다.
- 주의 메커니즘: Transformer (architecture) 모델에서 주의 가중치는 때때로 중요도의 대리로 사용되지만, 연구는 주의가 항상 충실한 설명이 아님을 보여주었다.
특성 귀속은 입력-출력 관계에 초점을 맞추는 반면, 다른 방법은 내부 표현을 조사할 수 있다. 두 관점 모두 가치가 있으며 종종 상호 보완적이다.
미래 방향
AI 시스템이 의료, 금융, 자율 주행과 같은 중요한 영역에 더욱 통합됨에 따라 신뢰할 수 있는 특성 귀속에 대한 수요는 증가할 것이다. 미래 연구는 다음에 초점을 맞출 가능성이 높다:
- 인과적 귀속: 상관관계를 넘어 특성이 예측에 미치는 인과적 효과를 식별한다.
- 불확실성 정량화: 귀속 점수에 대한 신뢰 구간을 제공한다.
- 확장성: 매우 큰 모델과 고차원 입력에 효율적으로 작동하는 방법을 개발한다.
- 인간 중심 설계: 비전문가에게 직관적이고 실행 가능한 설명을 만든다.
Stanford AI Lab, MIT CSAIL, BAIR (Berkeley AI Research)와 같은 조직은 계속해서 이 분야를 발전시키고 있으며, 학계와 산업계 간의 협력이 일반적이다. 표준화된 평가 프로토콜과 이론적 기반의 개발은 특성 귀속을 신뢰할 수 있는 도구로 확립하는 데 중요할 것이다.
요약하면, 특성 귀속은 머신러닝 모델을 이해하고 검증하는 데 필수적인 도구를 제공한다. 각 입력 특성의 기여를 정량화함으로써, 이러한 방법은 모델 성능과 인간 이해 사이의 격차를 메우고 더 안전하고 책임 있는 AI 배포를 가능하게 한다.