모델 비종속적 방법은 Machine learning에서 내부 구조와 관계없이 모든 모델의 예측을 설명할 수 있는 해석 가능성 기법의 한 부류이다. Neural network이나 Transformer (architecture)와 같은 특정 알고리즘에 묶여 있는 모델 특정적 접근법과 달리, 이러한 방법은 모델을 블랙박스로 취급하고 입력과 출력 간의 관계를 분석한다. 이러한 유연성은 내부 메커니즘이 종종 불투명한 Large language model 및 기타 Generative AI 애플리케이션을 포함한 복잡한 시스템을 감사하고 디버깅하는 데 가치가 있다.
모델 비종속적 방법의 핵심 원리는 교란 기반 또는 대리 기반 분석이다. 입력 특성을 체계적으로 변경하고 예측의 변화를 관찰함으로써, 이러한 기법은 모델이 다양한 요인을 어떻게 가중하는지 근사한다. 이들은 사후 설명을 제공하며, 이는 모델 자체를 수정하지 않고 모델이 훈련된 후에 적용된다는 것을 의미한다. 이는 선형 회귀나 의사결정 트리와 같은 본질적으로 해석 가능한 모델이 설계상 투명성을 제공하는 것과 구별된다. 가장 대표적인 예로는 LIME(Local Interpretable Model-agnostic Explanations)과 SHAP(SHapley Additive exPlanations)이 있으며, 둘 다 산업과 연구에서 널리 사용된다.
역사적 발전
모델 비종속적 방법의 필요성은 2010년대 복잡한 Deep learning 모델의 부상과 함께 커졌다. Artificial intelligence 시스템이 학술 연구실에서 실제 배포로 이동함에 따라, 이해관계자들은 자동화된 결정에 대한 설명을 요구했다. 초기 해석 가능성 연구는 단순한 모델에 초점을 맞췄지만, Deep learning과 Neural network의 등장으로 공백이 생겼다. 2016년, Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin이 LIME을 도입했으며, 이는 기초적인 기법이 되었다. 같은 시기에 Scott Lundberg와 Su-In Lee는 협동 게임 이론, 특히 Shapley 값을 머신러닝에 적용하여 2017년 SHAP을 개발했다. 이러한 방법들은 보편적 적용 가능성을 약속했기 때문에, 이전 모델에 필요한 맞춤형 설명과는 대조적으로 주목을 받았다.
핵심 기법
LIME (Local Interpretable Model-agnostic Explanations)
LIME은 특정 인스턴스 주변에 선형 모델이나 의사결정 트리와 같은 단순하고 해석 가능한 대리 모델을 적합시켜 개별 예측을 설명한다. 이 과정은 원래 입력의 특성을 무작위로 변경하여 교란된 샘플을 생성하고, 블랙박스 모델에 질의하여 이러한 샘플에 대한 예측을 얻는 것을 포함한다. 대리 모델은 원래 인스턴스와의 근접성에 따라 가중치가 부여된 교란된 점들로 훈련된다. 결과 계수 또는 구조는 어떤 특성이 예측에 가장 큰 영향을 미쳤는지 국소적으로 드러낸다. LIME은 표 형식 데이터, 텍스트, 이미지에 특히 효과적이지만, 안정성은 교란 설정에 따라 달라질 수 있다.
SHAP (SHapley Additive exPlanations)
SHAP은 협동 게임 이론의 Shapley 값을 기반으로 한 통합 프레임워크를 제공한다. 각 예측에 대해 SHAP은 가능한 모든 특성 부분 집합에 걸쳐 각 특성의 한계 기여도를 계산하여 일관성과 국소 정확성을 보장한다. 결과는 특성 기여도의 합이 모델 출력에서 기준선을 뺀 값과 같은 가산적 속성 모델이다. SHAP은 KernelSHAP(모델 비종속적) 및 TreeSHAP(트리 기반 모델에 최적화)을 포함한 여러 구현을 제공한다. 이론적 보장 덕분에 규제 준수 및 과학적 분석에 선호되지만, 고차원 입력에 대한 정확한 계산은 계산 비용이 많이 들 수 있다.
기타 접근법
LIME과 SHAP 외에도, 모델 비종속적 방법에는 특성을 무작위로 섞을 때 모델 성능 저하를 측정하는 순열 특성 중요도, 하나 또는 두 개의 특성에 대한 평균 예측을 시각화하는 부분 의존성 플롯(PDP)이 포함된다. 개별 조건부 기대(ICE) 플롯은 PDP를 확장하여 인스턴스별 변동을 보여준다. 예측을 변경하는 최소 입력 변경을 식별하는 반사실적 설명도 모델 비종속적이며 구제 분석에 유용하다. Ribeiro의 또 다른 기여인 Anchors는 국소 영역에 대한 예측 안정성을 보장하는 if-then 규칙을 제공한다.
실제 응용
모델 비종속적 방법은 다양한 분야에서 널리 배포된다. 금융에서는 신용 점수 및 대출 승인 결정을 설명하여 EU의 일반 데이터 보호 규정(GDPR) '설명 권리'와 같은 규제 요구 사항을 충족한다. 의료에서는 영상 또는 전자 건강 기록의 진단 예측을 이해하도록 임상의를 돕는다. Large language model의 경우, 이러한 방법은 편향을 감사하고 사실적 일관성을 검증하는 데 사용되며, 종종 주의 시각화와 같은 기법을 보완한다. Anthropic 및 Google DeepMind와 같은 기업은 교란 기반 분석을 사용하여 모델 행동을 조사하는 연구를 발표했지만, 독점 시스템은 종종 내부 도구에 의존한다.
장점과 한계
장점
주요 장점은 유연성이다. 단일 방법으로 단순한 로지스틱 회귀부터 대규모 Transformer (architecture) 기반 시스템까지 모든 모델을 설명할 수 있다. 이는 여러 모델 유형이 공존하는 이질적 환경에서 중요하다. 모델 비종속적 방법은 또한 모델 비종속적 충실도를 제공하며, 이는 설명이 모델 구현과 독립적이어서 공정한 비교를 용이하게 한다. 구현이 비교적 쉽고 재훈련 없이 사후 적용할 수 있어 프로덕션 시스템에 필수적이다.
한계
유용성에도 불구하고, 이러한 방법에는 주목할 만한 단점이 있다. 교란 기반 접근법은 이미지나 긴 텍스트 시퀀스와 같은 고차원 데이터에 대해 계산 집약적일 수 있다. 설명은 불안정할 수 있으며, 유사한 인스턴스에 대해 다른 결과를 생성하여 신뢰를 훼손한다. 국소 충실도는 전역적 이해를 보장하지 않으며, 대리 모델은 비선형성이 높은 영역에서 원래 모델의 행동을 잘못 표현할 수 있다. 또한 SHAP의 정확한 계산은 NP-hard이며, 정확성과 속도를 맞바꾸는 근사가 필요하다. 비평가들은 이러한 방법이 인과적 설명보다는 상관 기반 통찰력을 제공하여 고위험 결정에서 사용을 제한한다고 주장한다.
모델 특정적 방법과의 비교
Neural network의 그래디언트 기반 돌출 맵이나 Transformer (architecture)의 주의 가중치와 같은 모델 특정적 방법은 내부 구조를 활용한다. 이는 더 정밀하고 계산 효율적일 수 있지만, 아키텍처 간에 전이할 수 없다. 예를 들어, Transformer (architecture)의 주의 가중치는 랜덤 포레스트에 적용되지 않는다. 모델 비종속적 방법은 보편성을 위해 일부 세분성을 희생한다. 실제로 연구자들은 종종 초기 탐색에는 모델 특정적 도구를, 검증 및 외부 커뮤니케이션에는 모델 비종속적 방법을 결합한다. 선택은 대상, 위험 수준, 모델 복잡성에 따라 달라진다.
최근 발전과 연구
최근 연구는 모델 비종속적 방법의 견고성과 확장성을 개선하는 데 초점을 맞추고 있다. Deep learning 모델의 경우, 연구자들은 샘플링 전략과 그래디언트 정보를 사용하여 더 빠른 SHAP 근사를 개발했다. 출력이 단일 예측이 아닌 시퀀스나 이미지인 Generative AI에 대한 설명 가능성에 대한 관심이 증가하고 있다. 텍스트 생성을 위한 특성 속성 기법은 종종 LIME과 SHAP을 토큰 수준 교란에 적용한다. 또한, 충실도와 안정성과 같은 설명 품질 평가 지표를 표준화하려는 노력이 있다. Stanford AI Lab, MIT CSAIL, BAIR (Berkeley AI Research)와 같은 기관의 학술 그룹은 경계를 계속 넓히고 있으며, OpenAI 및 Anthropic과 같은 산업 연구소는 해석 가능성 연구에 투자하지만 종종 독점 방법을 개발한다.
윤리적 및 규제적 고려 사항
모델 비종속적 방법에 대한 추진은 부분적으로 윤리적 명령에 의해 주도된다. 불투명한 모델은 편향을 영속화할 수 있으며, 설명은 책임성으로 가는 첫 단계이다. EU AI Act와 같은 규제 프레임워크는 고위험 AI 시스템에 대한 설명 가능성을 의무화하기 시작했다. 그러나 설명은 제대로 검증되지 않으면 오해를 불러일으킬 수 있다. 모델 비종속적 설명은 모델이 실제로 상관된 대리 변수를 사용할 때 특성이 중요하다고 제안할 수 있다. 이는 '설명 권리'와 엄격한 표준의 필요성에 대한 논쟁으로 이어졌다. Carlos Guestrin 및 Aleksander Madry와 같은 연구자들은 이러한 도전을 강조하며 해석 가능성을 사후 고려 사항이 아닌 일급 설계 목표로 옹호한다.
미래 방향
모델 비종속적 방법의 미래는 현재 한계를 해결하는 데 있다. 특성에 개입하여 단순한 상관이 아닌 '만약' 질문에 답하는 것을 목표로 하는 인과적 모델 비종속적 설명에 대한 활발한 연구가 있다. 또 다른 방향은 사용자가 모델을 반복적으로 질의할 수 있는 상호작용적 설명이다. Large language model의 경우, 예측뿐만 아니라 추론 체인을 설명하는 방법이 등장하고 있지만 아직 초기 단계이다. 모델 규모가 커짐에 따라 효율성이 가장 중요해지며, 더 정교한 샘플링 및 근사 기법으로 이어질 것이다. 모델 비종속적 방법을 자동화된 머신러닝 파이프라인 및 MLOps 플랫폼에 통합하는 것도 증가할 것으로 예상되며, 설명을 모델 배포의 표준 부분으로 만들 것이다.
요약하면, 모델 비종속적 방법은 Artificial intelligence 환경 전반에 걸쳐 블랙박스 모델을 해석하는 필수 도구이다. 보편적 적용 가능성은 안정성, 계산 비용, 인과적 타당성의 지속적인 도전에도 불구하고 현대 설명 가능한 AI의 초석이 되었다. 분야가 진화함에 따라, 이러한 방법은 새로운 모델 아키텍처와 규제 요구에 적응하여 AI 시스템이 이해 가능하고 책임 있게 유지되도록 할 것이다.