해석 가능한 머신러닝(interpretable machine learning)은 인간이 그 동작을 이해할 수 있는 머신러닝 시스템의 설계, 분석, 배포에 관한 광범위한 연구 분야이다. 이러한 동기는 의료, 금융, 형사 사법과 같은 고위험 영역에서 머신러닝 모델의 채택이 증가하면서 비롯되었으며, 이러한 영역에서는 결정이 중대한 결과를 초래할 수 있고 불투명한 모델이 오류나 편향을 초래할 수 있다. 이 분야는 두 가지 광범위한 접근 방식을 대조한다: 사후 해석 가능성(post-hoc interpretability), 훈련된 모델을 사후에 설명하는 방식)과 본질적으로 해석 가능한 모델(처음부터 투명하도록 설계된 모델)이다. 이 분야의 연구자와 실무자들은 "왜 모델이 이 예측을 했는가?" 그리고 "모델의 전반적인 동작을 주도하는 요인은 무엇인가?"와 같은 질문에 답하는 것을 목표로 한다. 이 학문은 인공지능, 인간-컴퓨터 상호작용, 윤리와 교차하며, 그 중요성은 신경망 및 트랜스포머와 같은 복잡한 모델의 채택과 함께 커져 왔다.
"해석 가능한"이라는 용어는 종종 "설명 가능한"과 혼용되지만, 기술적 차이가 존재한다. 해석 가능성은 입력이 주어졌을 때 인간이 모델의 출력을 일관되게 예측할 수 있는 정도를 의미하며, 설명 가능성은 일반적으로 개별 예측에 대해 인간이 읽을 수 있는 근거를 생성하는 사후 방법을 의미한다. 실제로는 둘 다 이 분야의 핵심이며, 실무자들은 종종 이들을 결합한다. 예를 들어, 선형 회귀 계수는 본질적으로 해석 가능한 반면, 오픈AI의 GPT-4는 그 예측을 이해하기 위해 사후 속성 기법이 필요하다. 이 분야는 2010년대 이후 특히 긴급성을 띠게 되었는데, 딥러닝 모델이 많은 영역에서 최첨단이 되었지만 고전적 방법에 비해 투명성이 상실되었기 때문이다.
해석자의 딜레마
해석 가능한 머신러닝의 핵심 개념은 정확성과 투명성 사이의 절충이다. 심층 신경망과 같은 복잡한 모델은 단순한 선형 모델보다 더 높은 예측 성능을 달성하는 경우가 많지만, 그 내부 표현은 해석하기 더 어렵다. 이러한 긴장은 카를로스 게스트린 및 데이비드 마틴과 같은 연구자들에 의해 대중화되었으며, 그들은 2018년에 "해석자의 딜레마"라는 용어를 만들었다. 그들은 기본 데이터에 복잡한 표현을 요구하는 비선형 관계가 포함되어 있다면 모델이 완벽하게 정확하면서 동시에 완벽하게 해석 가능할 수 없다는 생각을 공식화했다. 단순한 모델이 때때로 동등하게 잘 수행할 수 있으므로 실제로 항상 그런 것은 아니지만, 이 딜레마는 절충 인식 모델 선택의 필요성을 틀지운다.
본질적으로 해석 가능한 모델
본질적으로 해석 가능한 모델은 그 구조에서 결정을 직접 이해할 수 있도록 설계된다. 예를 들어 선형 회귀, 로지스틱 회귀, 의사 결정 트리, 규칙 기반 시스템, 일반화 가법 모델(GAM)이 있다. 이러한 모델에서 각 특성은 종종 가법적이고 쉽게 검사할 수 있는 방식으로 기여한다. 예를 들어, 1980년대 의사 결정 트리와 규칙 유도에 대한 초기 연구는 인간이 추가 설명 없이 논리 경로를 따를 수 있음을 확립했다. 사이어 J. 컬버와 동료들의 신경망을 이용한 해석 가능한 모델링과 같은 보다 현대적인 접근 방식은 예측을 단변량 함수의 합으로 분해하는 아키텍처를 사용하여 국소적 투명성을 유지한다. 2020년대 현재, 감사가 의무화된 규제 산업에서 블랙박스 심층 신경망의 대안으로 이러한 모델에 대한 관심이 다시 증가하고 있다.
사후 설명
사후 설명은 모델이 훈련된 후에 적용되는 기법으로, 모델의 내부 아키텍처와 무관하다. 이러한 방법은 내부 또는 외부에서 프로빙하여 모델의 동작을 근사한다. 일반적인 계열로는 특정 예측에 대한 각 입력 특성의 기여도를 나타내는 값을 생성하는 특성 속성 방법, 예측에 가장 영향력 있는 훈련 샘플을 식별하는 예제 기반 방법, 그리고 복잡한 모델을 국소적 또는 전역적으로 근사하기 위해 투명한 모델을 훈련시키는 대리 모델이 있다. 잘 알려진 알고리즘으로는 2017년 워싱턴 대학에서 스콧 런드버그와 수인 리가 개발한 샤플리 가산 설명(SHAP)이 있다. SHAP는 2016년 워싱턴 대학의 마르코 툴리오 리베이루 등이 개발한 LIME(국소 해석 가능 모델 비의존 설명) 및 고전적 특성 속성과 같은 여러 초기 속성 방법을 게임 이론적 프레임워크 아래 통합한다. SHAP는 많은 ML 도구 키트에서 표준이 되었지만, 많은 특성에 적용될 때 계산 복잡성과 데이터 분포가 고려되지 않으면 해석이 오해를 불러일으킬 수 있다는 문제도 있다.
또 다른 영향력 있는 사후 접근 방식은 신경망 예측을 설명하기 위해 역전파된 관련성 점수를 검사하는 계층별 관련성 전파(LRP)이다. LRP는 컴퓨터 비전에서 분류 경계에 가장 중요한 픽셀을 강조하는 살리언시 맵을 생성하는 데 자주 사용된다. 그럼에도 불구하고, 국소 설명 방법의 신뢰성은 알렉산더 매드리 및 알리 라히미와 같은 연구자들에 의해 의문이 제기되었으며, 그들은 속성 기반 설명이 진정한 인과 관계가 아니라 상관 관계를 반영할 수 있다고 경고한다. 이로 인해 인간의 직관에 대한 벤치마킹과 같은 해석 가능성을 검증하는 방법의 개발로 이어졌다.
해석 가능성 대 설명 가능성
종종 혼용되지만, 해석 가능성과 설명 가능성은 때때로 사용자의 역할에 따라 구분된다. 해석 가능성은 모델이 본질적으로 투명함을 의미하는 반면, 설명 가능성은 외부 도구가 제공하는 별도의 설명을 의미한다. 예를 들어, 선형 회귀는 가중치를 직접 검사할 수 있으므로 해석 가능하다; 심층 네트워크는 사후 속성 기법을 통해 설명 가능하게 만들 수 있다. 이 분야의 문헌에는 또한 국소 해석 가능성(단일 예측이 이루어지는 이유)과 전역 해석 가능성(모델이 전체 데이터에 걸쳐 학습한 패턴) 사이의 구분이 있다.
블랙박스 인식과의 대조
머신러닝에 익숙한 대부분의 사람들(비전문가)은 복잡한 모델을 "블랙박스"로 인식할 것이며, 이는 그 추론에 대한 접근 가능한 통찰력을 제공하지 않음을 의미한다. 그러나 해석 가능한 ML은 이러한 격차를 메우는 것을 목표로 한다. 이러한 모델의 개념적 장점은 감사, 디버깅, 및 신뢰를 가능하게 한다는 것이다. 신용 결정이나 질병 진단과 같은 고위험 상황에서 규제 기관은 유럽의 GDPR의 "설명에 대한 권리"와 같은 법률에 따라 설명을 요구할 수 있다. 그러나 사후 방법은 진정한 의사 결정 과정을 노출하기보다 근사하기 때문에 종종 불완전한 것으로 간주된다.
해석 가능성 평가
실용적 관점을 채택하면: 해석 가능성은 단일 지표로 측정할 수 없다. 시스템 수준에서 평가하기 위해 연구자들은 여러 수단을 제안했다. 여기에는 설명이 실제 메커니즘과 일치하는지 여부인 만족 가능성, 인간이 새로운 사례에서 모델을 시뮬레이션할 수 있는지 여부인 모의 가능성, 설명이 관련 요인을 얼마나 잘 분리하는지에 대한 선택성, 그리고 다양한 교란에 걸친 특성 중요도 안정성이 포함될 수 있다. 예를 들어, 멜리나 R. 멜딩과 동료들은 인간 이해 과제에서 머신러닝 설명을 비교하기 위해 사용자 연구를 사용했으며, 연관 패턴이 인과 효과를 추정하는 데 신뢰할 수 없음을 발견했다. 이러한 실험은 "해석 가능한" 모델이라도 설명이 제대로 제시되지 않으면 사용자를 오도할 수 있음을 강조한다. 해석 가능성은 도구뿐만 아니라 사용자의 정신 모델에 관한 것이기도 하다.
인간 요소의 역할
해석 가능성은 근본적으로 인간 기반이다; 그것은 인지 심리학 및 설명이 인간의 의사 결정에 어떻게 영향을 미치는지와 밀접하게 연결된다. pfc. Dr. 밀러와 같은 연구자들은 해석 가능성이 사람들이 사회적 맥락에서 설명을 생성하고 소비한다는 점을 고려해야 한다고 주장한다. 해석 가능성에 대한 최종 판단은 종종 사용자 연구와 사람들이 모델을 신뢰하고 적절한 조치를 취할 수 있는지에 대한 평가를 요구한다. 칩 설계(퀄컴) 및 장비(삼성) 분야에서도 온디바이스 AI 파이프라인에 해석 가능성을 사용하고 있다.
과제 및 미해결 문제
진전에도 불구하고, 이 분야는 한계에 직면한다. 주요 과제 중 하나는 이미지, 텍스트 또는 수십억 개의 매개변수를 가진 심층 네트워크와 같은 복잡한 고차원 데이터에 대한 사후 방법의 확장성이다. 2025년 현재, 트랜스포머에 대한 최첨단 속성 방법조차 그럴듯하지만 견고하지 않은 설명을 생성하는 경우가 많으며, 프롬프트 변경이나 디지털 노이즈에 의해 영향받는 것으로 나타난다. 또 다른 문제는 상관 관계와 인과 관계의 구분이다 - 모델이 인과적으로 관련된 특성보다 우연한 상관 관계에 의해 영향을 받을 수 있으며, 설명은 이를 강조하지만 이는 적절성에 대한 오해를 불러일으킨다. 또한 설명 가능성의 보안 문제가 있는데, 공격자가 국소 예측을 조작하거나 설명이 잘못된 속성을 보고하도록 하는 적대적 예제를 구성할 수 있다.
또한, 해석에 대한 "근거 진실"이 무엇인지에 대한 의견 불일치가 있다. 그것은 모델 자체 계산의 논리인가, 아니면 인간이 그럴듯하다고 여기는 서사인가? 심층 강화 학습이나 연속(시계열) 모델의 경우, 해석은 동적 표현을 요구할 수 있다. 점점 더 인기 있는 방향은 "출력이 특정 방식으로 뒤집히려면 무엇이 바뀌어야 하는가?"에 답하는 반사실적 설명이다. 이는 실행 가능성 측면에서 유용할 수 있지만 아직 표준화되지 않았다.
미래 방향
해석 가능한 머신러닝은 모델 자체의 발전과 함께 계속 진화한다. 한 방향은 공동 설계이다: CMU의 아가왈 등이 개발한 GAM과 같은 본질적 신경망이 복잡한 데이터에서도 잘 수행하면서 은닉층을 피하는 것이다. 또 다른 방향은 LLM에 대한 1인칭 설계 원칙으로서의 해석 가능성이다: 오픈AI, 앤트로픽, 및 구글 딥마인드에서 개발된 대규모 언어 모델이 사회 서비스 역할에 배포됨에 따라, 추론 흔적 또는 조종 가능한 접근 방식(예: 미분 가능한 해석 모델 사용)을 생성해야 한다는 압력이 있다. 동시에, 여러 기술 기업(삼성전자, 인텔, 퀄컴)은 온디바이스 AI를 위한 설명 가능성 도구를 구축하고 있다. 학계(MIT CSAIL, 스탠포드 AI 랩, 및 다양한 버클리 AI 연구 커뮤니티)에서는 신뢰성을 보장하기 위해 계층적 평가에 해석을 통합하는 강력한 커리큘럼이 있다.
요약하자면, 해석 가능한 ML은 현대 학습 시스템의 힘에 대한 필수적인 보완재이다. 그것은 불투명한 결정을 실무자, 규제 기관, 시민이 검사하고, 수정하고, 신뢰할 수 있는 무언가로 바꾸며, 내재적 한계를 인정한다. 그 성장은 규제, 산업, 과학적 요구에 의해 주도되며, AI 환경 내에서 활발하고 진화하는 연구 영역으로 남아 있다.
같이 보기
- AI 산업 윤리(관련 AI)*
- 모델