해석 가능성 기술은 설명 가능한 AI(XAI)의 핵심 구성 요소로, 인간에게 인공지능 알고리즘에 대한 지적 감독을 제공하고자 하는 연구 분야이다. 이러한 기술은 AI 모델이 내린 결정이나 예측 뒤에 있는 추론 과정에 초점을 맞추어, 이를 더 이해하기 쉽고 투명하게 만든다. 이는 사용자가 자동화된 의사 결정을 면밀히 검토할 필요성을 해결하며, 특히 안전과 신뢰가 중요한 응용 분야에서 그러하다. 해석 가능성 기술은 AI 설계자조차 특정 결정에 도달한 이유를 설명할 수 없는 머신러닝의 '블랙박스' 경향에 대응한다.
해석 가능성 기술의 주요 목표는 AI 기반 시스템 사용자가 해당 시스템이 추론하는 방식을 더 잘 이해함으로써 더 효과적으로 작업을 수행하도록 돕는 것이다. 이는 또한 설명을 요구할 사회적 권리의 구현으로 작용할 수 있으며, 법적 요구 사항이 없더라도 신뢰를 구축함으로써 사용자 경험을 향상시킬 수 있다. 이러한 기술은 무엇이 수행되었는지, 무엇이 수행되고 있는지, 다음에 무엇이 수행될 것인지, 그리고 이러한 행동이 어떤 정보에 기반하는지를 설명하여, 사용자가 기존 지식을 확인하고 도전하며 새로운 가정을 생성할 수 있게 한다.
배경: 화이트박스 및 블랙박스 모델
AI에 사용되는 머신러닝 알고리즘은 화이트박스 또는 블랙박스로 분류할 수 있다. 화이트박스 모델은 도메인 전문가가 이해할 수 있는 결과를 제공하는 반면, 블랙박스 모델은 설명하기 매우 어렵고 전문가조차 이해하지 못할 수 있다. 해석 가능성 기술은 투명성, 해석 가능성, 설명 가능성이라는 세 가지 원칙을 따른다.
모델은 훈련 데이터에서 모델 매개변수를 추출하고 테스트 데이터에서 레이블을 생성하는 프로세스를 접근 방식 설계자가 설명하고 동기를 부여할 수 있다면 투명하다. 해석 가능성은 모델을 이해하고 의사 결정의 근본적인 근거를 인간이 이해할 수 있는 방식으로 제시할 가능성을 설명한다. 설명 가능성은 중요성은 인정되지만 합의된 정의가 부족하며, 한 가지 가능성은 "주어진 예제에 대해 결정을 생성하는 데 기여한 해석 가능한 도메인의 특징 모음"이다.
요약하면, 해석 가능성은 사용자가 모델 출력을 이해하는 능력을 의미하며, 모델 투명성은 시뮬레이션 가능성(예측의 재현성), 분해 가능성(매개변수에 대한 직관적 설명), 알고리즘 투명성(알고리즘이 작동하는 방식 설명)을 포함한다. 모델 기능은 전체 모델이 아닌 특정 출력이나 사례를 명확히 하는 텍스트 설명, 시각화, 로컬 설명에 초점을 맞춘다. 이러한 모든 개념은 AI 시스템의 이해 가능성과 유용성을 향상시키는 것을 목표로 한다.
특징 기여 방법
특징 기여 방법은 가장 널리 사용되는 해석 가능성 기술 중 하나이다. 이는 입력 특징에 중요도 점수를 할당하여 각 특징이 모델의 예측에 얼마나 기여했는지를 나타낸다. 예를 들어, 감정 분석 모델에서 특징 기여 방법은 "끔찍한"이라는 단어를 강한 부정 지표로 강조할 수 있다. 이러한 방법은 내부 논리가 불투명한 신경망 및 기타 복잡한 모델에 특히 유용하다.
일반적인 특징 기여 기술에는 입력에 대한 출력의 기울기를 계산하는 살리언시 맵과 같은 그래디언트 기반 방법, 입력이 변경될 때 예측이 어떻게 변하는지 관찰하는 섭동 기반 방법이 포함된다. 이러한 기술은 이미지 인식에서 가장 영향력 있는 픽셀을 식별하거나 자연어 처리에서 텍스트의 핵심 단어를 강조하는 데 자주 적용된다.
살리언시 및 시각화 기술
살리언시 기술은 모델의 결정에 가장 관련이 있는 입력 부분을 시각화하는 데 초점을 맞춘 특징 기여의 하위 집합이다. 컴퓨터 비전에서 살리언시 맵은 이미지에 히트맵을 오버레이하여 모델이 집중한 영역을 보여준다. 예를 들어, 말을 인식하도록 훈련된 모델은 배경 요소가 아닌 말의 몸과 다리를 강조하는 살리언시 맵을 생성할 수 있다.
시각화 기술은 딥러닝 모델의 내부 표현을 이해하는 데까지 확장된다. 예를 들어, 연구자는 잔차 네트워크의 합성곱 레이어에서 학습된 필터를 시각화하여 가장자리나 질감과 같은 패턴을 감지하는지 확인할 수 있다. 이러한 방법은 전문가가 모델이 우연한 상관관계가 아닌 의미 있는 특징을 학습하고 있는지 검증하는 데 도움이 된다.
로컬 및 글로벌 설명
해석 가능성 기술은 범위에 따라 분류할 수 있다: 로컬 설명은 개별 예측을 명확히 하고, 글로벌 설명은 모델의 전반적인 동작을 설명한다. LIME(로컬 해석 가능 모델 비의존 설명)과 같은 로컬 설명 방법은 특정 사례 주변에서 복잡한 모델을 더 간단하고 해석 가능한 모델로 근사한다. 이는 대출 신청이 거부된 이유와 같은 특정 결정이 내려진 이유를 사용자가 이해하도록 돕는다.
글로벌 설명은 종종 대리 모델이나 규칙 추출을 통해 모델 논리의 개요를 제공하는 것을 목표로 한다. 예를 들어, 결정 트리는 블랙박스 모델을 모방하도록 훈련될 수 있으며, 결정 경계의 인간이 읽을 수 있는 표현을 제공한다. 이러한 글로벌 방법은 공정성이나 편향성에 대한 모델 감사에 유용하며, 그렇지 않으면 눈에 띄지 않을 일반적인 패턴을 드러낸다.
개념 병목 모델
개념 병목 모델은 개념 수준 추상화를 사용하여 모델 추론을 설명하는 특정 유형의 해석 가능한 아키텍처이다. 이러한 모델은 먼저 입력에서 인간이 이해할 수 있는 개념을 예측한 다음, 해당 개념을 사용하여 최종 결정을 내린다. 예를 들어, 의료 영상 작업에서 모델은 먼저 특정 병변의 존재를 예측한 다음, 해당 예측을 사용하여 질병을 진단할 수 있다. 이 접근 방식은 이미지 및 텍스트 예측 작업 모두에 적용될 수 있다.
개념 병목 모델은 의학, 국방, 금융, 법률과 같은 영역에서 특히 중요하며, 결정을 이해하고 알고리즘에 대한 신뢰를 구축하는 것이 중요하다. 중간 추론을 명시적으로 만듦으로써, 이러한 모델은 인간이 모델이 불투명한 상관관계에 의존하지 않고 합리적인 기준을 사용하고 있는지 검증할 수 있게 한다.
기호 회귀 및 화이트박스 접근 방식
많은 연구자는 적어도 지도 머신러닝의 경우, 나아갈 길은 기호 회귀라고 주장한다. 기호 회귀는 알고리즘이 주어진 데이터셋에 가장 잘 맞는 모델을 찾기 위해 수학적 표현 공간을 탐색하는 방식이다. 이 접근 방식은 인간이 검사하고 이해할 수 있는 명시적 공식을 생성하여 높은 수준의 투명성을 제공한다. 기호 회귀는 근본적인 물리 법칙을 발견하는 것이 목표인 과학적 발견에서 자주 사용된다.
해석 가능한 구조를 가진 화이트박스 알고리즘은 때때로 높은 정확도를 달성할 수 있다. 예를 들어, 결정 트리와 선형 모델은 본질적으로 해석 가능하며, 신중한 특징 엔지니어링을 통해 더 복잡한 모델과 경쟁력 있는 성능을 발휘할 수 있다. 이러한 접근 방식은 설명 가능성이 요구되는 규제 산업에서 선호된다.
과제 및 한계
이점에도 불구하고, 해석 가능성 기술은 여러 과제에 직면한다. 주요 문제 중 하나는 정확성과 해석 가능성 사이의 절충이다. 대규모 언어 모델과 같은 복잡한 모델은 종종 더 높은 성능을 달성하지만 설명하기가 더 어렵다. 또한 일부 기술은 대략적인 설명만 제공하며, 모델 추론의 전체 복잡성을 포착하지 못할 수 있다.
또 다른 과제는 오해를 불러일으키는 설명의 가능성이다. 예를 들어, 살리언시 맵은 노이즈나 적대적 섭동으로 인해 관련 없는 특징을 강조할 수 있다. 더욱이 해석 가능성 기술 자체가 조작될 수 있으며, 모델이 그럴듯하지만 부정확한 설명을 생성하도록 최적화될 수 있다. 연구자들은 더 견고하고 신뢰할 수 있는 방법을 개발하기 위해 계속 노력하고 있다.
응용 및 미래 방향
해석 가능성 기술은 의료, 금융, 자율 시스템을 포함한 다양한 영역에 적용된다. 의학에서 임상 의사 결정 지원 시스템(CDSS)은 의료 전문가가 머신 기반 결정을 이해하고 신뢰하도록 돕기 위해 이러한 기술에 의존한다. 금융에서는 규정 준수를 보장하고 대출이나 신용 점수에서 편향을 감지하는 데 사용된다.
미국 국방 고등 연구 계획국(DARPA)이 시작한 DARPA XAI 프로그램은 AI 성능을 크게 희생하지 않으면서 '인간 개입'에 설명 가능한 '유리 상자' 모델을 생산하는 것을 목표로 한다. 이 프로그램은 이 분야에서 상당한 발전을 이끌었다. 미래 방향에는 트랜스포머 기반 모델을 위한 해석 가능성 기술 개발, 설명의 충실도 향상, 사후 분석이 아닌 훈련 과정 자체에 해석 가능성을 통합하는 것이 포함된다.