설명 가능한 인공지능(XAI)은 해석 가능한 AI 또는 설명 가능한 머신러닝(XML)이라고도 하며, 인공지능 내의 연구 분야로, 인간이 AI 알고리즘에 대해 지적 감독을 할 수 있는 방법을 탐구한다. 주요 초점은 AI 시스템이 내린 결정이나 예측의 근거를 제공하여 이를 더 이해하기 쉽고 투명하게 만드는 것이다. 이는 사용자가 알고리즘의 안전성을 평가하고 애플리케이션에서 자동화된 의사 결정을 면밀히 검토할 필요성을 해결한다. XAI는 AI 설계자조차 특정 결정에 도달한 이유를 설명할 수 없는 머신러닝의 '블랙박스' 경향을 직접적으로 대응한다.
XAI는 AI 기반 시스템의 사용자가 해당 시스템이 추론하는 방식을 더 잘 이해하도록 돕고자 하며, 이를 통해 더 효과적으로 작업을 수행할 수 있게 한다. 이는 설명에 대한 사회적 권리의 구현이 될 수 있으며, 법적 또는 규제 요구 사항이 없더라도 XAI는 최종 사용자가 AI가 올바른 결정을 내리고 있다고 신뢰하도록 도와 사용자 경험을 향상시킬 수 있다. XAI는 무엇이 수행되었는지, 무엇이 수행되고 있는지, 다음에 무엇이 수행될 것인지, 그리고 이러한 행동의 기반이 되는 정보가 무엇인지 설명하는 것을 목표로 하며, 이를 통해 기존 지식을 확인하거나 도전하고 새로운 가정을 생성할 수 있게 한다.
배경
AI에 사용되는 머신러닝 알고리즘은 화이트박스 또는 블랙박스로 분류할 수 있다. 화이트박스 모델은 도메인 전문가가 이해할 수 있는 결과를 제공하는 반면, 블랙박스 모델은 전문가조차 설명하기 매우 어렵다. XAI 알고리즘은 투명성, 해석 가능성, 설명 가능성이라는 세 가지 원칙을 따른다. 모델이 투명하다는 것은 훈련 데이터에서 모델 매개변수를 추출하고 테스트 데이터에서 레이블을 생성하는 프로세스를 접근 방식 설계자가 설명하고 동기를 부여할 수 있음을 의미한다. 해석 가능성은 모델을 이해하고 의사 결정의 근본적인 근거를 인간이 이해할 수 있는 방식으로 제시할 가능성을 의미한다. 설명 가능성은 중요성은 인정되지만 합의된 정의는 부족하며, 한 가지 가능성은 "주어진 예시에 대해 결정을 생성하는 데 기여한 해석 가능한 도메인의 특징 모음"이다.
모델 투명성에는 시뮬레이션 가능성(예측의 재현성), 분해 가능성(매개변수에 대한 직관적 설명), 알고리즘 투명성(알고리즘이 작동하는 방식 설명)이 포함된다. 모델 기능은 특정 출력이나 인스턴스를 명확히 하는 텍스트 설명, 시각화, 로컬 설명에 초점을 맞춘다. 이러한 개념은 AI 시스템의 이해 가능성과 사용성을 향상시키는 것을 목표로 한다. 알고리즘이 이러한 원칙을 충족하면 결정을 정당화하고, 추적하고, 검증하고, 알고리즘을 개선하고, 새로운 사실을 탐구하는 기반을 제공한다.
때로는 해석 가능한 구조를 가진 화이트박스 머신러닝 알고리즘으로 높은 정확도의 결과를 얻을 수 있다. 개념 수준의 추상화를 사용하는 개념 병목 모델(Concept Bottleneck Models)은 그 예이며 이미지 및 텍스트 예측 작업에 적용될 수 있다. 이는 특히 의학, 국방, 금융, 법률과 같은 분야에서 중요하며, 결정을 이해하고 신뢰를 구축하는 것이 중요하다. 많은 연구자들은 지도 머신러닝의 경우 알고리즘이 최적의 모델을 찾기 위해 수학적 표현을 탐색하는 기호 회귀(symbolic regression)가 유망한 경로라고 주장한다.
AI 시스템은 "테스트 데이터 세트에서 영화 리뷰의 긍정적 평가 정확도를 최대화"와 같이 수학적으로 지정된 목표를 충족하도록 동작을 최적화한다. AI는 " '끔찍한'이 포함된 리뷰는 부정적일 가능성이 높다"와 같은 유용한 규칙을 학습할 수 있지만, " '다니엘 데이 루이스'가 포함된 리뷰는 일반적으로 긍정적이다"와 같은 부적절한 규칙을 학습할 수도 있으며, 이는 일반화에 실패하거나 불공정한 것으로 간주될 수 있다. 인간은 XAI에서 규칙을 감사하여 시스템이 미래의 실제 데이터로 일반화할 가능성이 얼마나 되는지 평가할 수 있다.
목표
에이전트(알고리즘과 인간) 간의 협력은 신뢰에 달려 있다. 인간이 알고리즘의 처방을 수용하려면 신뢰해야 한다. 공식적인 신뢰 기준의 불완전성은 최적화의 장벽이다. 투명성, 해석 가능성, 설명 가능성은 보다 포괄적인 신뢰 기준을 향한 중간 목표이다. 이는 특히 의학, 특히 임상 의사 결정 지원 시스템(CDSS)에서 관련이 있으며, 의료 전문가는 기계 기반 결정이 어떻게 그리고 왜 이루어졌는지 이해해야 신뢰하고 의사 결정을 보강할 수 있다.
AI 시스템은 때때로 훈련 데이터에서 명시적으로 사전 프로그래밍된 목표를 충족하지만 미묘한 암묵적 욕구를 반영하지 않는 바람직하지 않은 속임수를 학습한다. 예를 들어, 2017년 이미지 인식 시스템은 말을 식별하는 방법을 학습하는 대신 말 사진과 관련된 저작권 태그를 찾아 "속임수"를 학습했다. 또 다른 2017년 시스템인 가상 세계에서 물체를 잡는 지도 학습 AI는 물체와 뷰어 사이에 조작기를 배치하여 잡는 것처럼 거짓으로 보이게 하는 방법을 학습했다.
DARPA XAI 프로그램은 AI 성능을 크게 희생하지 않으면서 "인간 중심"에게 설명 가능한 "글래스박스" 모델을 생성하는 것을 목표로 한다. 인간 사용자는 AI의 인지를 실시간으로 그리고 사후에 이해하고, 신뢰할지 여부를 결정할 수 있다. XAI의 다른 응용 분야에는 블랙박스 모델에서 지식 추출 및 모델 비교가 포함된다. 윤리적 및 사회법적 준수를 위한 모니터링 시스템에서 "글래스박스" 도구는 입력과 출력을 추적하여 윤리적이고 합법적인 운영을 보장하는 가치 기반 설명을 제공한다. 이는 투명성이 부족하고 모니터링 및 규제가 더 어려운 "블랙박스" 시스템과 대조된다.
방법 및 기술
XAI 방법은 내재적 접근 방식과 사후 접근 방식으로 분류할 수 있다. 내재적 방법은 주의 메커니즘을 사용하는 신경망 아키텍처나 주의 가중치를 제공하는 트랜스포머 기반 모델과 같이 모델에 직접 해석 가능성을 구축한다. 사후 방법은 이미 훈련된 모델을 설명하며, SHAP(SHapley Additive exPlanations) 및 LIME(Local Interpretable Model-agnostic Explanations)과 같은 특징 기여도 기법을 포함하며, 이는 어떤 입력 특징이 예측에 영향을 미쳤는지 강조한다. 컴퓨터 비전에서 사용되는 타당성 맵(saliency maps)은 분류 결정에 가장 중요했던 이미지 영역을 시각화한다.
대규모 언어 모델의 경우 XAI 기술에는 주의 시각화, 내부 표현이 무엇을 인코딩하는지 테스트하는 프로빙 분류기, 자연어 설명 생성이 포함된다. 대리 모델과 같은 모델 비종속 방법은 블랙박스 모델을 로컬에서 더 간단한 해석 가능한 모델로 근사한다. 반사실적 설명은 입력을 변경하면 출력이 어떻게 달라지는지 보여주어 실행 가능한 통찰력을 제공한다. 이러한 방법은 사용자가 AI가 무엇을 결정했는지뿐만 아니라 왜 그렇게 했는지 이해하는 데 도움이 된다.
과제 및 한계
주요 과제는 정확성과 해석 가능성 사이의 균형이다. 심층 신경망과 같은 복잡한 모델은 종종 더 높은 정확도를 달성하지만 설명하기가 더 어렵다. XAI는 이를 완화하는 것을 목표로 하지만 설명이 불완전하거나 오해의 소지가 있을 수 있다. 좋은 설명이 무엇인지에 대한 합의는 없으며, 다양한 이해 관계자가 다른 유형을 요구할 수 있다. 설명은 지나치게 유리하게 조작될 수도 있으며, 이는 위험도가 높은 분야에서 우려되는 사항이다.
또 다른 문제는 EU의 일반 데이터 보호 규정(GDPR)과 같은 규정에서의 "설명에 대한 권리"로, 자동화된 결정이 설명 가능해야 한다고 요구하지만 기술적 구현은 여전히 진화 중이다. XAI 방법은 특히 수십억 개의 매개변수를 가진 딥러닝 시스템의 경우 모델의 전체 추론을 포착하지 못할 수 있다. 2025년 현재, 연구는 설명 품질의 엄격한 평가와 정확하고 해석 가능한 방법 개발에 초점을 맞추어 이러한 한계를 해결하고 있다.
응용 분야 및 향후 방향
XAI는 다양한 분야에 적용된다. 의료 분야에서 XAI는 임상의가 머신러닝 기반 진단 및 치료 권장 사항을 이해하도록 도와 인공지능 지원 의학에 대한 신뢰를 구축한다. 금융 분야에서 XAI는 신용 결정과 사기 탐지를 설명하여 규정 준수와 공정성을 보장한다. 자율 주행 차량에서 XAI는 웨이모 또는 테슬라 오토파일럿 시스템이 특정 주행 결정을 내린 이유를 명확히 할 수 있다. 법률 및 국방 분야에서 XAI는 책임성과 감독을 지원한다.
향후 방향에는 설명에 대한 더 강력한 평가 지표 개발, XAI를 모델 훈련 프로세스에 통합, 사용자가 모델을 질의할 수 있는 대화형 도구 생성이 포함된다. MIT CSAIL, 스탠포드 AI 연구소, 버클리 AI 연구와 같은 기관의 연구가 이 분야를 발전시키고 있다. AI 시스템이 더 보편화됨에 따라 XAI는 신뢰할 수 있고 공정하며 인간 가치와 일치하도록 보장하는 데 중요할 것이다.