반사실적 설명( counterfactual explanation )은 머신러닝 해석 가능성(interpretability)에서 입력의 특징(feature) 중 모델이 다른 예측을 내도록 하는 가장 작은 변화를 식별하는 방법이다. 이는 "결과가 바뀌려면 무엇이 달라져야 하는가?"라는 질문에 답한다. 예를 들어, 대출 신청이 거절된 경우, 반사실적 설명은 신청자의 소득이 5,000달러 더 높았다면 승인되었을 것이라고 진술할 수 있다. 이러한 접근 방식은 사용자가 모델의 행동을 이해하고, 신뢰를 구축하며, 잠재적 편향이나 오류를 식별하는 데 도움을 준다.
반사실적 설명은 사후 설명(post-hoc explanation)의 한 형태로, 모델이 예측을 수행한 후에 생성되며 모델 자체를 변경하지 않는다. 이는 심층 신경망이나 대규모 언어 모델과 같은 복잡한 모델에서 특히 유용한데, 이러한 모델의 내부 추론 과정은 불투명하기 때문이다. 반사실적 설명은 입력의 최소 변화에 초점을 맞춤으로써, 특징 중요도(feature importance) 점수와 같은 다른 설명 방법보다 더 직관적인 실행 가능한 통찰력을 제공한다.
역사적 배경
반사실적 추론(counterfactual reasoning)의 개념은 철학과 인지 과학에 뿌리를 두고 있으며, 알려진 사실과 모순되는 대안적 시나리오를 상상하는 것을 의미한다. 인공지능 맥락에서 이 용어는 2010년대에 연구자들이 머신러닝 모델을 더 해석 가능하게 만들기 위해 노력하면서 두각을 나타냈다. 2017년 Sandra Wachter, Brent Mittelstadt, Chris Russell의 획기적인 논문은 알고리즘 의사 결정을 위한 반사실적 설명을 공식화했으며, 이는 유럽 연합 일반 데이터 보호 규정(GDPR)과 같은 규정 하에서 설명 요구 사항을 충족할 수 있다고 제안했다.
그 이후로 반사실적 설명 방법은 신경망, 트랜스포머, 잔차 네트워크를 포함한 다양한 모델 유형을 위해 개발되었다. 이들은 금융, 의료, 형사 사법과 같은 분야에서 적용되었으며, 개별 예측을 이해하는 것이 중요한 영역이다.
반사실적 설명의 작동 방식
반사실적 설명 알고리즘은 일반적으로 모델의 예측을 변경하는 가장 가까운 입력을 탐색한다. 이 탐색은 유클리드 거리(Euclidean distance)나 맨해튼 거리(Manhattan distance)와 같은 거리 메트릭에 의해 안내되며, 입력이 얼마나 변경되어야 하는지를 측정한다. 목표는 원래 입력과 가능한 한 유사하면서도 다른 결과를 생성하는 반사실적 예를 찾는 것이다.
공식적으로, 입력 x와 모델 f가 주어졌을 때, f(x') ≠ f(x)이고 거리 d(x, x')가 최소화되는 반사실적 x'를 찾는다. 추가 제약 조건이 부과될 수 있는데, 예를 들어 특정 특징(예: 나이나 성별)은 변경되지 않아야 한다거나, 반사실적 예가 데이터 분포 내에서 그럴듯해야 한다는 조건 등이 있다.
최적화 기법, 예를 들어 경사 하강법(gradient descent)은 반사실적 예를 찾는 데 자주 사용된다. 미분 가능한 모델의 경우, 경사는 예측을 변경하는 입력 방향으로 안내할 수 있다. 미분 불가능한 모델의 경우, 유전 알고리즘(genetic algorithm)이나 무작위 탐색(random search)이 사용될 수 있다.
응용 분야
반사실적 설명은 다양한 실용적 시나리오에서 사용된다:
- 금융: 신용 평가에서 대출 신청자가 거절 이유를 이해하고 승인 가능성을 높이기 위해 무엇을 변경할 수 있는지 파악하는 데 도움을 준다. 예를 들어, 은행은 신용 점수를 20점 높이면 승인될 것이라고 고객에게 알릴 수 있다.
- 의료: 의료 진단에서 임상의에게 어떤 환자 특징(예: 혈압, 콜레스테롤 수치)을 변경하면 질병 예측 위험을 줄일 수 있는지 보여주어 치료 계획을 지원한다.
- 형사 사법: 재범 위험 평가에서 고용 상태나 이전 범죄 기록과 같은 요인을 변경하면 위험 점수를 낮출 수 있는지 강조할 수 있다. 다만 이러한 설명을 사용하여 결정을 정당화하는 것에 대한 윤리적 우려가 제기된다.
- 자율 시스템: 자율 주행 자동차와 테슬라 오토파일럿에서 엔지니어가 차량이 제동이나 차선 변경과 같은 특정 결정을 내린 이유를 이해하고, 어떤 최소 센서 입력 변경이 다른 행동으로 이끌었을지 식별하는 데 도움을 준다.
도전 과제와 한계
유용성에도 불구하고 반사실적 설명은 여러 도전 과제에 직면한다:
- 다중 반사실적 예: 예측을 변경하는 동일하게 최소한의 변화가 여러 개 존재할 수 있다. 어떤 것을 제시할지 선택하는 것은 주관적일 수 있으며 사용자 인식에 영향을 미칠 수 있다.
- 그럴듯함: 반사실적 설명은 비현실적이거나 불가능한 변화(예: 나이나 성별 변경)를 제안할 수 있다. 실행 가능하고 데이터 분포 내에 있는 반사실적 예를 보장하는 것은 활발한 연구 분야이다.
- 인과성: 반사실적 설명은 인과적이지 않으며 단지 상관관계만을 설명한다. 실제로 특징을 변경한다고 해서 예측된 결과가 반드시 달라지는 것은 아니다. 인과 관계가 다르면 실제 결과는 예측과 다를 수 있다.
- 계산 비용: 복잡한 모델의 경우, 특히 실시간 응용 프로그램에서 반사실적 예를 찾는 것은 계산적으로 비용이 많이 들 수 있다.
- 악용 가능성: 반사실적 설명은 모델을 속이는 입력을 찾는 데 악용될 수 있으며, 이는 적대적 예제(adversarial example)와 유사하여 보안 문제를 제기한다.
다른 해석 가능성 방법과의 관계
반사실적 설명은 다른 해석 가능성 기법과 관련이 있지만 구별된다:
- 특징 중요도: SHAP(SHapley Additive exPlanations)과 같은 방법은 각 특징이 예측에 얼마나 기여했는지 점수를 할당한다. 반사실적 설명은 특징을 함께 변경하여 결과를 바꾸는 방법을 보여준다.
- 대조적 설명(Contrastive Explanations): 이는 실제 예측이 왜 다른 대안보다 선택되었는지 설명하며, 종종 실제 사례와 반사실적 사례 간의 차이를 강조한다.
- 적대적 예제: 적대적 예제는 미세한 변화로 모델을 속이는 것을 목표로 하는 반면, 반사실적 설명은 의미 있고 인간이 이해할 수 있는 변화로 다른 결과를 달성하는 것을 목표로 한다.
최근 발전
반사실적 설명에 대한 연구는 빠르게 확장되었다. 2020년, Google DeepMind 및 기타 기관의 연구자들은 희소성(sparse, 즉 적은 특징 변경)과 다양성(diverse, 즉 여러 대안 제공)을 모두 갖춘 반사실적 예를 생성하는 방법을 제안했다. 2021년에는 인과적 반사실적 설명에 대한 연구가 진행되어 변경 사항이 인과적 의존성을 존중하도록 보장했다.
생성형 AI와 대규모 언어 모델의 부상으로 반사실적 설명은 텍스트와 이미지 데이터에 적용되었다. 예를 들어, 자연어 처리에서 리뷰의 몇 단어를 변경하면 감정 분류가 어떻게 바뀌는지 보여줄 수 있다. 컴퓨터 비전에서는 이미지의 특정 픽셀이나 영역을 수정하면 이미지 분류가 어떻게 달라지는지 보여줄 수 있다.
OpenAI와 Anthropic과 같은 기업은 모델 견고성과 해석 가능성을 개선하기 위해 반사실적 추론을 탐구했다. 예를 들어, 반사실적 데이터 증강(counterfactual data augmentation) - 수정된 훈련 예제 생성 - 은 모델 일반화를 향상시키는 것으로 나타났다.
윤리적 및 규제적 고려 사항
반사실적 설명은 GDPR 하의 "설명에 대한 권리"를 충족하는 방법으로 제안되었다. 그러나 충분한 투명성을 제공하는지에 대해서는 논쟁이 있다. 비평가들은 반사실적 설명이 존재하지 않는 인과 관계를 암시함으로써 오해를 불러일으킬 수 있다고 주장한다. 예를 들어, 거절된 대출 신청자에게 소득을 5,000달러 늘리면 승인될 것이라고 말하는 것은, 모델의 결정이 다른 명시되지 않은 요인에 의해 영향을 받는 경우 부정확할 수 있다.
또한 반사실적 설명은 개인을 조작하는 데 사용될 수 있다. 예를 들어, 기업이 나이를 낮추는 것과 같은 불가능한 변경을 제안하여 항소를 억제할 수 있다. 윤리적 지침은 반사실적 설명이 진실하고, 실행 가능하며, 적절한 주의 사항과 함께 제시되어야 한다고 강조한다.
미래 방향
반사실적 설명 분야는 계속 진화하고 있다. 주요 연구 분야는 다음과 같다:
- 인과적 반사실적 설명: 실제 인과 관계를 반영하는 설명을 생성하기 위해 인과 추론을 통합하는 것.
- 대화형 설명: 사용자가 특징을 동적으로 조정하고 결과 예측을 확인할 수 있게 하는 것.
- 반사실적 공정성: 반사실적 설명이 편향을 강화하지 않고 인구 통계학적 그룹 간에 동등하게 유효하도록 보장하는 것.
- 확장성: 수십억 개의 매개변수를 가진 트랜스포머와 같은 대규모 모델을 위한 효율적인 알고리즘 개발.
머신러닝 시스템이 고위험 결정에서 더 널리 사용됨에 따라, 반사실적 설명은 이러한 시스템을 이해 가능하고 책임 있게 만드는 데 점점 더 중요한 역할을 할 것이다.