앵커(anchor)는 머신러닝에서 모델 예측에 대한 국소적 설명을 생성하는 기법이다. 2018년 워싱턴 대학교 연구자들(마르코 툴리오 리베이로 주도)이 기존의 LIME(Local Interpretable Model-agnostic Explanations) 방법의 후속으로 도입했다. 앵커는 특정 예측이 유지되기에 충분한 단순하고 규칙 기반 조건 형태의 설명을 제공하며, 다른 특성의 변화와 무관하게 작동한다. 모델을 선형 모델로 국소 근사하는 LIME과 달리, 앵커는 예측이 보장되거나 매우 높은 확률로 발생하는 경우를 명확히 구분하는 정밀하고 높은 정확도의 규칙을 만드는 것을 목표로 한다.
앵커의 핵심 아이디어는 "어떤 최소 특성 값 집합이 존재하면 모델이 동일한 출력을 내기에 충분한가?"라는 질문에 답하는 것이다. 예를 들어, 스팸 분류기에서 앵커는 "이메일에 'lottery'라는 단어가 포함되고 발신자가 연락처 목록에 없으면 예측은 스팸이다"라는 규칙일 수 있으며, 명시된 정밀도는 0.95이다. 이 규칙은 조건이 유지되는 한 다른 특성이 변해도 예측이 안정적이기 때문에 앵커로 간주된다. 이 기법은 모델에 구애받지 않으며, 신경망, 딥러닝 시스템, 대규모 언어 모델을 포함한 모든 블랙박스 모델에 내부 매개변수 접근 없이 적용할 수 있다.
형식적 정의 및 정밀도
형식적으로, 앵커는 특성-값 쌍의 집합으로 구성된 규칙이다. 설명할 인스턴스 x가 주어졌을 때, 앵커 A는 x에 적용되는 술어의 집합이다. 이 규칙은 커버리지와 정밀도라는 두 가지 속성을 충족할 때 앵커로 간주된다. 커버리지는 국소 이웃에서 규칙을 충족하는 인스턴스의 비율을 의미하며, 정밀도는 규칙을 충족하는 인스턴스에 대한 모델 예측이 x에 대한 예측과 일치할 확률이다. 목표는 높은 정밀도(일반적으로 사용자 설정 임계값, 예: 0.95 이상)와 가능한 높은 커버리지를 가진 규칙을 찾아 설명이 정확하고 광범위하게 적용 가능하도록 하는 것이다.
정밀도를 모든 가능한 변형을 열거하지 않고 추정하기 위해, 앵커는 다중 팔 밴디트 알고리즘을 사용한다. 이 알고리즘은 원본 인스턴스의 변형을 샘플링하며, 변형된 인스턴스는 분포(종종 훈련 데이터 또는 배경 데이터셋 기반)에서 특성 값을 대체하여 생성된다. 밴디트 접근법은 높은 정밀도를 가질 가능성이 있는 규칙에 초점을 맞춰 가능한 규칙 공간을 효율적으로 탐색한다. 최종 앵커는 샘플 수에 기반한 통계적 보장과 함께 정밀도 제약 조건을 충족하면서 커버리지를 최대화하는 규칙이다.
LIME과의 비교
앵커는 2016년 리베이로와 동료들이 도입한 LIME의 한계에 대한 대응으로 개발되었다. LIME은 인스턴스 주변의 이웃에서 희소 선형 모델을 피팅하여 예측을 설명하지만, 선형 모델은 고도로 비선형적인 결정 경계에 대해 오해를 불러일으킬 수 있다. 예를 들어, 선형 근사는 특성이 양수 또는 음수 효과를 가진다고 제안할 수 있지만, 실제로는 효과가 다른 특성에 조건적일 수 있다. 앵커는 충분한 명시적 if-then 규칙을 제공하여 인간 사용자에게 더 직관적이므로 이러한 문제를 피한다. 또한 LIME의 설명은 모델 동작에 충실하다고 보장되지 않지만, 앵커는 충실도를 정량화하는 정밀도 측정을 제공한다.
또 다른 주요 차이점은 LIME이 국소적이고 섭동 커널에 따라 변할 수 있는 설명을 생성하는 반면, 앵커는 더 안정적이고 해석 가능한 것을 목표로 한다는 점이다. 앵커는 또한 더 실행 가능하도록 설계되었다. "특성 A와 특성 B가 있으면 예측 C"와 같은 규칙은 시스템을 이해하고 잠재적으로 개입하는 데 직접 사용할 수 있다.
알고리즘 및 구현
앵커 알고리즘은 후보 생성과 검증이라는 두 가지 주요 단계로 작동한다. 첫 번째 단계에서는 인스턴스의 특성 값 조합을 고려하여 후보 규칙을 생성한다. 연속 특성의 경우, 분위수 등을 사용하여 구간으로 이산화하여 술어를 만든다. 알고리즘은 가장 빈번한 특성 값에서 시작하여 규칙 공간을 탐색하는 빔 검색을 사용한다. 검증 단계에서는 각 후보 규칙을 섭동 샘플링과 경험적 정밀도 계산으로 테스트한다. 밴디트 알고리즘(특히 KL-LUCB 알고리즘)은 샘플을 효율적으로 할당하고 정밀도 추정이 충분히 확신될 때 중지하는 데 사용된다.
오픈 소스 라이브러리 anchor(Microsoft의 interpret 라이브러리 일부)에서 제공되는 구현은 표 형식 데이터, 텍스트, 이미지를 지원한다. 텍스트의 경우 앵커는 단어의 존재 또는 부재에 기반할 수 있다(예: "'not bad' 구문이 나타나면 감정은 긍정적"). 이미지의 경우 앵커는 슈퍼픽셀(이미지의 세그먼트)을 특성으로 사용하며, 규칙은 "이 픽셀들이 존재하면 이미지는 개로 분류된다"일 수 있다. 라이브러리는 또한 인간이 읽을 수 있는 형식으로 앵커를 표시하는 시각화 도구를 제공한다.
실제 응용
앵커는 모델 해석 가능성이 중요한 다양한 분야에서 적용되었다. 의료에서 앵커는 나이, 혈압, 검사 결과와 같은 특성에 기반하여 모델이 환자가 특정 질병을 가진다고 예측하는 이유를 설명할 수 있다. 예를 들어, 앵커는 "나이 > 60이고 수축기 혈압 > 140이면 심장병 고위험"일 수 있다. 이는 임상의가 모델의 결정을 신뢰하고 검증하는 데 도움이 된다. 금융에서 앵커는 신용 승인 결정을 설명하여 불리한 조치에 대한 설명을 요구하는 규정 준수를 보장한다. 사기 탐지에서 앵커는 사기 경보를 유발하는 거래 특성의 조합을 강조할 수 있다.
생성형 AI 및 대규모 언어 모델의 맥락에서 앵커는 모델이 특정 응답을 생성하는 이유를 설명하는 데 사용되었다. 예를 들어, 감정 분류기의 앵커는 "텍스트에 'love'와 'amazing'이 포함되면 감정은 긍정적"일 수 있다. 그러나 LLM의 경우 특성 공간이 더 복잡하며, 앵커는 종종 토큰 수준 특성에 의존한다. 연구자들은 또한 잘못된 예측으로 이어지는 허위 상관관계를 식별하여 모델을 디버깅하는 데 앵커를 사용하는 방법을 탐구했다.
한계 및 과제
장점에도 불구하고 앵커에는 여러 한계가 있다. 첫째, 앵커는 반사실적 인스턴스를 생성하는 데 사용되는 섭동 분포만큼만 유효하다. 분포가 현실적인 변형을 반영하지 않으면 정밀도 추정이 오해를 불러일으킬 수 있다. 둘째, 앵커는 특히 고차원 데이터에서 검색 공간이 지수적으로 증가하므로 계산 비용이 많이 들 수 있다. 셋째, 연속 특성의 이산화는 너무 거칠거나 세밀한 규칙을 초래하여 해석 가능성에 영향을 줄 수 있다. 넷째, 앵커는 충분 조건이지만 필요 조건은 아니므로 예측이 이루어진 이유를 완전히 설명하지 못할 수 있다. 동일한 예측에 대해 여러 앵커가 있을 수 있으며, 알고리즘은 하나만 찾는다.
또 다른 과제는 앵커가 섭동 과정에서 특성 독립성을 가정하지만, 이는 실제 데이터에서 성립하지 않을 수 있다는 점이다. 예를 들어, 텍스트에서 특정 단어의 존재는 종종 상관관계가 있지만, 섭동은 이를 독립적으로 처리하여 비현실적인 샘플을 생성할 수 있다. 연구자들은 의존성을 처리하기 위한 확장을 제안했지만, 이는 아직 표준이 아니다.
확장 및 관련 연구
앵커 도입 이후 여러 확장이 제안되었다. 주목할 만한 확장 중 하나는 SkopeRules 라이브러리와 같이 트리 앙상블에서 규칙을 추출하는 전역 설명을 위한 결정 규칙 사용이다. 또 다른 확장은 예측을 뒤집기 위한 최소 변경을 찾는 것을 목표로 하는 반사실적 설명과의 통합이다. 앵커는 또한 형식적 설명 가능성에서 "충분 이유" 개념과 관련이 있으며, 이는 예측을 보장하는 최소 특성 부분 집합을 계산하는 것을 목표로 한다. 이 연구 분야에서는 결정 트리 및 신경망과 같은 모델에 대한 정확한 앵커를 형식 검증 기법을 사용하여 계산하는 알고리즘이 개발되었다.
설명 가능한 AI(XAI)의 더 넓은 분야에서 앵커는 게임 이론에 기반한 특성 기여도를 제공하는 SHAP(SHapley Additive exPlanations)과 같은 다른 국소 설명 방법과 나란히 위치한다. SHAP는 특성 중요성의 전역적 관점을 제공하는 반면, 앵커는 더 직접적인 규칙 기반 설명을 제공한다. 일부 연구는 둘을 비교했으며, 앵커가 비전문가에게 더 직관적인 반면 SHAP는 더 포괄적이라는 것을 발견했다.
영향 및 미래 방향
앵커의 도입은 산업계의 해석 가능성 도구 개발에 영향을 미쳤다. 주요 클라우드 제공업체인 아마존 웹 서비스, 애저, 구글 클라우드는 머신러닝 플랫폼에 규칙 기반 설명 방법을 통합하여 사용자가 인프라에 배포된 모델에 대한 앵커를 생성할 수 있게 했다. 예를 들어, AWS SageMaker Clarify에는 앵커와 유사한 설명 생성 기능이 포함되어 있으며, Azure Machine Learning은 규칙 기반 설명을 포함한 해석 가능성 구성 요소를 제공한다.
미래 연구 방향은 고차원 데이터에 대한 앵커의 확장성 개선, 특성 의존성을 처리하는 방법 개발, 사용자가 대체 규칙을 탐색할 수 있는 대화형 도구와의 통합을 포함한다. 또한 딥러닝 모델이 더 복잡해짐에 따라 충실하고 이해 가능한 설명에 대한 필요성이 증가하고 있으며, 앵커는 특히 모델 가지치기 및 데이터 증강과 같은 다른 기법과 결합하여 모델 단순성을 개선할 때 이러한 필요를 충족하는 데 유리한 위치에 있다.
요약하면, 앵커는 충실도와 인간 이해 사이의 균형을 제공하여 국소 해석 가능성에서 중요한 진전을 나타낸다. 예측에 대한 충분 조건을 제공함으로써 이해관계자가 AI 시스템을 이해하고 신뢰할 수 있게 하며, 이는 고위험 분야에서 책임 있는 배포에 필수적이다.