컨셉 활성화 벡터(CAV)는 기계 학습에서 신경망의 내부 표현을 해석하기 위한 기법이다. 2017년 구글 브레인과 스탠포드 대학의 연구자들이 소개한 CAV는 '줄무늬' 또는 '의사'와 같은 특정 개념이 모델의 활성화에 인코딩되어 있는지 테스트하는 방법을 제공한다. 이 방법은 개념을 포함하는 예시와 포함하지 않는 예시의 활성화를 구분하도록 선형 분류기를 훈련시킨 다음, 분류기의 가중치 벡터를 CAV로 사용하는 것을 포함한다. 이 벡터는 활성화 공간 내에서 개념에 해당하는 방향을 가리키며, 연구자들이 인간이 해석할 수 있는 방식으로 모델의 이해를 조사할 수 있게 한다.
CAV는 AI 해석 가능성 분야, 특히 딥 러닝 모델에서 편향을 평가하고 학습된 특징을 검증하며 투명성을 개선하는 데 널리 사용된다. 이는 특히 대규모 언어 모델과 트랜스포머에서 모델이 '알고 있는' 것을 이해하는 것이 신뢰와 안전에 중요하기 때문에 더욱 관련이 깊다.
배경 및 동기
신경망이 복잡해짐에 따라 내부 작동 방식은 점점 더 불투명해졌다. 초기 해석 가능성 방법은 개별 뉴런이나 주의 가중치를 시각화하는 데 초점을 맞췄지만, 이러한 접근 방식은 표현의 분산적 특성을 포착하지 못하는 경우가 많았다. 2017년, 구글 브레인의 Been Kim이 이끄는 팀은 모델을 체계적으로 조사하는 더 나은 방법을 제안함으로써 이 문제를 해결하고자 했다. 그들의 연구는 '특성 귀속을 넘어선 해석 가능성: 컨셉 활성화 벡터를 사용한 정량적 테스트(TCAV)'라는 논문에서 CAV를 TCAV(Testing with Concept Activation Vectors)라는 더 넓은 프레임워크의 일부로 소개했다. 동기는 단순한 특성 귀속을 넘어 모델이 의사 결정에서 개념을 사용하는지 여부에 대한 정량적 테스트를 가능하게 하는 것이었다.
핵심 통찰은 개념이 종종 개별 뉴런이 아닌 고차원 활성화 공간의 방향으로 표현된다는 것이었다. 이러한 활성화 위에 선형 프로브를 훈련함으로써 개념의 방향을 포착하는 벡터를 추출할 수 있다. 이 접근 방식은 신경망이 고수준 개념에 대해 선형적으로 분리 가능한 표현을 자주 학습한다는 관찰에 기반을 둔다.
CAV 작동 방식
CAV를 계산하는 과정은 여러 단계를 포함한다. 먼저, 관심 개념을 대표하는 예시 집합(예: 줄무늬 물체의 이미지)과 그렇지 않은 '반례' 집합(예: 줄무늬가 없는 물체의 이미지)을 선택한다. 그런 다음 모델을 이러한 예시에 실행하고 선택된 층의 활성화를 기록한다. 다음으로, 두 활성화 집합을 구분하도록 선형 분류기 - 일반적으로 서포트 벡터 머신(SVM) 또는 로지스틱 회귀 - 를 훈련시킨다. 이 분류기의 가중치 벡터를 단위 길이로 정규화한 것이 CAV가 된다.
CAV를 얻은 후에는 이를 사용하여 개념에 대한 모델의 민감도를 테스트할 수 있다. 예를 들어, TCAV에서는 CAV 방향을 따라 활성화에 대한 모델 출력의 방향 도함수를 계산한다. 양의 도함수는 개념이 존재할 때 모델의 예측이 증가함을 나타내며, 모델이 해당 개념에 의존하고 있음을 시사한다. 이는 네트워크의 모든 층에서 수행될 수 있어 개념 사용에 대한 층별 분석을 제공한다.
해석 가능성에서의 응용
CAV는 컴퓨터 비전과 자연어 처리를 포함한 다양한 분야에 적용되었다. 원래 논문에서 저자들은 이미지 분류 모델에서 이 기법을 시연하며 '줄무늬' 또는 '점박이'와 같은 개념이 얼룩말과 표범을 분류하는 데 사용되었음을 보여주었다. 또한 CAV를 사용하여 모델이 의사 이미지를 분류할 때 '성별'을 요인으로 사용하는 것과 같은 잠재적 편향을 탐지했다.
자연어 처리에서 CAV는 대규모 언어 모델에서 '유해성', '감정', 또는 '주제'와 같은 개념을 조사하는 데 사용되었다. 예를 들어, 연구자들은 CAV를 사용하여 모델이 특정 인구 통계 용어를 부정적 감정과 연관시키는지 식별함으로써 숨겨진 편향을 밝혀냈다. 이는 실제 응용 프로그램에 배포된 생성형 AI 시스템에서 특히 중요하다.
다른 해석 가능성 방법과의 관계
CAV는 특성 귀속, 중요도 맵, 활성화 최대화를 포함하는 더 넓은 해석 가능성 기법 계열의 일부이다. 입력 특성을 강조하는 중요도 맵과 달리 CAV는 내부 표현에서 작동한다. 또한 활성화에 분류기를 훈련시켜 속성을 예측하는 선형 프로빙과도 관련이 있으며, CAV는 분류기의 가중치 벡터를 개념 방향으로 사용함으로써 이를 확장한다.
뉴런 수준 분석과 비교할 때 CAV는 분산 표현을 포착하므로 다의성(polysemanticity) - 단일 뉴런이 여러 무관한 개념에 반응하는 현상 - 에 더 강건하다. 이는 다의성이 흔한 현대 트랜스포머에서 중요한 장점이다.
한계 및 과제
유용성에도 불구하고 CAV에는 한계가 있다. 주요 과제 중 하나는 반례 선택이다. CAV의 품질은 부정적 예시의 선택에 크게 의존하며, 대표적이지 않으면 CAV가 우연한 상관관계를 포착할 수 있다. 또한 CAV는 선형적이므로 비선형 개념 관계를 포착하지 못할 수 있다. 또 다른 문제는 CAV가 사후(post hoc) 계산된다는 점으로, 이는 모델이 이미 학습한 것을 반영할 뿐 학습할 수 있는 것을 반영하지 않는다는 것을 의미한다.
더 나아가, CAV는 모델의 내부 활성화에 접근해야 하므로 독점 모델에서는 사용할 수 없을 수 있다. 이로 인해 블랙박스 모델에서 작동하는 대체 방법이 개발되었지만, CAV는 화이트박스 해석 가능성을 위한 귀중한 도구로 남아 있다.
확장 및 변형
CAV의 여러 확장이 제안되었다. 예를 들어, '컨셉 병목 모델(Concept Bottleneck Models)'은 개념 방향을 모델 아키텍처에 직접 통합하여 명시적 개념 기반 추론을 가능하게 한다. 또 다른 변형인 '자동 개념 발견(Automated Concept Discovery)'은 클러스터링을 사용하여 인간이 레이블링한 예시 없이 개념을 자동으로 찾는다. 대규모 언어 모델의 맥락에서 연구자들은 CAV를 토큰 수준 활성화에 적용하여 다양한 맥락에서 개념이 어떻게 표현되는지에 대한 세밀한 분석을 가능하게 했다.
최근 연구는 모델 편집 및 편향 제거를 위해 CAV를 사용하는 것도 탐구하고 있다. 개념 방향을 식별함으로써 성별이나 인종과 같은 원치 않는 개념에 대한 의존을 줄이기 위해 모델의 표현을 조정할 수 있다. 이는 AI 안전 및 공정성 연구의 활발한 영역이다.
영향 및 미래 방향
CAV는 AI 해석 가능성 분야에 상당한 영향을 미쳤으며, 메커니즘 해석 가능성과 표현 엔지니어링에 대한 후속 연구에 영향을 주었다. 이제는 OpenAI, Anthropic, Google DeepMind과 같은 기관의 연구자들이 사용하는 해석 가능성 도구 키트의 표준 도구가 되었다. 모델이 계속해서 규모가 커짐에 따라 CAV와 같은 해석 가능성 방법의 필요성은 더욱 절실해진다. 미래 방향에는 다중 모달 모델을 위한 CAV 개발, 개념 추출의 강건성 개선, 자동 감사 시스템에 CAV 통합이 포함된다.
요약하면, 컨셉 활성화 벡터는 개념이 모델의 표현에 인코딩되어 있는지 테스트하는 원칙적인 방법을 제공하며, 모델이 무엇을 학습하고 어떻게 결정을 내리는지에 대한 통찰을 제공한다. 그 단순성과 효과성은 현대 해석 가능성 연구의 초석이 되었다.
같이 보기
참고 문헌
- Kim, B., et al. (2018). Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV). ICML.
- Koh, P. W., et al. (2020). Concept Bottleneck Models. ICML.
- Goh, G., et al. (2021). Multimodal Neurons in Artificial Neural Networks. Distill.