활성화 패칭(activation patching)은 기계론적 해석 가능성(mechanistic interpretability) 분야에서 사용되는 인과적 개입 기법이다. 기계론적 해석 가능성은 설명 가능한 인공지능의 하위 분야로, 신경망의 구체적인 구조, 알고리즘, 회로를 분석하여 내부 작동 방식을 이해하는 것을 목표로 한다. 이 방법은 순전파(forward pass) 중 특정 뉴런, 층, 또는 어텐션 헤드의 활성화를 수정하고 그 결과로 모델 출력이 어떻게 변화하는지 관찰하는 방식으로 이루어진다. 내부 상태에 체계적으로 개입함으로써 연구자들은 개별 구성 요소가 모델의 행동에 미치는 인과적 기여도를 측정할 수 있으며, 이는 기존 소프트웨어 디버깅과 유사한 방식으로 네트워크를 역설계하는 효과를 낳는다.
이 기법은 기계론적 해석 가능성의 광범위한 목표, 즉 머신러닝 모델의 가중치에 인코딩된 구조, 회로, 또는 알고리즘을 식별하는 작업의 핵심이다. 주로 "블랙 박스" 설명에 초점을 맞춘 초기 해석 가능성 방법(예: 돌출 맵(saliency map)이나 그래디언트 기반 속성)과 달리, 활성화 패칭은 내부 상태와 출력 사이의 직접적이고 인과적인 연결을 제공한다. 이는 모델의 행동을 검증하고, AI 정렬 실패와 같은 잠재적 위험을 탐지하며, 대규모 언어 모델(LLM) 및 기타 신경망이 주어진 입력에서 특정 결론에 도달하는 방식을 이해하는 데 강력한 도구가 된다.
기원과 발전
"기계론적 해석 가능성"이라는 용어는 Anthropic의 공동 창업자인 크리스 올라(Chris Olah)가 회로 분석(circuit analysis) 작업을 설명하면서 만든 것으로, 이는 해석 가능한 AI에서 일반적으로 사용되던 방법과 대비되었다. 회로 분석은 모델 내 개별 특징과 회로를 완전히 특성화하려는 반면, 더 넓은 분야는 돌출 맵과 같은 그래디언트 기반 접근 방식에 치우쳐 있었다. 회로 분석 이전에는 특징 시각화, 차원 축소, 속성 기법을 인간-컴퓨터 상호작용 방법과 결합하여 Inception v1과 같은 비전 모델을 분석하는 작업이 하위 분야에서 이루어졌다.
활성화 패칭은 회로 분석의 자연스러운 확장으로 등장했으며, 특정 행동에 어떤 구성 요소가 중요한지에 대한 가설을 검증하는 방법을 제공했다. 초기 적용은 비전 모델에 집중되었지만, 이 기법은 트랜스포머 기반 대규모 언어 모델의 부상과 함께 두각을 나타내며 어텐션 헤드, 잔차 스트림, 피드포워드 네트워크를 연구하는 표준 도구가 되었다. 이후 Anthropic, OpenAI, Google DeepMind와 같은 기관의 연구자들은 이 방법을 정교화하고 희소 오토인코더(sparse autoencoder)와 같은 다른 해석 가능성 도구와 통합했다.
핵심 원리
활성화 패칭은 신경망의 내부 표현이 정보를 분산된 방식으로 인코딩한다는 원리에 기반한다. 순전파 중 특정 시점의 뉴런 또는 층의 활성화는 여러 특징이 혼합된 값을 담은 벡터이다. 이 활성화를 다른 입력(또는 반사실적 설정)에서 얻은 값으로 대체하면 출력이 어떻게 변하는지 관찰할 수 있으며, 이를 통해 해당 구성 요소의 역할을 분리할 수 있다.
이 기법은 선형 표현 가설(linear representation hypothesis)에 의존한다. 이 가설은 고수준 개념이 신경망의 활성화 공간에서 선형 방향으로 표현된다는 주장이다. 단어 임베딩과 대규모 언어 모델에서 얻은 경험적 증거가 이 관점을 뒷받침하지만, 보편적으로 성립하지는 않는다. 활성화 패칭은 이러한 선형성을 활용하여 개념 방향 측면에서 해석 가능한 표적 개입을 수행한다.
방법론
일반적인 활성화 패칭 실험은 세 번의 순전파를 포함한다. 첫째, 기준선 통과(baseline pass)는 깨끗한 입력으로 실행되어 모델의 출력을 기록하고 관심 대상 활성화를 저장한다. 둘째, 손상 통과(corrupted pass)는 수정된 입력(예: 핵심 명사가 대체된 문장)으로 실행되어 다른 출력을 생성하고 손상된 활성화를 저장한다. 셋째, 패칭 통과(patched pass)는 특정 층 또는 헤드에서 손상된 활성화를 깨끗한 활성화로 대체하여 실행되며, 출력은 기준선과 비교된다.
패칭 통과와 손상 통과 사이의 출력 차이는 패칭된 구성 요소의 인과적 효과를 나타낸다. 특정 헤드를 패칭했을 때 원래 출력이 복원되면 해당 헤드는 해당 작업에 중요할 가능성이 높다. 반대로 패칭이 효과가 없으면 해당 구성 요소는 중복되거나 관련이 없을 수 있다. 이 과정은 모든 구성 요소에 걸쳐 반복되어 네트워크의 인과적 지도를 생성할 수 있으며, 종종 히트맵이나 그래프로 시각화된다.
대규모 언어 모델에서의 응용
활성화 패칭은 대규모 언어 모델의 기계론적 해석 가능성에서 핵심 도구가 되었다. 연구자들은 이를 사용하여 주어-동사 일치, 공지시 해결, 사실 회상과 같은 특정 언어 현상을 담당하는 어텐션 헤드를 식별한다. 예를 들어, "The cat sat on the mat"과 같은 문장에서 특정 어텐션 헤드의 활성화를 패칭하면 해당 헤드가 "cat"과 "sat" 사이의 관계를 인코딩하는지 여부를 밝힐 수 있다.
이 기법은 또한 트랜스포머의 주요 정보 고속도로인 잔차 스트림을 연구하는 데 사용된다. 다양한 층에서 잔차 스트림을 패칭함으로써 연구자들은 정보가 입력에서 출력으로 어떻게 흐르고 어디에서 변환되는지 추적할 수 있다. 이는 문맥에서 패턴을 복사하는 역할을 담당하는 유도 헤드(induction head)와 같은 기능적 회로의 발견으로 이어졌다.
희소 오토인코더와의 관계
활성화 패칭은 종종 희소 오토인코더(SAE)와 결합된다. SAE는 신경망 활성화를 희소 표현으로 분리하도록 훈련된 모델이다. SAE의 학습된 차원은 종종 단순하고 인간이 이해할 수 있는 개념을 나타낸다. 언어 모델의 활성화에 SAE를 적용하면 주어진 문맥에서 어떤 특징이 활성화되는지 식별할 수 있으며, 그런 다음 해당 특징을 패칭하여 인과적 역할을 검증할 수 있다. Anthropic은 이 기법을 대규모 언어 모델 해석 가능성에 적용하여 SAE로 활성화를 해석 가능한 특징으로 분해하고 해당 특징을 패칭하여 효과를 확인했다.
이러한 결합은 전체 층이 아닌 특정 개념 방향을 표적으로 삼기 때문에 원시 활성화를 패칭하는 것보다 더 세밀한 개입을 가능하게 한다. 또한 많은 특징이 소수의 뉴런에 압축되어 있는 중첩(superposition) 문제를 해결하는 데 도움이 된다.
회로와 인과 분석
신경망의 회로는 특징 활성화의 인과적 사슬로 구성된다. 어떤 회로가 어떤 하류 결과로 이어지는지 매핑하고, 회로를 활성화하거나 억제함으로써 신경망(예: LLM)이 주어진 입력에서 주어진 결과에 어떻게 도달하는지 분석할 수 있다. 활성화 패칭은 이 매핑의 주요 도구로, 가설화된 회로가 실제로 특정 행동에 필요한지 검증할 수 있게 한다.
예를 들어, 비전 모델에서 회로는 가장자리를 감지하는 뉴런 집합, 모서리를 감지하는 또 다른 집합, 마지막으로 객체를 인식하는 집합으로 구성될 수 있다. 가장자리 감지 뉴런의 활성화를 무작위 값으로 패칭하면 전체 회로가 붕괴되는 반면, 더 후반 층을 패칭하면 더 국소적인 효과가 나타날 수 있다. 이러한 계층적 분석은 모델의 내부 알고리즘에 대한 완전한 그림을 구축하는 데 도움이 된다.
한계와 과제
활성화 패칭에는 여러 한계가 있다. 첫째, 테스트되는 각 구성 요소에 대해 여러 번의 순전파가 필요하므로 계산 비용이 높다. 수십억 개의 매개변수를 가진 대규모 모델에서는 이 비용이 부담될 수 있다. 둘째, 손상된 입력의 선택이 중요하며, 잘못 선택된 손상은 오해를 불러일으키는 결과를 초래할 수 있다. 셋째, 이 기법은 구성 요소가 독립적으로 작동한다고 가정하지만, 실제로는 구성 요소 간 상호작용이 분석을 혼란시킬 수 있다.
또한 활성화 패칭은 모델에 대한 국소적이고 입력 특정적인 관점만 제공한다. 한 입력에 중요한 구성 요소는 다른 입력에는 관련이 없을 수 있으므로, 단일 실험에서 얻은 결론은 일반화되지 않을 수 있다. 연구자들은 견고한 이해를 구축하기 위해 다양한 입력에 걸쳐 많은 실험을 실행해야 하는 경우가 많다.
미래 방향
2020년대 중반 현재, 활성화 패칭은 활발한 연구 분야로, 더 큰 모델로 기법을 확장하고 회로 발견을 자동화하는 데 초점이 맞춰져 있다. TransformerLens 라이브러리와 같은 도구는 연구자들이 오픈소스 모델에 패칭을 적용하는 것을 더 쉽게 만들었으며, 학술 연구소와 Anthropic, Google DeepMind와 같은 산업 그룹 간의 협력이 진전을 가속화하고 있다. 궁극적인 목표는 신경망 내부에 대한 포괄적인 이해를 개발하는 것이며, 이는 AI 안전 관행에 정보를 제공하고 더 신뢰할 수 있고 통제 가능한 AI 시스템으로 이어질 수 있다.
같이 보기
- 기계론적 해석 가능성
- 희소 오토인코더
- circuit-analysis
- AI 정렬
- 대규모 언어 모델
- 트랜스포머