메커니즘 해석 가능성(mechanistic interpretability, 때로는 mech interp, mechinterp, 또는 MI로 약칭)은 설명 가능한 인공지능 내의 연구 하위 분야로, 신경망의 내부 작동 방식을 구체적인 구조, 알고리즘, 회로를 분석함으로써 이해하는 것을 목표로 한다. 이 접근 방식은 기존 소프트웨어의 역공학과 유사한 방식으로 신경망을 분석하고자 하며, 블랙박스 설명을 넘어 모델의 행동을 이끄는 특정 메커니즘을 식별하는 데 중점을 둔다. 이 분야는 2020년대 초반 이후 빠르게 성장했으며, Anthropic, OpenAI, Google DeepMind와 같은 연구 기관과 MIT CSAIL, Stanford AI Lab, BAIR (Berkeley AI Research)를 포함한 학술 기관의 상당한 기여가 있었다.
메커니즘 해석 가능성은 설명 가능한 AI라는 더 넓은 맥락 안에 위치하지만, 사후 귀인 방법보다는 인과적이고 구조적인 분석에 초점을 둔다는 점에서 차별화된다. 이는 머신러닝, 딥러닝, 신경망 이론의 개념을 활용하며, 특히 대규모 언어 모델 및 기타 생성형 AI 시스템을 감사하는 데 중요해졌다. 궁극적인 목표는 코드를 검사하고, 디버깅하고, 검증할 수 있는 전통적인 소프트웨어 공학에 필적하는 수준의 이해를 제공하는 것이다.
역사
"메커니즘 해석 가능성"이라는 용어는 Anthropic의 공동 창립자인 크리스 올라(Chris Olah)가 해석 가능한 AI의 일반적인 방법과 대비되는 회로 분석 작업을 설명하면서 처음 사용했다. 회로 분석은 모델 내의 개별 특징과 회로를 완전히 특성화하려는 반면, 더 넓은 분야는 살리언시 맵과 같은 경사 기반 접근 방식에 치우쳐 있었다. 올라의 초기 작업은 OpenAI 재직 시절과 이후 Anthropic에서 수행되었으며, 신경망을 이해하기 위한 보다 엄격하고 하향식 접근 방식의 기초를 마련했다.
회로 분석 이전에는 특징 시각화, 차원 축소, 귀인과 같은 다양한 기법을 인간-컴퓨터 상호작용 방법과 결합하여 Inception v1과 같은 비전 모델을 분석하는 작업이 있었다. Google DeepMind와 학계 연구소의 연구자들이 참여한 이러한 초기 노력은 신경망이 중간 계층에 해석 가능한 특징을 인코딩하는 경우가 많다는 것을 입증했지만, 인과 관계를 검증하기 위한 체계적인 방법론은 부족했다.
이 분야는 2010년대 후반과 2020년대 초반에 트랜스포머 기반 모델이 지배적이 되면서 추진력을 얻었다. Jacob Steinhardt, Llion Jones 및 Anthropic과 OpenAI의 다른 연구자들은 소규모 모델에 대한 상세한 회로 분석을 발표하기 시작했고, 이후 이러한 기법을 더 큰 시스템으로 확장했다. 2023년까지 메커니즘 해석 가능성은 전용 워크숍, 컨퍼런스, 자금 지원 계획을 갖춘 인정받는 하위 분야가 되었다.
핵심 개념
메커니즘 해석 가능성은 머신러닝 모델의 가중치에 인코딩된 구조, 회로 또는 알고리즘을 식별하는 것을 목표로 한다. 이는 살리언시 맵이나 특징 귀인과 같은 "블랙박스" 설명에 주로 초점을 맞춘 초기 해석 가능성 방법과 대조된다. 핵심 가정은 신경망이 복잡함에도 불구하고 역공학이 가능한 개별적이고 분석 가능한 계산을 구현한다는 것이다.
중심 개념은 "특징(feature)"으로, 특정 객체, 의미 범주 또는 통사적 역할과 같은 인간이 이해할 수 있는 개념에 해당하는 활성화 공간의 방향 또는 패턴을 의미한다. 특징은 종종 희소 오토인코더 또는 차원 축소와 같은 기법을 사용하여 식별된다. 또 다른 핵심 개념은 "회로(circuit)"로, 입력을 출력에 연결하는 특징 활성화의 인과적 사슬이다. 회로를 매핑함으로써 연구자들은 모델이 정보를 처리하고 결정을 내리는 방식을 추적할 수 있다.
선형 표현 가설
이 가설은 고수준 개념이 신경망의 활성화 공간에서 선형 방향으로 표현된다고 제안한다. 단어 임베딩과 대규모 언어 모델의 경험적 증거는 이 관점을 지지하지만, 보편적으로 적용되지는 않는다. 예를 들어, 많은 트랜스포머 기반 모델에서 성별, 시제, 감정과 같은 개념은 특정 벡터를 더하거나 빼으로써 조작할 수 있어 선형 구조를 나타낸다. 그러나 일부 개념은 비선형적으로 분포되어 있는 것으로 보이며, 이 가설은 여전히 활발한 연구 분야이다.
선형 표현 가설은 특징이 주성분 분석 또는 희소 사전 학습과 같은 간단한 선형 대수 기법을 사용하여 식별될 수 있음을 시사하므로 해석 가능성에 실용적인 의미를 갖는다. 또한 원시 활성화에서 이러한 선형 방향을 복구하는 것을 목표로 하는 많은 희소 오토인코더 접근 방식의 기반이 된다.
방법
메커니즘 해석 가능성은 인과적 방법을 사용하여 내부 모델 구성 요소가 출력에 어떻게 영향을 미치는지 이해하며, 종종 인과 이론의 공식적인 도구를 사용한다. 이러한 방법에는 한 입력의 활성화를 다른 입력에 대체하여 출력 변화를 관찰하는 활성화 패칭, 특정 구성 요소를 제거하거나 0으로 설정하는 절제 연구, 경사 기반 귀인이 포함되지만, 이 분야는 일반적으로 상관 방법보다 인과적 개입을 선호한다.
일반적인 분석 파이프라인은 여러 단계를 포함한다: 첫째, 모델이 훈련되거나 선택되며, 종종 소규모 트랜스포머 또는 비전 작업을 위한 잔차 네트워크가 사용된다. 다음으로, 연구자들은 특징 시각화 또는 희소 오토인코더와 같은 기법을 사용하여 후보 특징을 식별한다. 그런 다음, 이러한 특징이 특정 행동에 역할을 하는지 확인하기 위해 인과 실험을 수행한다. 마지막으로, 특징과 계층 간의 상호 작용을 요약하는 회로 다이어그램을 구성한다.
메커니즘 해석 가능성은 AI 안전 분야에서 복잡한 AI 시스템의 행동을 이해하고 검증하며, AI 정렬 오류와 같은 잠재적 위험을 식별하려는 시도에 사용된다. 모델 내부를 세밀하게 보여줌으로써, 출력에서 나타나기 전에 기만적이거나 의도하지 않은 행동을 감지하는 것을 가능하게 하는 것을 목표로 한다.
희소 오토인코더
희소 오토인코더(SAE)는 신경망 활성화를 희소 표현으로 분리하도록 훈련된 모델이다. 학습된 차원은 종종 단순하고 인간이 이해할 수 있는 개념을 나타낸다. 이 기법은 2023년과 2024년에 Anthropic에 의해 대규모 언어 모델 해석 가능성에 적용되었으며, Claude와 같은 모델에서 해석 가능한 특징을 추출하는 데 눈에 띄는 성공을 거두었다. SAE는 소수의 활성 특징 집합에서 활성화를 재구성하여 네트워크가 희소하고 과완전한 기저를 학습하도록 장려한다.
SAE는 특정 개체, 감정, 심지어 추상적인 추론 패턴과 같은 개념에 대한 특징을 식별하는 데 사용되었다. 특히 활성화 공간이 고차원이고 밀집된 대규모 언어 모델을 분석하는 데 유용하다. 그러나 SAE는 훈련에 계산 비용이 많이 들 수 있으며, 결과 특징이 항상 인간의 범주와 완벽하게 일치하지 않을 수 있다.
특징과 회로
신경망의 회로는 특징 활성화의 인과적 사슬로 구성된다. 어떤 회로가 어떤 하류 결과로 이어지는지 매핑하고, 회로를 활성화 및 억제함으로써 신경망(예: LLM)이 주어진 입력에서 주어진 결과에 어떻게 도달하는지 분석할 수 있다. 예를 들어, 연구자들은 모델이 행동의 수신자를 올바르게 예측하는 간접 목적어 식별과 같은 작업과 소규모 트랜스포머의 산술 연산에 대한 회로를 식별했다.
회로 분석은 종종 연구자들이 중간 표현을 검사할 수 있게 해주는 활성화 패칭 및 로짓 렌즈와 같은 기법을 포함한다. 비전 모델에서는 가장자리, 질감, 객체 부품을 감지하는 회로가 발견되었으며, 언어 모델에서는 통사적 일치, 사실 회상, 심지어 일부 형태의 추론에 대한 회로가 매핑되었다. 목표는 모델 간에 재사용 및 검증할 수 있는 포괄적인 회로 라이브러리를 구축하는 것이다.
응용 및 시사점
메커니즘 해석 가능성은 몇 가지 실용적인 응용 분야가 있다. AI 안전에서는 숨겨진 편향, 백도어 또는 잘못 정렬된 목표에 대해 모델을 감사하는 데 사용된다. 예를 들어, 연구자들은 회로 분석을 사용하여 모델이 허위 상관 관계에 의존하거나 아첨 행동을 보일 때를 감지했다. 모델 디버깅에서 해석 가능성은 엔지니어가 특정 입력에서 모델이 실패하는 이유를 식별하고 미세 조정 또는 재훈련을 안내하는 데 도움이 될 수 있다.
이 분야는 또한 더 해석 가능한 아키텍처의 설계에 정보를 제공한다. 일부 연구자들은 희소 오토인코더를 계층으로 사용하거나 분리된 표현을 통합하는 등 내장된 해석 가능성을 가진 모델을 구축할 것을 제안한다. 그러나 이러한 접근 방식은 여전히 실험적이며, 해석 가능성이 성능 저하 없이 달성될 수 있는지에 대한 논쟁이 있다.
2025년 현재, 메커니즘 해석 가능성은 빠르게 진화하는 분야로 남아 있으며 공개적인 과제가 있다. GPT-4 또는 Claude 3과 같은 대규모 모델로 분석을 확장하는 것은 계산 집약적이며, 회로의 복잡성은 모델 크기에 따라 증가한다. 또한 이론적 기초에 대한 논의가 진행 중이며, 일부 연구자들은 확률적 훈련 과정을 고려할 때 신경망이 완전히 역공학될 수 있는지 의문을 제기한다.
같이 보기
참고 문헌
- Olah, C., et al. (2020). "Zoom In: An Introduction to Circuits." Distill.
- Elhage, N., et al. (2021). "A Mathematical Framework for Transformer Circuits." Anthropic.
- Cunningham, H., et al. (2023). "Sparse Autoencoders Find Highly Interpretable Features in Language Models." Anthropic.
- Nanda, N., et al. (2023). "Emergent Linear Representations in World Models of Self-Supervised Sequence Models." BlackNLP Workshop.
추가 자료
- Bricken, T., et al. (2023). "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning." Anthropic.
- Lieberum, T., et al. (2023). "Does Circuit Analysis Interpretability Scale? Evidence from Multiple Choice Capabilities in Chinchilla." DeepMind.
- Rauker, T., et al. (2023). "Towards Interpretable Deep Learning: A Review." arXiv.