기계적 해석 가능성(Mechanistic interpretability)은 AI 안전성 및 머신러닝 분야의 연구 프로그램으로, 훈련된 신경망의 가중치를 역공학하여 모델이 구현하는 알고리즘을 인간이 이해할 수 있는 방식으로 설명하려는 접근이다. 이는 대부분의 설명 가능한 AI 방법처럼 외부에서 모델의 행동을 단순히 근사하는 것과는 다르다. 이 접근법은 훈련된 모델을 마치 소스 코드 없이 컴파일된 바이너리 코드를 다루는 역공학자의 방식처럼 취급한다. 연구자들은 개별 뉴런, 계층, 가중치 조합을 조사하여 네트워크가 작업을 수행하는 데 사용하는 개별 특징과 회로를 복구하려 하며, 궁극적으로는 모델의 행동을 소스 코드를 읽는 것과 같은 확신으로 예측, 검증, 또는 편집할 수 있게 되는 것을 목표로 한다.
기원
컴퓨터 비전 분야의 초기 해석 가능성 연구, 특히 온라인 저널 Distill과 관련된 특징 시각화 연구는 합성곱 신경망 모델과 같은 이미지 분류기에서 개별 뉴런이나 소규모 뉴런 그룹이 곡선, 질감, 객체 부분과 같은 인식 가능한 개념에 대응할 수 있음을 보여주었다. 크리스 올라는 앤트로픽의 공동 창립자이자 이 분야의 선도적 인물로, 이러한 시각적이고 회로 기반의 분석 스타일을 대중화한 후 언어 모델로 확장하는 데 기여했다. 트랜스포머 아키텍처와 대규모 언어 모델 시스템의 부상은 이 분야의 초점을 어텐션 헤드, 잔차 스트림, 그리고 맥락 내 학습과 같은 작업을 수행할 수 있게 하는 내부 표현의 이해로 전환시켰다.
주요 발견
해석 가능성 연구자들은 여러 반복적인 현상을 식별했다. 중첩(superposition)은 신경망이 종종 뉴런 수보다 더 많은 고유한 특징을 표현하며, 여러 개념을 활성화 공간의 겹치는 방향에 압축하여 개별 뉴런을 단독으로 해석하기 어렵게 만든다는 발견을 설명한다. 희소 오토인코더는 더 넓은 오토인코더 기법의 응용으로, 이러한 겹치는 표현을 훨씬 더 많은 수의 단일 의미적이고 개별적으로 해석 가능한 특징으로 분해하는 데 사용된다. 앤트로픽의 2024년 연구는 생산 규모의 클로드 모델에서 수백만 개의 그러한 특징을 식별했으며, 이후 행동 관련 특징을 찾아 편집하는 작업은 이 분야에서 가장 널리 논의된 결과 중 하나였다. 다른 연구 라인은 "유도 헤드(induction head)" 메커니즘과 같은 특정 회로를 식별하여 트랜스포머 모델이 반복 패턴을 완성할 수 있게 하는 능력을 규명했으며, 해석 가능성 도구를 사용하여 모델의 명시된 출력에만 의존하지 않고 내부에서 속임수나 목표 일반화 오류의 징후를 감지했다.
동기와 중요성
지지자들은 기계적 해석 가능성이 고도로 유능한 모델이 추구하는 것으로 보이는 목표를 실제로 추구하는지에 대한 진정한 통찰을 인간에게 제공할 수 있는 몇 안 되는 연구 방향 중 하나라고 주장한다. 이는 행동 테스트만으로는 부족하다는 우려와 밀접하게 관련되며, 정렬 및 보상 해킹에 대한 논쟁과 연결된다. 해석 가능성은 블랙박스를 사후에 설명하는 것이 아니라 직접 여는 것을 목표로 하기 때문에, 일부 연구자들은 이를 인공 일반 지능에 접근하는 시스템을 포함한 훨씬 더 유능한 미래 시스템을 자신 있게 배포하기 위한 전제 조건으로 간주한다.
한계
이 분야는 여전히 어떤 최첨단 모델에 대한 완전한 설명에서 멀리 떨어져 있다. 현재 기법은 생산 규모 모델의 크기에 비해 확장성이 부족하며, 희소 오토인코더 특징이 네트워크의 모든 행동을 깔끔하게 포괄하지 못하고, 해석 기반 설명이 단순히 그럴듯한 것이 아니라 완전한지 검증하는 합의된 방법도 없다. 연구자들은 일반적으로 기계적 해석 가능성을 초기 단계의 과학으로 설명하며, 생물학적 뇌를 매핑하려는 신경과학의 시도와 야망에서는 비슷하지만 성숙도에서는 아직 미치지 못한다고 본다.