특징 제거(feature ablation)는 인공지능과 머신러닝에서 특정 구성 요소가 AI 시스템의 전반적인 성능에 기여하는 정도를 파악하기 위해 사용되는 기법이다. 이 방법은 구성 요소를 제거하거나 비활성화한 후 시스템 성능의 변화를 관찰하는 방식으로 이루어진다. 이 접근법은 인공 신경망 분석에서 특히 흔히 사용되며, 연구자들이 음성 인식, 객체 탐지, 로봇 제어와 같은 작업에 필수적인 특징이나 내부 구조를 이해하는 데 도움을 준다.
이 용어는 생물학, 특히 유기체의 구성 요소를 제거하는 것과의 유추에서 비롯되었으며, 절제 수술(ablative brain surgery)과 관련이 있다. 생물학 연구에서 절제(ablation)는 기능을 연구하기 위해 유기체의 일부를 파괴하거나 제거하는 것을 포함한다. 동일한 원리가 AI 시스템에도 적용된다. 통제된 환경에서 구성 요소를 제거함으로써, 연구자들은 시스템 실패의 모든 가능한 결과를 조사하고 각 조치가 전반적인 성능과 능력에 미치는 영향을 특성화할 수 있다. 절제 연구는 시스템이 우아한 성능 저하(graceful degradation)를 보여야 한다는 요구 사항이 있다. 즉, 특정 구성 요소가 없거나 성능이 저하된 상태에서도 계속 기능해야 한다는 뜻이다. 일부 연구자들에 따르면, 절제 연구는 인공지능과 그 구조적 손상에 대한 내구성을 조사하는 데 편리한 기법으로 간주되어 왔다.
역사
AI 맥락에서 "절제(ablation)"라는 용어는 인공지능의 창시자 중 한 명인 앨런 뉴얼(Allen Newell)이 만든 것으로 알려져 있다. 뉴얼은 1974년 음성 인식에 관한 튜토리얼에서 이 용어를 사용했으며, 이는 1975년에 출판되었다. 이 용어의 동기는 AI 시스템의 개별 구성 요소는 설계되지만, 각 구성 요소가 전체 시스템 성능에 기여하는 정도가 항상 명확하지 않다는 점이었다. 구성 요소를 제거하면 이러한 분석이 가능해진다. 뉴얼은 인간의 뇌를 인공 컴퓨터와 비교하며 둘 다 지식 시스템으로 보았다. 그는 절제와 같은 절차가 특정 가설을 시험하기 위해 둘 다에 수행될 수 있다고 믿었다. 이러한 유추는 초파리(Drosophila)와 척추동물의 뇌와 같은 다른 신경계로 확장되었으며, 이러한 시스템은 인지 기능을 이해하기 위해 절제를 통해 연구되어 왔다.
방법론
절제 연구는 일반적으로 체계적인 과정을 포함한다. 먼저 주어진 작업에 대한 전체 AI 시스템의 기준 성능이 확립된다. 그런 다음 하나 이상의 구성 요소가 제거되거나 비활성화되고 시스템이 재평가된다. 성능 차이는 제거된 구성 요소의 기여도를 나타낸다. 이 과정은 Neural network의 개별 뉴런부터 Transformer (architecture) 아키텍처의 전체 레이어나 모듈에 이르기까지 다양한 추상화 수준에 적용될 수 있다. 실제로 절제는 가중치를 0으로 설정하거나, 활성화를 마스킹하거나, 모델에서 레이어를 완전히 제거함으로써 수행될 수 있다. 결과는 종종 전체 모델의 성능과 다른 구성 요소가 절제된 버전을 비교하는 표로 제시된다.
딥러닝에서의 응용
Deep learning에서 절제 연구는 새로운 아키텍처의 설계 선택을 검증하는 데 널리 사용된다. 예를 들어, 새로운 모델이 제안될 때 연구자들은 Batch Normalization, Layer Normalization, 또는 Dropout과 같은 구성 요소를 절제하여 그 필요성을 입증하는 경우가 많다. 일반적인 관행은 전체 모델로 시작하여 각 구성 요소를 하나씩 제거하고 정확도나 다른 지표에 미치는 영향을 측정하는 것이다. 이 접근법은 각 구성 요소의 기여도를 이해하고 잠재적인 중복성을 식별하는 데 도움이 된다. 절제 연구는 Data Augmentation이나 Gradient Clipping과 같은 훈련 기법의 효과를 평가하는 데에도 사용된다. Large language model의 맥락에서 절제는 추론이나 사실 회상과 같은 작업에서 특정 어텐션 헤드나 레이어의 역할을 연구하는 데 사용될 수 있다.
LLM 검열 해제를 위한 사용
"abliteration"이라는 용어는 대규모 언어 모델의 검열을 해제하기 위해 절제를 사용하는 과정을 지칭하기 위해 만들어졌다. 이 기법은 모델의 내부 기능을 수정하여 거부 행동을 완전히 제거하면서 나머지 기능은 보존하는 것을 포함한다. 이 단어는 "ablation"과 "obliteration"을 결합한 혼성어이다. 이 접근법은 OpenAI, Anthropic, Google DeepMind와 같은 조직에서 개발한 모델에 적용되어 왔다. 거부를 유발하는 모델의 특정 구성 요소나 경로를 식별함으로써, 연구자들은 해당 구성 요소를 절제하여 모델이 일반적으로 거부하는 프롬프트에 응답할 수 있게 할 수 있다. 이 방법은 미세 조정이나 프롬프팅과는 구별되며, 모델의 내부 표현을 직접적으로 변경한다. Abliteration은 유해한 콘텐츠 생성을 방지하는 안전장치를 제거할 수 있기 때문에 윤리적 및 안전 문제를 제기해 왔다.
다른 기법과의 관계
특징 제거는 다른 해석 가능성 및 최적화 기법과 관련이 있지만 구별된다. Model Pruning은 모델 크기를 줄이기 위해 덜 중요한 가중치나 뉴런을 제거하는 것을 포함하며, 종종 최소한의 성능 손실을 동반하지만, 절제는 일반적으로 최적화보다는 분석에 사용된다. 절제는 입력 섭동의 영향을 연구하는 민감도 분석과도 비교될 수 있지만, 절제는 내부 구성 요소에 초점을 맞춘다. Artificial intelligence 시스템 연구에서 절제는 인과적 개입의 한 형태로, 연구자들이 구성 요소와 출력 사이의 인과 관계를 추론할 수 있게 한다. 이는 Transformer (architecture) 기반 모델의 내부 계산을 역설계하는 것을 목표로 하는 기계적 해석 가능성(mechanistic interpretability) 분야에서 특히 유용하다.
과제 및 한계
절제 연구의 주요 과제 중 하나는 우아한 성능 저하의 가정이다. 구성 요소를 제거했을 때 시스템이 완전히 실패한다면 해당 구성 요소의 기여도를 분리하기 어려울 수 있다. 또한 절제는 특히 대규모 모델의 경우 계산 비용이 많이 들 수 있는데, 각 절제마다 별도의 평가가 필요하기 때문이다. 또 다른 한계는 절제가 구성 요소 간의 상호 작용을 포착하지 못할 수 있다는 점이다. 하나의 구성 요소를 제거하는 효과는 다른 구성 요소의 존재 여부에 따라 달라질 수 있어 성능 변화를 단일 구성 요소에 귀속시키기 어렵다. 연구자들은 또한 훈련 과정에서의 구성 요소 역할과 추론 중 역할을 구별하는 데 주의를 기울여야 한다. 이러한 과제에도 불구하고 절제는 AI 연구 커뮤니티에서 여전히 귀중한 도구로 남아 있다.
같이 보기
참고 문헌
- Newell, A. (1975). Tutorial on speech recognition. In Proceedings of the IEEE.
- 머신러닝의 절제 연구에 관한 다양한 출처.