인공지능(AI), 특히 머신러닝에서 절제(ablation)는 AI 시스템의 구성 요소를 제거하는 것을 의미한다. 절제 연구는 구성 요소를 제거한 후 시스템의 결과적 성능을 분석하여 해당 구성 요소가 AI 시스템에 기여하는 바를 파악하는 것을 목표로 한다. 이 용어는 생물학, 특히 유기체의 구성 요소 제거에 대한 비유에서 유래했으며, 특히 인공 신경망 분석에서 뇌 절제 수술에 비유하여 사용된다. 다른 비유로는 초파리(Drosophila)와 척추동물 뇌의 신경계와 같은 신경학적 시스템이 있다.
절제 연구는 시스템이 우아한 성능 저하(graceful degradation)를 보여야 한다는 요구 사항이 있다. 즉, 특정 구성 요소가 없거나 손상되어도 시스템이 계속 기능해야 한다. 일부 연구자들에 따르면, 절제 연구는 인공지능과 그 구조적 손상에 대한 내구성을 조사하는 편리한 기법으로 간주되어 왔다. 또한 예를 들어 Newell의 Soar에서 인지 모델의 어떤 지식 구조가 인지에 기여하는지, 그리고 어떻게 기여하는지 연구하는 데 사용되기도 했다.
절제 연구는 통제된 환경에서 특정 구성 요소를 손상시키거나 제거하여 시스템 실패의 모든 가능한 결과를 조사한다. 이는 각 동작이 전체 시스템 성능과 능력에 어떻게 영향을 미치는지 특성화한다. 절제 과정은 음성 인식, 객체 감지, 로봇 제어와 같은 작업을 수행하는 시스템을 테스트하는 데 사용될 수 있다.
역사
이 용어는 인공지능의 창시자 중 한 명인 Allen Newell이 1974년 음성 인식 튜토리얼에서 사용했으며, Newell(1975)에 게재되었다. 이 용어는 생물학의 절제에 대한 비유이다. 동기는 개별 구성 요소가 설계되었지만, 개별 구성 요소가 전체 시스템 성능에 기여하는 바가 명확하지 않다는 점이었고, 구성 요소를 제거하면 이러한 분석이 가능해진다는 것이었다. Newell은 인간의 뇌를 인공 컴퓨터와 비교했다. 이러한 생각을 바탕으로 Newell은 둘 다 지식 시스템으로 보았고, 절제와 같은 절차를 둘 다에 수행하여 특정 가설을 테스트할 수 있다고 보았다.
방법론
절제 연구는 일반적으로 모델의 특정 부분(예: 계층, 뉴런, 주의 헤드)을 체계적으로 제거하거나 비활성화한 다음 벤치마크 작업에서 성능 변화를 측정하는 것을 포함한다. 이 과정은 각 구성 요소에 대해 반복되어 어떤 부분이 필수적이고 어떤 부분이 중복되는지에 대한 지도를 구축하는 경우가 많다. 딥러닝에서 절제는 잔차 연결, 배치 정규화, 드롭아웃 계층과 같은 구성 요소에 적용될 수 있다. 예를 들어, 절제 연구는 트랜스포머 모델에서 멀티 헤드 주의 메커니즘을 제거하여 언어 작업에서 성능이 얼마나 저하되는지 확인하고, 이를 통해 해당 메커니즘의 중요성을 밝힐 수 있다.
응용
절제는 머신러닝 연구에서 새로운 아키텍처의 설계를 검증하는 데 널리 사용된다. 연구 팀이 새로운 손실 함수나 위치 인코딩과 같은 새로운 구성 요소를 도입할 때, 관찰된 개선이 해당 구성 요소에 의한 것임을 입증하기 위해 절제 연구를 수행하는 경우가 많다. 이는 주요 학회에서 발표되는 논문의 표준 관행이다. 객체 감지와 음성 인식에서 절제는 모델의 어떤 특징이 정확도에 중요한지 식별하는 데 도움이 된다. 신경망에서 절제는 개별 계층이나 필터의 역할을 이해하는 데 사용될 수도 있으며, 이는 신경과학자가 뇌 영역을 병변하여 그 기능을 연구하는 방식과 유사하다.
LLM 검열 해제에의 사용
abliteration이라는 용어는 절제를 사용하여 대규모 언어 모델의 검열을 해제하는 과정을 지칭하기 위해 만들어졌다. 이는 내부 기능을 수정하여 거부 행동을 완전히 제거하면서 모델의 나머지 기능은 보존하는 방식이다. 이 단어는 절제(ablation)와 말살(obliteration)을 결합한 혼성어이다. 이 기법은 OpenAI, Anthropic, Google DeepMind와 같은 조직이 개발한 대규모 언어 모델의 맥락에서 주목을 받았다. 거부를 유발하는 특정 구성 요소를 식별하고 제거함으로써 연구자들은 더 넓은 범위의 프롬프트에 응답하는 모델을 만들 수 있지만, 이는 윤리적 및 안전 문제를 제기한다.
다른 개념과의 관계
절제는 다른 모델 분석 기법과 관련이 있지만 구별된다. 특징 절제는 내부 구성 요소가 아닌 입력 특징을 제거하는 것을 구체적으로 지칭한다. 절제는 민감도 분석과도 유사하지만, 매개변수 섭동보다는 구조적 제거에 초점을 맞춘다. 인지와 인공지능의 맥락에서 절제 연구는 Soar에 대한 연구에서 볼 수 있듯이 지식이 어떻게 조직되는지에 대한 이론을 테스트하는 데 사용되어 왔다. 우아한 성능 저하의 개념은 핵심적인데, 이는 잘 설계된 시스템이 부분이 제거될 때 치명적으로 실패해서는 안 된다는 것을 의미하며, 이는 견고한 AI에 바람직한 속성이다.
한계
절제 연구에는 한계가 있다. 구성 요소를 제거하면 다른 구성 요소가 이를 보완할 수 있어 실제 기여도를 분리하기 어려울 수 있다. 결과는 또한 특정 작업과 데이터 세트에 의존적이다. 트랜스포머와 같은 복잡한 모델에서 구성 요소 간의 상호 작용은 비선형적일 수 있으므로, 한 부분을 제거하는 효과가 가산적이지 않을 수 있다. 이러한 어려움에도 불구하고 절제는 AI 연구에서 실용적이고 널리 사용되는 도구로 남아 있다.