프로빙 분류기는 신경망의 내부 표현에 대해 훈련된 단순한 선형 모델로, 특정 정보가 해당 표현에 인코딩되어 있는지 여부를 판단한다. 핵심 아이디어는 선형 분류기가 네트워크 계층의 활성화에서 특정 속성(예: 품사, 감정, 사실적 지식)을 성공적으로 예측할 수 있다면, 해당 정보가 그 계층에서 선형적으로 분리 가능한 형태로 존재하고 접근 가능할 가능성이 높다는 것이다. 이 기법은 Artificial intelligence 및 Machine learning 분야의 해석 가능성 연구에서 초석이 되며, Deep learning 모델의 불투명한 계산 과정을 들여다볼 수 있는 창을 제공한다.
이 방법은 더 복잡한 비선형 프로브와 대조된다. 프로브를 선형 함수로 제한함으로써, 연구자들은 정교한 비선형 변환을 통해서만 추출될 수 있는 정보가 아니라 직접적이고 선형적으로 이용 가능한 정보를 측정하고자 한다. 이 구분은 모델이 지식을 내부적으로 어떻게 표현하는지, 반면 강력한 디코더가 이론적으로 추출할 수 있는 것과는 어떻게 다른지를 이해하는 데 중요하다. 프로빙 분류기는 Neural network 모델, 특히 Transformer (architecture) 기반 Large language model에 널리 적용되어 언어적 및 사실적 능력을 조사한다.
역사적 발전
프로빙 분류기의 개념은 2010년대 중반 신경망 분석의 광범위한 분야에서 등장했다. 가장 초기의 영향력 있는 연구 중 하나는 University of Toronto 및 다른 기관의 연구자들이 2016년에 언어 모델링을 위한 순환 신경망이 학습한 표현을 분석하기 위해 선형 분류기를 사용한 것이다. 그들은 이러한 네트워크가 구문 및 의미 정보를 선형적으로 분리 가능한 방식으로 인코딩한다는 것을 입증했으며, 이 발견은 이 기법에 대한 광범위한 관심을 불러일으켰다.
2017년과 2018년의 후속 연구, 특히 Carnegie Mellon University와 MIT CSAIL의 그룹은 방법론을 확장했다. 연구자들은 품사 태그, 명명된 개체, 심지어 문장 길이를 예측하는 것과 같은 표준화된 프로빙 작업을 개발하여 네트워크의 각 계층이 무엇을 인코딩하는지 체계적으로 평가했다. 이러한 연구는 종종 하위 계층이 더 표면적인 특징을 포착하는 경향이 있는 반면, 상위 계층은 더 추상적이고 작업별 정보를 인코딩한다는 것을 발견했다.
방법론 및 설계
표준 프로빙 절차는 여러 단계를 포함한다. 첫째, 사전 훈련된 신경망을 선택하고 입력 예제 집합에 대한 활성화를 기록한다. 이러한 활성화는 일반적으로 특정 계층 또는 계층 집합에서 추출된다. 둘째, 선형 분류기(종종 로지스틱 회귀 또는 단일 계층 퍼셉트론)가 이러한 활성화에 대해 훈련되어 대상 레이블을 예측한다. 대상 레이블은 문법 태그로 주석이 달린 말뭉치 또는 알려진 답변이 있는 질문 집합과 같은 외부 데이터 세트에서 가져온다.
프로브 설계의 중요한 측면은 제어 작업의 선택이다. 프로브가 단순히 사소한 통계적 규칙성을 이용하지 않도록 보장하기 위해, 연구자들은 종종 레이블이 무작위로 섞인 제어 데이터 세트에 대해 프로브를 훈련한다. 프로브가 제어에서 우연보다 더 나은 성능을 보이지 않는다면, 원래 성능은 대상 정보의 진정한 인코딩 때문임을 시사한다. 또 다른 일반적인 제어는 입력 임베딩(예: 단어 벡터)에 직접 프로브를 훈련하여 네트워크가 학습한 표현과 비교하는 것이다.
선형성 제약은 프로빙을 다른 해석 가능성 방법과 구별하는 요소이다. 선형 프로브는 \( f(x) = Wx + b \) 형태를 가지며, 여기서 \( x \)는 표현 벡터, \( W \)는 가중치 행렬, \( b \)는 편향 항이다. 훈련 목표는 일반적으로 분류 작업에 대한 교차 엔트로피 손실을 최소화하는 것이다. 이 모델의 단순성은 성공이 표현 자체가 대상 클래스를 초평면으로 분리하는 방식으로 조직되어 있음을 의미한다.
언어 모델에서의 응용
프로빙 분류기는 Large language model을 분석하는 표준 도구가 되었다. 예를 들어, 연구자들은 GPT-2와 BERT와 같은 모델이 중간 계층에서 주어-동사 일치, 공지시, 심지어 세계 지식에 대한 정보를 인코딩한다는 것을 프로브로 보여주었다. 2019년의 주목할 만한 연구는 선형 프로브가 트랜스포머의 중간 계층 활성화에서 문장의 문법적 정확성을 높은 정확도로 예측할 수 있음을 발견하여, 이러한 모델이 문법 규칙을 암묵적으로 학습한다는 것을 시사했다.
사실적 지식의 맥락에서, 프로브는 모델이 특정 사실을 네트워크의 어디에 저장하는지 조사하는 데 사용되었다. 예를 들어, Anthropic과 Google DeepMind의 연구자들이 2022년에 수행한 연구는 프로빙 분류기를 사용하여 국가의 수도 또는 책의 저자를 인코딩하는 계층을 찾아냈다. 이 연구 방향은 모델 편집 및 해석 가능성에 대한 함의를 가지며, 전체 재훈련 없이 모델의 지식에 대한 표적 수정을 가능하게 할 수 있다.
프로빙은 다국어 모델에도 적용되었다. 연구자들은 mBERT와 같은 모델의 표현에 선형 프로브를 훈련하여 구문 구조가 여러 언어에 걸쳐 언어 비의존적 방식으로 인코딩됨을 보여주었다. 이 발견은 다국어 트랜스포머가 공유된 추상 표현 공간을 개발한다는 아이디어를 지지하며, 이는 교차 언어 전이 학습에 대한 핵심 통찰력이다.
한계 및 비판
이 방법론은 비판이 없는 것은 아니다. 주요 우려 사항은 선형 프로브의 성공이 네트워크가 기본 작업에 해당 정보를 사용한다는 것을 반드시 의미하지 않는다는 것이다. 정보가 존재하지만 사용되지 않을 수 있거나 다른 계산의 부산물일 수 있다. 이를 해결하기 위해 연구자들은 네트워크의 활성화에 개입하여 프로브의 예측이 모델의 출력에 영향을 미치는지 확인하는 인과적 프로빙 방법을 개발했다. 그러나 이러한 방법은 더 복잡하고 덜 일반적으로 사용된다.
또 다른 한계는 프로브 과적합의 위험이다. 프로브가 너무 복잡하거나 너무 적은 예제로 훈련되면 진정한 구조를 감지하는 대신 노이즈를 암기할 수 있다. 이것이 선형 프로브가 선호되는 이유이며, 매개변수가 적고 과적합에 덜 취약하기 때문이다. 그러나 표현 공간이 고차원이고 훈련 데이터가 희소한 경우 선형 프로브조차도 오해의 소지가 있을 수 있다.
관련 비판으로, Aleksander Madry와 동료들 같은 연구자들이 표현한 바에 따르면, 프로브는 너무 쉬울 수 있다 - 표현의 기하학적 구조의 산물일 뿐 의미 있는 의미적 특징이 아닌 선형 분리성을 찾을 수 있다. 예를 들어, 프로브는 레이블과 상관관계가 있는 단일 지배적 차원을 기반으로 두 클래스를 구별할 수 있으며, 개념의 미묘한 구조를 포착하지 못한다. 이는 프로브가 추출하는 정보의 양을 더 원리적으로 측정하는 최소 설명 길이 프로브의 개발로 이어졌다.
다른 해석 가능성 방법과의 관계
프로빙 분류기는 신경망 해석 가능성을 위한 더 넓은 도구 모음의 일부이다. 이들은 종종 특정 뉴런 또는 계층을 최대한 활성화하는 입력을 찾는 활성화 최대화 및 네트워크가 찾고 있는 것을 나타내는 이미지를 생성하는 특징 시각화와 비교된다. 주로 Computer vision 모델에 사용되는 이러한 방법과 달리, 프로빙은 더 일반적이며 텍스트, 오디오 및 그래프 데이터에 성공적으로 적용되었다.
또 다른 관련 접근 방식은 선형 판독으로, 본질적으로 프로빙 분류기와 동일하지만 강화 학습 또는 제어 작업의 맥락에서 때때로 사용된다. 이러한 설정에서 선형 판독은 에이전트의 내부 표현에서 상태를 디코딩하는 데 사용될 수 있으며, 에이전트가 환경에 대해 학습한 것에 대한 통찰력을 제공한다.
프로빙은 또한 표현 학습 이론과 교차한다. 선형 프로브의 성공은 종종 대상 작업에 대해 표현이 선형적으로 분리 가능하다는 증거로 해석되며, 이는 하위 작업에 바람직한 속성이다. 이는 대비 학습 및 특정 유형의 오토인코더와 같은 선형 분리성을 장려하는 훈련 목표에 대한 연구를 촉진했다.
최근 발전 및 미래 방향
최근 작업은 프로빙을 더 견고하고 해석 가능하게 만드는 데 초점을 맞추고 있다. 한 방향은 반복적 널 공간 투영으로, 프로브가 이미 추출한 정보를 제거하여 연구자들이 동일한 표현에서 여러 독립적인 특징을 찾을 수 있게 한다. 2021년에 도입된 이 방법은 단일 계층이 직교 부분 공간에서 여러 개의 뚜렷한 개념을 인코딩할 수 있음을 밝힐 수 있다.
또 다른 발전은 기계적 해석 가능성의 맥락에서 프로빙의 사용이다. OpenAI 및 다른 연구소의 연구자들은 선형 프로브를 사용하여 특정 기능을 수행하는 뉴런 그룹인 특정 회로를 식별했다. 프로빙을 인과적 개입과 결합함으로써, 그들은 정보가 트랜스포머를 통해 어떻게 흘러 시퀀스의 다음 토큰을 계산하는지 매핑할 수 있었다.
이 분야는 또한 동적 프로빙으로 이동하고 있으며, 여기서 프로브는 다른 시간 단계 또는 입력의 다른 부분(예: 문장의 개별 토큰)에 적용된다. 이는 정보가 시간에 따라 어떻게 처리되는지에 대한 더 세밀한 분석을 가능하게 한다. 예를 들어, 프로브는 모델이 문장의 주어를 초기에 인코딩하지만 동사의 시제는 나중에만 통합한다는 것을 보여줄 수 있다.
Large language model이 계속해서 크기와 능력이 성장함에 따라, 프로빙 분류기는 안전성과 신뢰성을 보장하는 필수 도구로 남아 있다. 이러한 모델이 무엇을 알고 어떻게 표현하는지 이해함으로써, 연구자들은 편향, 사실적 오류 및 잠재적 실패 모드를 더 잘 감지할 수 있다. 이 기법은 앞으로도 수년간 해석 가능성 도구 상자에서 표준 방법으로 남을 가능성이 높다.
실용적 고려 사항
프로빙 분류기를 구현할 때 여러 실용적 세부 사항이 중요하다. 계층의 선택이 중요하다: 모든 계층을 프로빙하는 것은 계산 비용이 많이 들 수 있으므로, 연구자들은 종종 하위 집합을 샘플링하거나 모델 아키텍처를 기반으로 한 휴리스틱을 사용한다. 프로브의 훈련 세트 크기도 중요하다; 일반적으로 신뢰할 수 있는 결과를 얻으려면 수천 개의 예제가 필요하지만, 이는 클래스 수와 표현의 차원에 따라 달라진다.
또 다른 고려 사항은 표현의 정규화이다. 일부 연구자들은 프로브를 훈련하기 전에 활성화를 정규화(예: 계층 정규화 사용)하여 성능과 안정성을 향상시킬 수 있다. 다른 연구자들은 정규화가 유용한 정보를 제거할 수 있다고 주장하며 원시 활성화를 사용한다. 선택은 종종 특정 모델과 작업에 따라 달라진다.
마지막으로, 적절한 기준선과 함께 프로브 성능을 보고하는 것이 중요하다. 일반적인 기준선은 항상 가장 빈번한 레이블을 예측하는 다수 클래스 분류기이다. 또 다른 기준선은 앞서 언급한 대로 무작위로 순열된 레이블에 대해 훈련된 프로브이다. 이러한 기준선 없이는 프로브의 절대 정확도를 해석하기 어렵다. 이 분야는 모범 사례 집합에 수렴했지만, 프로빙 결과에서 결론을 도출하는 가장 엄격한 방법에 대한 논쟁은 여전히 진행 중이다.