프루닝(Pruning)은 딥러닝 맥락에서 기존 인공 신경망에서 파라미터를 제거하는 기법이다. 주요 목표는 파라미터 수로 측정되는 네트워크의 크기를 줄이고, 그에 따라 네트워크 실행에 필요한 계산 자원을 줄이면서도 정확도를 최대한 유지하는 것이다. 이 과정은 포유류 뇌의 발달 과정에서 약한 신경 연결을 제거하고 효율성을 높이기 위해 발생하는 생물학적 시냅스 프루닝과 개념적으로 유사하다.
프루닝 기법은 크게 구조적 프루닝과 비구조적 프루닝의 두 가지 유형으로 분류된다. 구조적 프루닝은 뉴런(노드)이나 레이어와 같은 전체 구조 단위를 제거하여 물리적으로 더 작고 표준 하드웨어에서 가속하기 쉬운 네트워크를 만든다. 반면 비구조적 프루닝은 네트워크 아키텍처를 변경하지 않고 개별 가중치(엣지)를 0으로 설정하여 희소 네트워크를 생성하며, 속도 향상을 위해 이러한 희소성을 활용하려면 특수한 소프트웨어나 하드웨어가 필요하다. 이 두 접근 방식 간의 선택은 정확도 유지, 하드웨어 호환성, 구현 복잡성 사이의 절충을 수반한다.
노드(뉴런) 프루닝
노드 프루닝은 구조적 프루닝의 한 형태로, 신경망에서 전체 뉴런을 제거한다. 이 과정의 기본 알고리즘은 여러 단계로 구성된다. 첫째, 각 뉴런의 중요성은 출력 가중치의 크기나 검증 데이터셋에서의 활성화 패턴과 같은 선택된 지표를 사용하여 평가된다. 둘째, 명확하게 정의된 측정 기준이 있다고 가정할 때, 뉴런은 중요도에 따라 순위가 매겨진다. 셋째, 가장 중요하지 않은 뉴런이 제거된다. 마지막으로, 사용자가 결정한 종료 조건을 확인하여 프루닝을 계속할지 여부를 결정한다. 이 조건은 목표 정확도 임계값, 허용 가능한 최대 정확도 하락, 또는 원하는 최종 네트워크 크기일 수 있다. 노드 프루닝은 파라미터 수와 행렬 곱셈의 계산 비용을 직접 줄여주므로, 자원이 제한된 기기에 배포하기 위한 실용적인 선택이다.
엣지(가중치) 프루닝
신경망 프루닝에 대한 대부분의 연구와 실무 작업은 가중치 값을 0으로 설정하여 개별 가중치를 제거하는 비구조적 프루닝에 초점을 맞춘다. 이 접근 방식은 네트워크의 모든 레이어에 걸쳐 가중치를 비교하는 전역적으로 수행하거나, 각 레이어 내에서 가중치를 비교하는 지역적으로 수행할 수 있다. 전역 프루닝은 중복 파라미터가 많은 레이어에서 가중치를 더 공격적으로 제거하는 경향이 있는 반면, 지역 프루닝은 레이어 전체에 걸쳐 더 균일한 희소성 분포를 보장한다.
각 가중치의 중요성을 측정하기 위해 다양한 지표가 사용된다. 가중치 크기는 일반적이고 간단한 지표로, 절대값이 작은 가중치는 덜 중요한 것으로 간주된다. 더 정교한 지표는 가중치와 기울기의 곱과 같이 가중치 크기와 기울기 정보를 결합하며, 이는 손실 함수의 해당 가중치에 대한 민감도를 근사한다. Optimal Brain Damage 및 Optimal Brain Surgeon 방법과 같은 이 분야의 초기 연구는 가중치를 제거할 뿐만 아니라 나머지 가중치의 값을 조정하여 제거를 보상함으로써 더 높은 정확도를 유지할 것을 제안했다.
신경망을 언제 프루닝해야 하는가?
프루닝은 신경망 수명 주기의 세 가지 다른 단계, 즉 훈련 전, 훈련 중, 훈련 후에 적용될 수 있다. 각 접근 방식은 정확도와 계산 비용 사이에 서로 다른 절충을 수반한다.
- 훈련 전: 훈련이 시작되기 전에 네트워크 아키텍처를 프루닝하는 것은 종종 무작위 또는 휴리스틱 기준에 기반하며, 초기 모델 크기를 줄일 수 있다. 그러나 네트워크가 어떤 파라미터가 중요한지 아직 학습하지 않았기 때문에 이 접근 방식은 차선의 정확도를 초래할 수 있다.
- 훈련 중: 프루닝을 훈련 과정에 통합하여 네트워크가 학습함에 따라 점진적으로 파라미터를 제거할 수 있다. 희소 훈련이라고도 하는 이 방법은 최종 모델 크기를 줄이면서 정확도를 유지할 수 있지만, 신중한 일정 관리가 필요하고 훈련 복잡성을 증가시킬 수 있다.
- 훈련 후: 가장 일반적인 접근 방식은 밀집 네트워크를 완전히 훈련한 다음 프루닝하고, 이후 프루닝된 네트워크를 미세 조정하여 손실된 정확도를 회복하는 것이다. 훈련 중 또는 훈련 후에 프루닝을 수행할 때는 일반적으로 추가 미세 조정 에포크가 필요하다. 미세 조정을 통해 나머지 가중치가 파라미터 제거에 적응할 수 있으며, 종종 원래 밀집 모델에 가까운 정확도를 회복한다.
모델 압축 및 효율성에 미치는 영향
프루닝의 주요 동기는 모델 압축과 효율성이다. 파라미터 수를 줄이면 메모리 사용량이 줄어들며, 이는 스마트폰 및 임베디드 시스템과 같은 엣지 기기에 모델을 배포하는 데 중요하다. 또한 추론에 필요한 부동 소수점 연산(FLOP) 수를 줄여 더 빠른 실행과 더 낮은 에너지 소비를 가능하게 한다. 수십억 개의 파라미터를 가질 수 있는 대규모 언어 모델의 맥락에서 프루닝은 이러한 모델을 실제 응용 프로그램에 더 실용적으로 만들기 위한 활발한 연구 분야이다.
다른 기법과의 관계
프루닝은 종종 양자화 및 지식 증류와 같은 다른 모델 압축 기법과 결합된다. 양자화는 가중치의 정밀도를 줄이고(예: 32비트 부동 소수점에서 8비트 정수로), 지식 증류는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 모방하도록 훈련한다. 프루닝은 이러한 기법 전후에 적용되어 더 큰 압축을 달성할 수 있다. 예를 들어, 프루닝된 모델을 양자화하여 크기를 더 줄이거나, 프루닝된 교사 모델을 사용하여 더 작은 학생에게 지식을 증류할 수 있다.
과제 및 고려 사항
이점에도 불구하고 프루닝은 여러 과제를 제시한다. 주요 문제 중 하나는 특히 공격적인 프루닝 비율에서 발생할 수 있는 정확도 하락이다. 미세 조정이 종종 필요하지만 원래 정확도를 완전히 회복하지 못할 수 있다. 또 다른 과제는 희소 모델에 대한 하드웨어 지원이다. 비구조적 프루닝은 높은 희소성을 달성할 수 있지만, 표준 하드웨어와 딥러닝 프레임워크는 종종 밀집 계산에 최적화되어 있어 속도 향상이 제한된다. 반면 구조적 프루닝은 하드웨어 친화적이지만 주어진 정확도 목표에 대해 더 낮은 압축 비율을 초래할 수 있다. 또한 중요도 지표와 프루닝 일정의 선택은 최종 모델 품질에 큰 영향을 미칠 수 있으므로 신중한 튜닝이 필요하다.
응용 및 향후 방향
프루닝은 특히 모바일 및 임베디드 응용 프로그램에서 신경망을 프로덕션 환경에 배포하는 데 널리 사용된다. 애플, 삼성전자, 퀄컴과 같은 기업은 제한된 메모리와 전력 예산 내에서 모델을 기기에 맞추기 위해 프루닝을 활용한다. 인공지능 분야에서 프루닝은 파라미터 제거가 특정 작업에 필수적인 네트워크 부분을 드러낼 수 있으므로 신경망 동작을 이해하는 수단으로도 연구된다. 향후 연구 방향에는 더 원리적인 중요도 지표 개발, 적응형 프루닝 일정, 희소성을 더 잘 활용하기 위한 하드웨어-소프트웨어 공동 설계가 포함된다. 모델이 계속 커짐에 따라 프루닝은 모델을 효율적이고 접근 가능하게 만드는 중요한 도구로 남을 것이다.