인공 신경망에서 노드의 활성화 함수는 개별 입력과 가중치를 기반으로 노드의 출력을 계산하는 함수이다. 이는 신경망의 핵심 구성 요소로, 뉴런이 활성화되어야 하는지 여부를 결정하고 네트워크가 복잡한 패턴을 학습하는 데 필요한 비선형성을 도입한다. 비선형 활성화 함수가 없으면 다층 네트워크는 단일 선형 변환으로 축소되어 표현력이 심각하게 제한된다. 활성화 함수는 트랜스포머, 잔차 네트워크, 합성곱 신경망을 포함한 다양한 아키텍처에서 사용되며, 머신러닝 및 딥러닝과 같은 분야의 핵심이다.
활성화 함수의 선택은 훈련 역학과 성능에 큰 영향을 미친다. 현대적인 예로는 Hinton 등이 2012년 음성 인식 모델에서 사용한 로지스틱(시그모이드) 함수, 2012년 AlexNet 컴퓨터 비전 모델과 2015년 ResNet 모델에서 사용한 정류 선형 유닛(ReLU), 그리고 2018년 BERT 모델에서 사용된 ReLU의 매끄러운 버전인 가우시안 오차 선형 유닛(GELU)이 있다. 이러한 함수들은 비선형성, 범위, 미분 가능성과 같은 수학적 속성에서 차이가 있으며, 이는 경사 기반 최적화에서의 동작에 영향을 미친다.
수학적 속성
활성화 함수는 신경망 훈련의 효과에 영향을 미치는 몇 가지 주요 수학적 속성으로 특징지을 수 있다.
비선형성
활성화 함수가 비선형일 때, 2층 신경망은 보편 함수 근사자임이 증명될 수 있다. 즉, 컴팩트 영역에서 임의의 연속 함수를 임의의 정확도로 근사할 수 있다는 의미이다. 이는 보편 근사 정리로 알려져 있다. 항등 활성화 함수는 이 속성을 만족하지 않는다. 모든 층이 항등 활성화를 사용하면 전체 네트워크는 단일 층 모델과 동일해져 복잡한 매핑을 학습할 수 없다.
범위
활성화 함수의 범위가 유한하면, 패턴 제시가 제한된 가중치에만 유의미하게 영향을 미치므로 경사 기반 훈련 방법이 더 안정적인 경향이 있다. 반대로 범위가 무한하면 패턴 제시가 대부분의 가중치에 영향을 미치므로 훈련이 일반적으로 더 효율적이지만, 발산을 방지하기 위해 더 작은 학습률이 일반적으로 필요하다. 예를 들어, 시그모이드 함수는 유한한 범위 (0, 1)을 가지는 반면, ReLU는 무한한 범위 [0, ∞)를 가진다.
연속 미분 가능성
연속 미분 가능한 활성화 함수는 경사 기반 최적화 방법을 가능하게 하므로 바람직하다. ReLU는 0에서 연속 미분 가능하지 않지만, 경사 기반 방법은 실제로 여전히 작동하며, 다만 죽은 뉴런과 같은 문제를 일으킬 수 있다. 이진 계단 활성화 함수는 0에서 미분 가능하지 않고 다른 곳에서는 기울기가 0이므로 경사 기반 방법으로는 진전이 없다. 이러한 속성은 성능을 결정적으로 나타내지는 않지만 중요한 고려 사항이다.
활성화 함수의 범주
대부분의 일반적인 활성화 함수는 능선 함수, 방사 함수, 접기 함수의 세 가지 범주로 나눌 수 있다.
능선 활성화 함수
능선 함수는 입력 변수의 선형 결합에 작용하는 다변수 함수이다. 예는 다음과 같다:
- 선형 활성화: \(\phi(\mathbf{v}) = a + \mathbf{v}'\mathbf{b}\)
- ReLU 활성화: \(\phi(\mathbf{v}) = \max(0, a + \mathbf{v}'\mathbf{b})\)
- 헤비사이드 활성화: \(\phi(\mathbf{v}) = 1_{a+\mathbf{v}'\mathbf{b}>0}\)
- 로지스틱 활성화: \(\phi(\mathbf{v}) = (1 + \exp(-a - \mathbf{v}'\mathbf{b}))^{-1}\)
생물학적으로 영감을 받은 신경망에서 활성화 함수는 종종 뉴런의 발화율을 나타낸다. 가장 간단한 형태는 이진적이다. 뉴런은 발화하거나 발화하지 않으며, 이는 헤비사이드 계단 함수로 모델링된다. 실제 뉴런은 특정 속도보다 빠르게 발화할 수 없으므로 유한한 출력 범위를 가진 시그모이드 함수가 동기가 된다. 양의 기울기를 가진 선형 함수는 입력 전류에 따른 발화율 증가를 나타낼 수 있다.
방사 활성화 함수
방사 기저 함수(RBF)로 알려진 특수한 종류의 활성화 함수는 방사 기저 함수 네트워크에서 사용된다. 이러한 함수는 중심 벡터 \(\mathbf{c}\)로부터의 거리에 의존한다. 일반적인 형태는 다음과 같다:
- 가우시안: \(\phi(\mathbf{v}) = \exp(-\|\mathbf{v} - \mathbf{c}\|^2 / (2\sigma^2))\)
- 다중 2차: \(\phi(\mathbf{v}) = \sqrt{\|\mathbf{v} - \mathbf{c}\|^2 + a^2}\)
- 역다중 2차: \(\phi(\mathbf{v}) = (\|\mathbf{v} - \mathbf{c}\|^2 + a^2)^{-1/2}\)
- 다조화 스플라인
여기서 \(\sigma\)와 \(a\)는 함수의 확산을 제어한다.
접기 활성화 함수
접기 활성화 함수는 평균, 최소 또는 최대를 취하는 것과 같이 입력을 집계하며, 풀링 층과 다중 클래스 분류를 위한 출력 층에서 광범위하게 사용된다. 후자의 경우 소프트맥스 활성화가 클래스에 대한 확률 분포를 생성하는 데 일반적으로 사용된다.
기타 예
주기 함수는 활성화 함수로 사용될 수 있으며, 일반적으로 정현파가 사용된다. 모든 주기 함수는 푸리에 변환을 통해 정현파로 분해될 수 있기 때문이다. 2차 활성화 함수는 \(x \mapsto x^2\)로 매핑한다.
포화 및 비포화 함수
활성화 함수 \(f\)는 입력 크기가 무한대로 갈 때 기울기 노름의 극한이 0으로 가면 포화 함수라고 한다. 즉, \(\lim_{|v| \to \infty} |\nabla f(v)| = 0\)이다. 이 극한이 0이 아니면 비포화 함수라고 한다. ReLU와 같은 비포화 함수는 심층 네트워크에서 훈련을 방해하는 기울기 소실 문제를 겪을 가능성이 적기 때문에 종종 선호된다.
양자 활성화 함수
게이트 모델 양자 컴퓨터에서 프로그래밍된 양자 신경망에서는 변분 양자 회로가 아닌 양자 퍼셉트론을 기반으로 하며, 활성화 함수의 비선형성은 각 층의 각 퍼셉트론 출력을 측정하지 않고 구현할 수 있다. 퍼셉트론이 계산한 인수의 테일러 급수 전개를 만들고, 원하는 차수까지의 거듭제곱을 계산하기 위해 적절한 양자 회로를 사용함으로써 중첩 속성을 보존할 수 있다. 이러한 양자 회로는 임의의 고전적 활성화 함수를 근사하도록 설계될 수 있다.
같이 보기
- 로지스틱 함수
- 정류기(신경망)
- 안정성(학습 이론)
- 소프트맥스 함수