시그모이드 함수는 그래프가 특징적인 S자 모양 또는 시그모이드 곡선을 갖는 모든 수학적 함수를 말한다. 수학에서 시그모이드 함수는 유계이고 미분 가능하며 모든 실수 입력 값에 대해 정의되고, 각 점에서 양의 도함수를 가진다. 이 용어는 가장 흔히 로지스틱 함수와 연관되는데, 로지스틱 함수는 임의의 실수를 0과 1 사이의 값으로 사상하지만, 통계학, 공학, 그리고 Machine learning 전반에 걸쳐 사용되는 더 넓은 곡선 계열을 포함하기도 한다.
Artificial intelligence 및 Neural network 모델의 맥락에서 "시그모이드 함수"라는 용어는 종종 로지스틱 함수의 동의어로 사용된다. 이 함수는 초기 Deep learning 아키텍처에서 활성화 함수로서 기초적인 역할을 했지만, 많은 현대 시스템에서는 정류 선형 유닛과 같은 대안들에 의해 대체되었다. 시그모이드 곡선은 또한 정규 분포와 스튜던트 t 분포에서 파생된 것들을 포함하여 통계학의 누적 분포 함수로 자연스럽게 나타난다.
정의 및 속성
시그모이드 함수는 모든 실수 입력에 대해 정의된 유계이고 미분 가능한 실함수로, 각 점에서 양의 도함수를 가진다. 그 그래프는 입력이 양의 무한대 또는 음의 무한대에 접근할 때 한 쌍의 수평 점근선에 의해 제약된다. 함수는 단조적이며, 일반적으로 증가하고, 그 일차 도함수는 종 모양이다. 반대로, 단일 국소 최댓값을 가진 연속적이고 비음수인 종 모양 함수의 적분은 시그모이드 곡선을 산출한다.
시그모이드 함수는 특정 변곡점 아래의 값에 대해 볼록하고, 그 위의 값에 대해 오목하다; 많은 일반적인 예에서 이 점은 0에 있다. 예를 들어 로지스틱 함수는 x = 0에서 변곡점을 가지며, 그 값은 0.5이다. 또 다른 널리 사용되는 시그모이드인 쌍곡 탄젠트 함수는 -1에서 1까지의 범위를 가지며 원점에 대해 대칭이다.
예시 및 변형
일반적인 시그모이드 함수에는 로지스틱 함수, 쌍곡 탄젠트(tanh), 아크탄젠트, 그리고 오차 함수가 포함된다. 로지스틱 함수는 f(x) = 1 / (1 + e^(-x))로 정의되며, 열린 구간 (0, 1)에서 출력을 생성한다. 쌍곡 탄젠트, tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))는 입력을 (-1, 1)로 사상하며, 출력이 영-중심화되어 훈련 중 수렴을 개선할 수 있기 때문에 Deep learning에서 종종 선호된다.
특수한 경우로는 큰 x 값에서 포화되는 시스템을 모델링하는 데 사용되는 곰페르츠 곡선과 일부 댐의 여수로 설계에 적용되는 오지 곡선이 있다. 0과 1 사이에서 순간적으로 전환되는 헤비사이드 계단 함수는 시그모이드 거동의 극한 사례이다. 통계학에서 시그모이드 곡선은 로지스틱 밀도, 정규 밀도, 그리고 스튜던트 t 확률 밀도 함수의 적분과 같은 누적 분포 함수로 사용된다.
신경망에서의 역할
시그모이드 함수, 특히 로지스틱 및 쌍곡 탄젠트 변형은 Machine learning 초기부터 인공 뉴런의 활성화 함수로 사용되어 왔다. 활성화 함수는 Neural network에 비선형성을 도입하여 복잡한 패턴을 학습할 수 있게 한다. 로지스틱 시그모이드의 출력 범위 (0, 1)는 이진 결과의 확률 예측과 같은 확률적 해석에 자연스러웠다.
그러나 로지스틱 시그모이드는 소실 기울기 문제를 겪는다: 큰 양수 또는 음수 입력에 대해 그 도함수가 0에 접근하여 깊은 네트워크의 훈련을 느리게 하거나 중단시킬 수 있다. 이 한계는 정류 선형 유닛(ReLU) 및 그 변형과 같은 대안의 개발을 촉진했으며, 이는 이제 Large language model 시스템을 포함한 대부분의 Transformer (architecture) 기반 아키텍처에서 표준이다. 이러한 전환에도 불구하고, 시그모이드 함수는 이진 분류기의 출력 계층과 순환 네트워크의 게이팅 메커니즘과 같은 특정 맥락에서 여전히 중요하다.
로지스틱 시그모이드는 가역적이며, 그 역함수는 로짓 함수로, 확률을 실수 축으로 다시 사상한다. 이 속성은 Machine learning과 고전 통계학을 연결하는 기본적인 통계 기법인 로지스틱 회귀의 기초가 된다.
이론적 분류
연구자 그레벤츠가 제안한 수학적 이론은 단일 시그모이드 함수를 점근선 근처의 점근적 거동과 진동에 따라 세 가지 종류로 분류한다. 단일 시그모이드 함수는 단위 범위로 정규화되며, 일반적으로 하한 및 상한 점근선이 0과 1에 있고, 일반 형식 y = A * S(f(x)) + B로 표현될 수 있으며, 여기서 S는 증가하는 시그모이드 함수, f(x)는 독립 변수의 변환, A와 B는 스케일링 및 평행 이동을 제어한다.
첫 번째 종류의 함수는 진동 없이 단조적으로 점근선에 접근하며, 로지스틱 함수 및 관련 일반화를 포함한다. 두 번째 종류는 전체적인 시그모이드 전환을 유지하면서 상한 점근선 근처에서 진동한다. 세 번째 종류는 하한 및 상한 점근선 모두 근처에서 진동한다. 이 이론은 또한 대수적 변환, 종 모양 함수의 적분, 미분 방정식의 해, 재귀적 체계, 그리고 혼돈 시스템에 이르기까지 시그모이드 함수를 생성하는 30가지 구성 방법을 나열한다. 이러한 방법은 Artificial intelligence 및 기타 분야의 특정 응용을 위해 맞춤화된 속성을 가진 시그모이드 곡선을 설계하기 위한 체계적인 프레임워크를 제공한다.
AI 너머의 응용
시그모이드 함수는 Neural network 활성화를 넘어 확장된다. 제어 이론과 공학에서 물리적 시스템의 포화 효과를 모델링한다. 생물학에서 곰페르츠 곡선은 종양 성장이나 인구 역학과 같은 성장 과정을 설명한다. 경제학에서 시그모이드 곡선은 시간에 따른 신기술의 채택을 나타낸다. 두 상태 사이의 매끄러운 전환을 가진 S자 곡선의 다재다능함은 Xerox PARC 시대의 컴퓨팅 연구에서부터 Deep learning 워크로드를 호스팅하는 현대 Amazon Web Services 클라우드 인프라에 이르기까지 여러 학문 분야에서 기본적인 도구로 만든다.