シグモイド関数とは、そのグラフが特徴的なS字状、すなわちシグモイド曲線を描くような数学的関数の総称である。数学において、シグモイド関数は有界かつ微分可能であり、すべての実数入力に対して定義され、各点で正の導関数を持つ。この用語は最も頻繁にはロジスティック関数と関連付けられ、任意の実数を0から1の間の値に写像するが、統計学、工学、そしてMachine learningで用いられるより広範な曲線群も包含する。
Artificial intelligenceおよびNeural networkモデルの文脈では、「シグモイド関数」という用語はロジスティック関数の同義語として頻繁に用いられる。この関数は初期のDeep learningアーキテクチャにおいて活性化関数として基礎的な役割を果たしたが、多くの現代的なシステムでは整流線形ユニットなどの代替手段に大部分が取って代わられている。シグモイド曲線はまた、正規分布やスチューデントのt分布から導出されるものを含む累積分布関数として統計学において自然に現れる。
定義と性質
シグモイド関数は、すべての実数入力に対して定義された有界かつ微分可能な実関数であり、各点で正の導関数を持つ。そのグラフは、入力が正または負の無限大に近づくにつれて、一対の水平漸近線によって拘束される。この関数は単調であり、典型的には増加関数で、その一次導関数は釣鐘型をしている。逆に、単一の極大値を持つ任意の連続かつ非負の釣鐘型関数の積分は、シグモイド曲線を生じる。
シグモイド関数は、特定の変曲点より下の値では凸であり、その上の値では凹である。多くの一般的な例では、この点はゼロにある。例えばロジスティック関数は、その値が0.5となるx = 0に変曲点を持つ。もう一つの広く用いられるシグモイド関数である双曲線正接関数は、-1から1の範囲を取り、原点に関して対称である。
例と変種
一般的なシグモイド関数には、ロジスティック関数、双曲線正接（tanh）、逆正接関数、誤差関数が含まれる。ロジスティック関数はf(x) = 1 / (1 + e^(-x))と定義され、開区間(0, 1)の出力を生じる。双曲線正接、tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))は、入力を(-1, 1)に写像し、その出力がゼロ中心であるためDeep learningにおいてしばしば好まれ、訓練中の収束を改善できる。
特殊な場合としては、xの大きな値で飽和するシステムのモデル化に用いられるゴンペルツ曲線や、一部のダムの余水吐設計に適用されるオージー曲線が含まれる。0と1の間を瞬時に遷移するヘヴィサイドの階段関数は、シグモイド挙動の極限的な場合である。統計学では、シグモイド曲線は累積分布関数として機能し、ロジスティック密度、正規密度、およびスチューデントのt確率密度関数の積分などがその例である。
ニューラルネットワークにおける役割
シグモイド関数、特にロジスティック関数と双曲線正接の変種は、Machine learningの初期の頃から人工ニューロンの活性化関数として用いられてきた。活性化関数はNeural networkに非線形性を導入し、複雑なパターンを学習することを可能にする。ロジスティックシグモイドの出力範囲(0, 1)は、二値の結果の確率を予測するなどの確率的解釈に自然に適合した。
しかし、ロジスティックシグモイドは勾配消失問題に悩まされる。大きな正または負の入力に対して、その導関数はゼロに近づき、深いネットワークでの訓練を遅らせたり停止させたりする可能性がある。この制約が、整流線形ユニット（ReLU）およびその変種のような代替手段の開発を動機付け、これらは現在、Large language modelシステムを含むほとんどのTransformer (architecture)ベースのアーキテクチャで標準となっている。この移行にもかかわらず、シグモイド関数は、二値分類器の出力層やリカレントネットワーク内のゲーティング機構など、特定の文脈において重要であり続けている。
ロジスティックシグモイドは可逆であり、その逆関数はロジット関数であり、確率を実数直線に写像し直す。この性質は、Machine learningと古典的な統計学を橋渡しする基本的な統計手法であるロジスティック回帰の基盤となっている。
理論的分類
研究者グレベンツによって提案された数学的理論は、単一シグモイド関数を、その漸近挙動と漸近線付近での振動に基づいて三種類に分類する。単一シグモイド関数は単位範囲に正規化され、典型的には下側と上側の漸近線を0と1に持ち、一般形y = A * S(f(x)) + Bで表現できる。ここでSは増加シグモイド関数、f(x)は独立変数の変換、AとBはスケーリングと平行移動を制御する。
第一種の関数は、ロジスティック関数や関連する一般化を含み、振動なしに単調に漸近線に近づく。第二種は、全体的なシグモイド遷移を保ちながら上側漸近線の近くで振動する。第三種は、下側と上側の両方の漸近線の近くで振動する。この理論はまた、シグモイド関数を生成するための30の構築方法を列挙しており、代数変換や釣鐘型関数の積分から、微分方程式の解、再帰的スキーム、カオスシステムにまで及ぶ。これらの方法は、Artificial intelligenceや他の分野における特定の応用に合わせて調整されたシグモイド曲線を設計するための体系的な枠組みを提供する。
AI以外の応用
シグモイド関数はNeural network活性化を超えて広がる。制御理論と工学では、物理システムにおける飽和効果をモデル化する。生物学では、ゴンペルツ曲線が腫瘍成長や個体群動態などの成長過程を記述する。経済学では、シグモイド曲線は時間の経過に伴う新技術の普及を表す。S字状曲線の多様性は、その滑らかな二状態間遷移により、Xerox PARC時代のコンピューティング研究から、Deep learningワークロードをホストする現代のAmazon Web Servicesクラウドインフラストラクチャまで、学問分野を横断して基本的なツールとなっている。