人工ニューラルネットワークにおいて、隠れ層は、入力層と出力層の間に位置する人工ニューロンの層である。「隠れ」という用語は、これらの層が外部環境と直接相互作用しないこと、つまりその活性化がネットワーク内部に限定されることを反映している。隠れ層を含む最も単純なアーキテクチャは多層パーセプトロン（MLP）であり、隠れ層の各ニューロンは前の層から重み付き入力を受け取り、活性化関数を適用し、その出力を次の層に渡す。
隠れ層を持たないネットワーク、例えば単層パーセプトロンは、本質的に線形モデルである。これは線形分離可能なデータのみを分離できる。1つ以上の隠れ層を非線形活性化関数と組み合わせて追加することで、モデルに非線形性が導入される。これにより、ネットワークは複雑な非線形関数を近似でき、現代の機械学習や深層学習アプリケーションの基盤となる。
学習とトレーニングにおける役割
典型的な機械学習の実践では、隠れ層を含むすべての層の重みとバイアスが、多くの場合ランダムな値または重み初期化などの手法を用いて初期化される。トレーニング中、これらのパラメータはバックプロパゲーションによって反復的に更新される。バックプロパゲーションは、損失関数の各パラメータに関する勾配を計算する手法である。隠れ層は、入力データの中間表現を段階的に学習し、生の特徴を最終出力にとってより抽象的で有用な形に変換する。
ネットワークの深さ、つまり隠れ層の数は、その容量の重要な要素である。多くの隠れ層を持つ深いネットワークは、画像認識や自然言語処理のニューラルネットワークアーキテクチャに見られるように、階層的特徴を捉えることができる。しかし、より深いネットワークは勾配消失などの課題も導入し、これはバッチ正規化、層正規化、残差ネットワーク接続などの手法によって対処されてきた。
種類とバリエーション
隠れ層は、ネットワークアーキテクチャに応じて構造が異なる。全結合層では、各ニューロンが前の層のすべてのニューロンに接続され、MLPで一般的である。畳み込み層は、画像タスクで使用され、フィルタを局所的に適用し、重みを共有する。リカレント層は、系列モデルに見られ、時間ステップ間で内部状態を維持する。トランスフォーマーモデルでは、隠れ層はしばしばマルチヘッドアテンション機構とフィードフォワード副層を含み、系列の並列処理を可能にする。
特殊な隠れ層も存在し、例えば生体医用画像セグメンテーション用のU-Netのものは、ダウンサンプリングとアップサンプリングの経路を組み合わせる。ReLUやシグモイドなどの活性化関数の選択、および隠れ層あたりのニューロン数は、性能に大きく影響するハイパーパラメータである。ドロップアウトなどの正則化手法は、過学習を防ぐために隠れ層に適用されることが多い。
歴史的背景
パーセプトロンを含む初期のニューラルネットワーク研究には隠れ層が含まれておらず、その適用可能性が制限されていた。1980年代に、特にバーナード・ウィドローらの研究者によって、隠れ層とバックプロパゲーションアルゴリズムが導入され、多層ネットワークのトレーニングが可能になった。これは後の深層学習の進歩の基礎を築いた。トロント大学やスタンフォードAIラボなどの機関が理論的および実践的な発展に貢献し、ノキア・ベル研究所やゼロックスPARCでの初期のハードウェア開発は実装を探求した。
実践的な考慮事項
隠れ層の設計にはトレードオフが伴う。ニューロンや層が少なすぎると過小適合し、多すぎると過学習や高い計算コストにつながる。モデル枝刈りなどの手法はトレーニング済みネットワークの冗長性を減らし、データ拡張は一般化の向上に役立つ。大規模システムでは、隠れ層はAWSトレイニウムやGoogle Cloud TPUなどの専用ハードウェアに分散されることが多く、OpenAI、Anthropic、Google DeepMindなどの企業が大規模言語モデルにおける隠れ層の規模を押し広げている。
隠れ層は解釈可能性研究の中心でもある。隠れ層のニューロン活性化を可視化する手法は、研究者がネットワークが学習した特徴を理解するのに役立ち、初期層の単純なエッジから深い層の複雑なオブジェクトまでを明らかにする。これは依然として活発な研究分野であり、マイケル・ジョーダンやアニマ・アナンドクマールなどの学者による貢献がある。
将来の方向性
モデルが成長するにつれて、隠れ層はより特殊化され、効率的になっている。疎なアーキテクチャ、混合専門家、動的ルーティングが新たなトレンドである。カリキュラム学習やRLHFなどの代替トレーニング手法に関する研究は、従来のバックプロパゲーションへの依存を減らす可能性がある。隠れ層の継続的な進化は、Waymoでの自動運転から医療診断に至るまで、さまざまな領域で人工知能の能力を前進させる中心となっている。