ディープビリーフネットワーク(DBN)は、2006年にジェフリー・ヒントンらによって提案された、生成モデルとしての深層学習の先駆けとなるアーキテクチャです。その核心は、制限ボルツマンマシン(RBM)を層状に積み重ねた構造にあります。
DBNの学習は、教師なしの「層ごとの事前学習」と、その後の「教師あり微調整」という2段階で行われます。事前学習では、各RBM層がデータの確率分布を学習し、その出力が次の層の入力となります。このプロセスにより、ネットワークはデータの階層的な特徴を捉えることができます。微調整では、ネットワーク全体を教師あり学習で調整し、分類などのタスクに特化させます。
DBNは、深層学習の分野に多大な影響を与えました。その後のディープオートエンコーダーや変分オートエンコーダーなどの生成モデル、さらには畳み込みニューラルネットワーク(CNN)やTransformerなどのアーキテクチャの発展に道を開きました。特に、教師なし学習の重要性と、層ごとの学習戦略は、現在の深層学習の基礎となっています。
現在では、DBN自体はより高度なモデルに取って代わられましたが、その概念は、特徴学習、生成モデル、そして深層学習の理論的基盤として、今もなお重要な役割を果たしています。