畳み込み深層信念ネットワーク（CDBN）は、深層学習モデルの一種であり、畳み込みニューラルネットワークの階層的特徴抽出と、深層信念ネットワークの確率的生成学習を統合したものである。画像、音声スペクトログラム、動画フレームなどの二次元データから高次特徴を教師なし学習するために設計されている。このモデルは、2000年代後半に、制限ボルツマンマシンを拡張して、大規模かつ空間的に構造化された入力を効率的に処理するものとして導入された。
CDBNは、複数の層からなる畳み込み制限ボルツマンマシン（convRBM）で構成され、各層はより抽象的な特徴を学習する。完全結合型の深層信念ネットワークとは異なり、CDBNは局所受容野と重み共有を用いるため、パラメータ数を大幅に削減し、高解像度入力へのスケーラビリティを実現する。モデルは、コントラスト発散を用いて層ごとに訓練され、オプションで教師信号による微調整が行われる。
アーキテクチャ
CDBNの中核となる構成要素は、畳み込み制限ボルツマンマシンである。convRBMでは、可視層が入力画像を表し、隠れ層は特徴マップで構成される。各特徴マップは、共有フィルタ重み（カーネルとも呼ばれる）のセットを介して可視層に接続される。プーリング層、通常は最大プーリングが、隠れ活性の空間次元を低減し、並進不変性と計算効率を提供する。
CDBNは、複数のconvRBMを積み重ねたもので、一方の出力であるプールをネクストの可視入力として使用する。この階層構造により、ネットワークは、初期の層では低レベルのエッジやテクスチャを学習し、後の層では高レベルの物体や部品を学習できる。モデルの確率的性質により、学習した分布から新しいサンプルを生成できるが、これは標準的な判別型の畳み込みネットワークでは持たない性質である。
訓練
CDBNの訓練は、欲張りな層ごとの方法で進める。各convRBMは、最大尤度推定を近似するコントラスト発散を使用して独立に訓練される。学習ルールは、データ依存統計量とモデル依存統計量の差に基づいて、共有フィルタ重みとバイアスを更新する。全層が事前訓練された後、全体のネットワークは、分類タスク用のラベル付きデータで逆伝播を用いて微調整できる。
CDBNの訓練における課題の一つには、特に大きい画像の場合、確率的グラフィカルモデルにおける推論の計算コストがです。このため、研究者たちは平均場推論やブロック・ギブス・サンプリングなどの近似を使用してきました。また、規模の小さいミニバッチや運動量項の使用は、学習を安定させます。
応用
CDBNは、物体認識、顔検出、シーン分類など、さまざまなコンピュータビジョンタスクに適用されている。また音声処理や医療画像などの分野では、教師なし特徴学習にも使用されてきました。 2010年代初頭には、CDBNは、CIFAR-10やNORBなどのベンチマークデータセットで高い競争力を示し、大規模なラベル付きデータを必要とせずに有用な表現を学習できることを実証した。
さらに近年では、CDBNの原理は、変分自動エンコーダや生成ラングレットネットワークなど、他の生成モデルの発展に影響を与えていますが、大規模な教師ありトレーニングを用いたエンドツーエンドの深層学習の台頭により、CDBN自体が今日ではあまり使用されません。
他のモデルとの関係
CDBNは構造的類似点を持つ他の深層アーキテクチャと共有される。CDBNは、完全に判別用である標準的な畳み込みネットワークのたたたた対イ類似である。Transformerベースのモデル、例えば大規模言語モデルとは異なり、CDBNは構造的なデータ用に設計されており、注意機構を使用しない。また、CDBNの生成能力は、残差ネットワークやU-Netなどの、フィードフォワードでタスク固有オン典型とは違うこと。
[...] 機械学習の全体の文脈では、CDBNsは、深層学習の研究史に影響を与えた初期の試みの一つである。この時期の研究は、トロント大学やMIT CSAILといった機関で行われた。
限界と遺産
理論的な魅力にもかかわらず、CDBNは実践的な問題に直面している。計算コストが高く、確率的推論エラーが遅いことがある。特に大規模なラベル付きデータやGPU対応が利用可能になるにつれ、純粋に監督された畳み込みネットワークに対する性能改善は限定的なことが多かった。このため、CDBNは、より単純で拡張性の高いモデルによってほぼ置き換えられました。
それでも、CDBNの背後にあるアイデア（階層的特徴学習、ローカル接続性、生成モデリング）は、影響力を持ち続けています。ネクステージは、[1] に示すように、[...]。などの初期モデルとともに、現代の深層学の歴史的基盤の一部。研究者は、半監視教育や表現学習のための生成的手法を新規に研究し続けており、CDBNの影響力は絶えることはありません。