ヘルムホルツマシンは、ニューラルネットワークの一種であり、確率モデルの教師なし学習を目的として設計されたものである。1995年にジェフリー・ヒントン、ピーター・デイヤン、ブレンダン・フレイ、リチャード・ゼメルによって導入された。このアーキテクチャは、入力データを潜在変数の分布に写像する認識モデルと、その潜在変数からデータを再構成する生成モデルという、相補的な2つの構成要素から成る。このマシンは、覚醒睡眠アルゴリズムを用いて訓練され、潜在状態を推論するための認識重みの調整と、データを再構成するための生成重みの調整を交互に行う。
ヘルムホルツマシンは、19世紀の物理学者かつ生理学者であるヘルマン・フォン・ヘルムホルツにちなんで名付けられた。彼は、知覚が無意識の推論を含む、つまり脳が感覚入力を解釈するために世界のモデルを構築するという考えを提唱した。このマシンは、データの階層的生成モデルを学習することでこの考えを具現化しており、上位レベルはより抽象的な特徴を、下位レベルはより細かい詳細を表す。
アーキテクチャ
ヘルムホルツマシンは、2組の接続を持つ層構造を持つ。ボトムアップ（認識）接続は入力層から最上層へと走り、トップダウン（生成）接続はその逆方向に走る。各層には、確率的なバイナリユニットの集合が含まれる。認識モデルは、下の層が与えられたときの各隠れユニットが活性化する確率を計算し、生成モデルは、上の層が与えられたときの各ユニットが活性化する確率を計算する。
この双方向設計により、ネットワークは推論（パターン認識）と生成（新しいサンプルの生成）の両方を実行できる。認識モデルは、一般に厳密に計算することが困難な潜在変数上の事後分布を近似する。生成モデルは、データと潜在変数上の同時分布を定義し、そこからサンプリングして新しいデータ点を生成できる。
覚醒睡眠アルゴリズム
覚醒睡眠アルゴリズムは、2段階の訓練手順である。覚醒段階では、ネットワークにデータベクトルが提示され、認識モデルを用いてボトムアップで潜在状態のセットがサンプリングされる。これらのサンプリングされた状態は、生成モデルがデータをより良く再構成できるように生成重みを調整するために使用される。睡眠段階では、生成モデルを用いてトップダウンで潜在状態のセットがサンプリングされ、これらは認識モデルがサンプルを生成した潜在状態をより良く推論できるように認識重みを調整するために使用される。
このアルゴリズムは、最尤学習の近似である。大域的最適解への収束は保証されていないが、計算効率が良く、多くのタスクで実際にうまく機能する。覚醒睡眠アルゴリズムは、深層生成モデルを訓練する方法の初期の例であり、後の変分オートエンコーダやボルツマンマシンなどの発展に影響を与えた。
応用と影響
ヘルムホルツマシンの初期の応用には、手書き数字認識や文書モデリングが含まれる。このマシンは、ラベルなしデータから有用な特徴を学習でき、それを分類やその他の下流タスクに使用できた。ボトムアップとトップダウンの処理の組み合わせによる階層的表現の学習という概念は、深層学習の発展に影響を与えてきた。
生成的敵対ネットワークや拡散モデルを含む多くの現代の生成モデルは、ヘルムホルツマシンで最初に探求されたアイデアに基づいている。覚醒睡眠アルゴリズムはまた、潜在変数モデルにおける期待値最大化アルゴリズムの使用を先取りしていたが、事後分布の近似方法においては異なる。
限界とその後の発展
元のヘルムホルツマシンにはいくつかの限界があった。認識モデルは単純なフィードフォワードネットワークであり、複雑な事後分布を捉える能力が制限されていた。覚醒睡眠アルゴリズムはまた、認識モデルの訓練に使用される分布と真の事後分布との間の不一致に悩まされ、最適以下の解につながる可能性があった。
その後の研究では、変分推論や償却推論などのより洗練された推論方法を導入することで、これらの問題に対処した。2013年にディーデリク・キングマとマックス・ウェリングによって導入された変分オートエンコーダは、学習された認識モデルと、尤度の下界を最大化することによって訓練される生成モデルを使用する、ヘルムホルツマシンの現代的な子孫と見なすことができる。