ボルツマンマシンは、バイナリ出力状態上の確率分布を表現しサンプリングすることを学習する、確率的リカレントニューラルネットワークの一種である。その名称は、統計力学におけるボルツマン分布に由来し、各ネットワーク状態の確率をそのエネルギーに基づいて決定する。このモデルはマルコフ確率場としても分類され、外部場を伴うシェリントン・カークパトリックモデルの特定の事例、すなわち確率的イジングモデルとしても知られる。これは、ジェフリー・ヒントン、テリー・セジノウスキー、ヤン・ルカンによって、エネルギー関数が学習タスクを定義するスピングラスのハミルトニアンである、より広範なエネルギーベースモデルの一部として、認知科学と機械学習コミュニティで強く推進された。
ボルツマンマシンは、ヘッブの法則に従う訓練アルゴリズムの局所性とヘッブ的性質、ならびにその並列性と単純な物理過程への類似性において理論的に注目に値する。しかし、接続性に制約のないボルツマンマシンは、機械学習や推論における実用的な問題には有用であることが証明されていない。制限ボルツマンマシンのように接続性が適切に制約されると、学習は実用的な応用に十分な効率性を持つようになる。
構造
ボルツマンマシンは、それぞれ0または1の状態を生成するバイナリユニットのネットワークで構成される。ネットワーク全体は、ホップフィールドネットワークやイジングモデルと同一形式の大域エネルギー関数を持ち、次のように定義される：
E = - (i<jのすべてのペアに対する w_ij s_i s_j の和 + iのすべてに対する theta_i * s_i の和)
ここで、w_ij はユニット j とユニット i の間の接続強度、s_i はユニット i のバイナリ状態、theta_i はユニット i のバイアスであり、-theta_i は活性化閾値を表す。重みはしばしば対角成分がゼロの対称行列 W として表現される。
ユニット状態の確率
単一のユニット i がオフである場合とオンである場合の大域エネルギーの差、デルタ E_i は、接続されたユニットからの重みの和にバイアスを加えたものとして与えられる。このエネルギー差は、ボルツマン因子を通じて二つの状態の確率に関連し、状態の確率は exp(-E / (k_B T)) に比例する。ここで、k_B はボルツマン定数、T は人工的な温度パラメータである。この関係により、ネットワークはユニットを確率的に更新し、より低いエネルギー配置を優先することができる。
訓練アルゴリズム
ボルツマンマシンの訓練は、ネットワークの平衡分布が可視ユニット上の目標分布と一致するように、重みとバイアスを調整することを目的とする。学習則は局所的かつヘッブ的であり、重みの変化は、ネットワークがデータにクランプされているときと自由に動作しているときの二つのユニット間の相関の差に比例する。この対比的学習手順は、モデルの分布からのサンプリングに依存し、しばしばマルコフ連鎖モンテカルロ法を用いる。アルゴリズムの局所性は生物学的に妥当であるが、制約のないネットワークは収束が遅く、スケーラビリティが低いという問題がある。
実用的な変種
完全に接続されたボルツマンマシンの非効率性に対処するため、研究者は制限ボルツマンマシン（RBM）を導入した。これは接続性を可視層と隠れ層の二層に制約し、層内接続を持たない。この制約により、コントラストダイバージェンスを用いたより効率的な訓練が可能になる。積み重ねられたRBMは、深層学習の初期発展に影響を与えた深層信念ネットワークの基盤を形成する。これらの変種は、次元削減、特徴学習、協調フィルタリングなどのタスクに適用されてきたが、多くの領域で他のアーキテクチャに大きく取って代わられている。
遺産と影響
ボルツマンマシンは、生成AIとエネルギーベースモデルに基礎的な概念を提供した。その確率的ダイナミクスと確率論的解釈は、潜在変数の使用やサンプリングベースの推論など、後のニューラルネットワーク研究の発展に影響を与えた。大規模言語モデルのような現代の大規模システムでは広く使用されていないが、その理論的洞察は確率的グラフィカルモデルと教師なし学習の理解において依然として関連性を持つ。このモデルの名称は、確率的リカレントネットワークの標準的な例として、また統計物理学と人工知能の間の架け橋として、文献に残り続けている。