制限ボルツマンマシン（RBM）は、入力集合上の確率分布を学習できる生成的確率的人工ニューラルネットワークである。これはボルツマンマシンの変種であり、そのニューロンが2部グラフを形成するという制約を持つ。すなわち、接続は一般に可視ユニットと隠れユニットと呼ばれる2つのグループ間のみに存在し、各グループ内には接続がない。この制約により、一般のボルツマンマシンで利用可能なものよりも効率的な学習アルゴリズム、特に勾配ベースのコントラストダイバージェンスアルゴリズムが可能になる。
RBMは1986年にポール・スモレンスキーによってハーモニウムという名称で最初に提案され、2000年代半ばにジェフリー・ヒントンらが高速学習アルゴリズムを開発したことで注目を集めた。RBMは次元削減、分類、協調フィルタリング、特徴学習、トピックモデリング、免疫学、多体量子力学などに応用されている。RBMはタスクに応じて教師ありまたは教師なしの方法で学習でき、深層学習ネットワークの重要な構成要素であり、RBMを積み重ねて深層信念ネットワークを形成し、必要に応じて勾配降下法と誤差逆伝播法で結果のネットワークを微調整できる。
構造
標準的なRBMは、バイナリ値（ブール値）の隠れユニットと可視ユニットを持つ。これはサイズ\(m \times n\)の重み行列\(W\)から構成され、各重み要素\(w_{i,j}\)は可視ユニット\(v_i\)と隠れユニット\(h_j\)の間の接続に関連付けられる。さらに、可視ユニット用のバイアス重み\(a_i\)と隠れユニット用のバイアス重み\(b_j\)がある。構成（ブールベクトルのペア）\((v, h)\)のエネルギーは次のように定義される：
\[ E(v, h) = -\sum_i a_i v_i - \sum_j b_j h_j - \sum_i \sum_j v_i w_{i,j} h_j \]
または行列表記では：
\[ E(v, h) = -a^{\mathrm{T}} v - b^{\mathrm{T}} h - v^{\mathrm{T}} W h. \]
このエネルギー関数はホップフィールドネットワークのものに類似している。一般のボルツマンマシンと同様に、可視ベクトルと隠れベクトルの同時確率分布はエネルギー関数で定義される：
\[ P(v, h) = \frac{1}{Z} e^{-E(v, h)} \]
ここで\(Z\)は分配関数であり、確率の合計が1になることを保証する正規化定数である。可視ベクトルの周辺確率は、考えられるすべての隠れ層構成にわたる\(P(v, h)\)の合計であり、逆も同様である。
学習とコントラストダイバージェンス
RBMの基礎となるグラフ構造は2部グラフであるため、隠れユニットの活性化は可視ユニットの活性化が与えられると相互に独立であり、逆に可視ユニットの活性化は隠れユニットの活性化が与えられると相互に独立である。この特性により条件付き確率の計算が簡素化され、効率的な学習が可能になる。最も一般的な学習アルゴリズムはコントラストダイバージェンスであり、通常1回のギブスサンプリングステップによる短いマルコフ連鎖モンテカルロ実行で対数尤度の勾配を近似する。このアプローチは、すべての可能な構成にわたって合計する分配関数\(Z\)の計算が困難であることを回避する。
RBMは教師ありモードと教師なしモードの両方で学習できる。教師なし学習では、モデルは入力データ分布を表現することを学習し、多くの場合、特徴抽出や次元削減に使用される。教師ありタスクでは、ラベルを可視層に組み込むか、別の出力層を使用することで、RBMをラベル予測に適応させることができる。
深層学習への応用
制限ボルツマンマシンは深層学習の基礎的な構成要素である。複数のRBMを積み重ねることで深層信念ネットワークを形成でき、あるRBMの隠れ層が次のRBMの可視層として機能する。この層ごとの事前学習により、ネットワークはデータから階層的な特徴を学習できる。事前学習後、ネットワーク全体を勾配降下法と誤差逆伝播法で微調整でき、この手法は現代の深層学習アーキテクチャの開発に影響を与えた。
RBMは協調フィルタリングに応用され、レコメンデーションシステムのユーザーとアイテムの相互作用をモデル化し、トピックモデリングではテキストコーパスから潜在トピックを学習する。免疫学では免疫系応答のモデル化に使用され、量子力学では多体量子状態の表現に使用されている。
他のモデルとの関係
RBMは他のニューラルネットワークモデルと密接に関連している。RBMは隠れユニット間の接続を許可するボルツマンマシンの特殊なケースであるが、2部グラフの制約により学習がより扱いやすくなる。また、エネルギー関数においてホップフィールドネットワークと類似点を共有するが、RBMは生成的かつ確率的であるのに対し、ホップフィールドネットワークは通常決定的であり連想記憶に使用される。Machine learningのより広い文脈では、RBMは生成的モデルの一種と見なされ、標準的なフィードフォワードニューラルネットワークのような識別モデルとは区別される。
遺産と影響
RBMの開発は、2000年代半ばのDeep learningの復活に大きく貢献した。後にArtificial intelligenceの著名な人物となったジェフリー・ヒントンは、RBMを使用して深層ネットワークが効果的に学習できることを実証し、勾配ベースの手法における初期の困難を克服した。この研究は、トランスフォーマーや大規模言語モデルを含むその後のアーキテクチャに影響を与えたが、これらのモデルは異なる学習パラダイムを使用している。RBMはGenerative AIの研究における重要な理論モデルであり続け、その確率的性質が有利な専門的な応用で今も使用されている。