論文「Generative Adversarial Networks」は、2014年6月にIan Goodfellowとその同僚によって発表され、後に敵対的生成ネットワーク（GAN）として知られることになる新しい枠組みを導入した。この枠組みでは、生成器と識別器という2つのニューラルネットワークが、一方の利得が他方の損失となるゼロサムゲームで互いに競争する。この発表は、与えられたトレーニングセットと同じ統計的特性を持つ新しいデータを生成するモデルのクラスの基盤を築き、現実的な画像合成からコンピュータビジョンなどの分野でのデータ拡張まで、さまざまな応用を可能にした。
GANの核心は、間接的なトレーニング原理に基づいている。生成器の目標は、実データと区別できない合成サンプルを生成することであり、識別器の目標は、入力を実データ（トレーニングセット由来）か偽データ（生成器由来）かを正しく分類することである。生成器は特定のターゲットに一致するようにトレーニングされるのではなく、識別器を欺くようにトレーニングされ、識別器自体もより識別力が高まるように継続的に更新される。この敵対的プロセスにより、モデルは教師なしで学習でき、ラベル付きデータが乏しいタスクで特に強力になる。この概念は、進化生物学における擬態に類似しており、進化的軍拡競争が両ネットワークの改善を促進する。
数学的定式化
GANゲームは、確率空間 \( (\Omega, \mu_{\text{ref}}) \) 上で定義され、ここで \( \mu_{\text{ref}} \) はトレーニングデータの参照分布である。生成器の戦略セットは、\( \Omega \) 上のすべての確率測度 \( \mu_G \) の集合であり、その出力分布を表す。識別器の戦略セットは、各入力が実データである確率を割り当てるマルコフ核で構成される。目的関数は次のとおりである：
\[ L(\mu_G, \mu_D) = \mathbb{E}_{x \sim \mu_{\text{ref}}, y \sim \mu_D(x)}[\ln y] + \mathbb{E}_{x \sim \mu_G, y \sim \mu_D(x)}[\ln(1 - y)] \]
生成器はこの目的を最小化し、識別器は最大化する。生成器は、\( \mu_G \) を \( \mu_{\text{ref}} \) に密接に近似させ、識別器が実データには1に近い値、生成データには0に近い値を出力するようにする。平衡状態では、生成器は実分布と区別できないサンプルを生成し、識別器はランダムな推測に還元される。
実践的なトレーニングプロセス
実際には、トレーニングには既知のデータセットが使用され、これが識別器の初期トレーニングデータとなる。識別器は、許容可能な精度に達するまでトレーニングセットからのサンプルを提示される。生成器は、多変量正規分布などの事前定義された潜在空間からサンプリングされたランダム化入力でシードされる。生成器は候補を合成し、識別器がそれを評価する。独立したバックプロパゲーション手順が両ネットワークに適用され、生成器はより良いサンプルを生成し、識別器は合成サンプルをフラグする能力が向上する。
画像生成では、生成器は通常、逆畳み込みニューラルネットワークであり、識別器は畳み込みニューラルネットワークである。この設定により、GANはWaveNetやPixelRNNのような自己回帰モデルとは対照的に、単一パスで完全なサンプルを生成できる。トレーニングプロセスは動的であり、両ネットワークが敵対的に改善し、モード崩壊やトレーニングの不安定性などの課題がしばしば発生する。これらは、バッチ正規化や異なる損失関数などのさまざまな修正によって対処されてきた。
他の機械学習手法との関係
GANは暗黙的生成モデルであり、フローベースの生成モデルとは異なり、尤度関数を明示的にモデル化せず、与えられたサンプルの潜在変数を見つける方法も提供しない。この区別は、変分オートエンコーダや他の明示的モデルとは一線を画す。ボルツマンマシンや線形ICAと比較して、GANはニューラルネットワークの普遍近似能力により、ネットワークが使用する関数の種類に制限を課さない。2026年現在、変分オートエンコーダは特定の条件下で普遍近似器であることが証明されているが、GANは依然として明確で広く使用されるアプローチである。
完全可視信念ネットワークとは異なり、GANは単一のフォワードパスでサンプル全体を生成するため、高次元データの生成において計算効率が高い。ただし、直接的な尤度推定を提供しないため、一部のアプリケーションでは欠点となる可能性がある。敵対的トレーニングパラダイムは、敵対的ロバスト性や生成AIなどの他の分野にも影響を与えており、GANは基礎的な技術として機能している。
影響と応用
2014年のGANの導入は、深層学習の分野に大きな影響を与えた。GANは生成AIに取り組むための顕著な枠組みとなり、現実的な合成画像、音声、ビデオの作成を可能にした。応用は、アート生成や画像間変換から、医療画像のデータ拡張や半教師あり学習にまで及ぶ。この枠組みはまた、強化学習や完全教師あり学習タスクの研究を促進し、GANが元々の教師なし学習の範囲を超えて有用であることが証明された。
その成功にもかかわらず、GANはトレーニングの不安定性やサンプル品質の評価の難しさなどの課題に直面している。それでも、GANは人工知能の研究における重要な分野であり続け、これらの問題に対処するための継続的な開発が行われている。2014年のGoodfellowらによる論文は広く引用され、条件付きGAN、サイクル一貫性GAN、プログレッシブGANなど、元の枠組みを特定の方法で改善した多数の変種を生み出した。
結論
2014年6月のGAN論文の発表は、機械学習における画期的な出来事であり、生成モデリングの定番となった概念的にエレガントな敵対的枠組みを導入した。2つのニューラルネットワークを互いに競争させることで、GANは現実的なデータ生成において顕著な結果を達成し、教師なし学習、半教師あり学習などへの影響を持つ。分野が進化するにつれて、GANはニューラルネットワークトレーニングにおける競争的ダイナミクスの力を証明し続けている。