論文「Generative Adversarial Networks」は、2014年6月にIan Goodfellowとその同僚らによって発表された。この論文は、生成的敵対ネットワーク（GAN）と呼ばれる新しいクラスの機械学習フレームワークを導入し、それ以来、生成的人工知能の顕著なアプローチとなっている。核となるアイデアは、生成器と識別器という2つのニューラルネットワークがゼロサムゲームで競い合うというもので、一方のエージェントの利得は他方の損失となる。トレーニングセットが与えられると、GANはトレーニングセットと同じ統計を持つ新しいデータを生成することを学習する。例えば、写真でトレーニングされたGANは、人間の観察者に本物に見える新しい写真を生成できる。当初は教師なし学習のための生成モデルの一種として提案されたが、GANは半教師あり学習、完全教師あり学習、強化学習にも有用であることが証明されている。
この概念は、進化生物学における擬態との類似性を描き、2つのネットワーク間の進化的軍拡競争を説明している。生成器のタスクは、本物のデータと区別がつかないサンプルを生成することであり、識別器のタスクは、本物のサンプルと生成されたサンプルを区別することである。このダイナミクスにより、モデルは教師なしで学習できる。生成器は特定の画像への固定距離を最小化するようにトレーニングされるのではなく、識別器を欺くようにトレーニングされるからである。
数学的枠組み
元のGANは、2人のプレイヤー間のゲームとして定義される。各確率空間(Ω, μ_ref)はGANゲームを定義する。生成器の戦略セットはΩ上のすべての確率測度μ_Gの集合であり、識別器の戦略セットはマルコフ核μ_D: Ω → P[0,1]の集合であり、ここでP[0,1]は[0,1]上の確率測度の集合である。GANゲームはゼロサムであり、目的関数L(μ_G, μ_D) = E_{x∼μ_ref, y∼μ_D(x)}[ln y] + E_{x∼μ_G, y∼μ_D(x)}[ln(1-y)]を持つ。生成器はこの目的を最小化することを目指し、識別器はそれを最大化することを目指す。生成器の目標はμ_refを近似することであり、その出力分布を参照分布に一致させることである。識別器は、参照分布からの入力に対しては1に近い値を出力し、生成器からの入力に対しては0に近い値を出力する。
トレーニングプロセス
実際には、生成ネットワークが候補を生成し、識別ネットワークがそれらを評価する。これにより、データ分布に基づく競争が生まれる。生成器は潜在空間から真のデータ分布へのマッピングを学習し、識別器が本物のデータと区別できない候補を生成することを目指す。識別器の目標はこれらの候補を正しく識別することであるが、生成器が改善するにつれて、識別器のタスクはより困難になり、そのエラー率が増加する。
既知のデータセットが識別器の初期トレーニングデータとして機能する。トレーニングでは、許容可能な精度に達するまでトレーニングデータセットからのサンプルを提示する。生成器は、識別器を欺くことに成功したかどうかに基づいてトレーニングされる。通常、生成器は、多変量正規分布などの事前定義された潜在空間からサンプリングされたランダム化された入力でシードされる。その後、生成器によって合成された候補は識別器によって評価される。独立したバックプロパゲーション手順が両方のネットワークに適用されるため、生成器はより良いサンプルを生成し、識別器は合成サンプルをフラグ付けするスキルが向上する。画像生成に使用される場合、生成器は通常、逆畳み込みニューラルネットワークであり、識別器は畳み込みニューラルネットワークである。
他の手法との関係
GANは暗黙的生成モデルであり、尤度関数を明示的にモデル化せず、与えられたサンプルに対応する潜在変数を見つける手段も提供しない。これは、フローベースの生成モデルなどの代替手法とは異なる。WaveNetやPixelRNNなどの完全可視信念ネットワークや、一般に自己回帰モデルと比較して、GANはネットワークを複数回通過するのではなく、1回のパスで完全なサンプルを1つ生成できる。ボルツマンマシンや線形ICAと比較して、ネットワークが使用する関数の種類に制限はない。ニューラルネットワークは普遍近似器であるため、GANは漸近的に一貫している。2026年現在、変分オートエンコーダーは普遍近似器であることが証明されているが、GANは依然として明確で影響力のあるフレームワークである。
影響と遺産
2014年の論文は、深層学習と機械学習における膨大な研究と応用の基盤を築いた。GANは、画像生成、スタイル変換、データ拡張などに使用されてきた。敵対的トレーニングパラダイムは、敵対的ロバスト性やAIフィードバックからの強化学習を含む他の分野に影響を与えた。論文の著者であるIan Goodfellow、Yoshua Bengio、Aaron Courvilleは、当時トロント大学に所属していた。この研究は数万回引用されており、人工知能への画期的な貢献と見なされている。
課題と発展
初期のGANは、トレーニングの不安定性や、生成器が限られた多様性しか生成しないモード崩壊などの課題に直面した。その後の研究では、バッチ正規化、ドロップアウト、改善された損失関数などの技術が導入され、これらの問題を軽減した。DCGAN、StyleGAN、CycleGANなどの変種がこの分野を進歩させた。敵対的原理は画像生成を超えて適用されており、大規模言語モデルや他のニューラルネットワークアーキテクチャにも及んでいる。この論文の影響は産業界にも及び、OpenAIやGoogle DeepMindなどの企業が、生成AI研究においてGAN関連のアイデアを基盤に構築している。