Self-Attention GAN（SAGAN）は、2018年にHan Zhang、Ian Goodfellow、Dimitris Metaxas、Augustus Odenaによって導入された生成的敵対ネットワークのアーキテクチャである。これは、自己注意機構を組み込むことで標準的なGANフレームワークを強化し、生成器と識別器が画像の離れた領域間の関係をモデル化できるようにする。局所的な近傍を処理する畳み込み層とは異なり、SAGANの注意モジュールは、空間全体にわたる特徴の重み付き和として応答を計算し、画像合成などのタスクにおける長距離依存関係の捕捉における畳み込みGANの限界に対処する。
このアーキテクチャは、トランスフォーマーとマルチヘッド注意における先行研究に基づいており、これらのメカニズムを画像生成に適応させている。SAGANは、128x128解像度のImageNetデータセットで最先端の結果を示し、Inception Score 52.52とFréchet Inception Distance 18.65を達成した。このモデルはまた、生成器と識別器の両方にスペクトル正規化を導入して訓練の安定性を向上させ、敵対的訓練にはヒンジ損失目的を使用した。
画像生成における注意機構
SAGANの核心的な革新は、画像特徴への自己注意の適用である。この技術は、シーケンスモデリングのためのニューラルネットワークで使用されるマルチヘッド注意に触発されたが、2次元の空間データに適応させたものである。生成器では、注意モジュールが特定の畳み込みブロックの後に配置され、モデルが顔の目の整列やシーン全体のテクスチャの一貫性などのグローバルな関係を学習できるようにする。注意出力は、特徴値の重み付き平均として計算され、重みはクエリとキーの特徴ベクトル間のドット積から導出され、学習可能なパラメータによってスケーリングされる。
著者らは、注意層が純粋に畳み込みベースのアーキテクチャと比較して、生成サンプルの忠実度と多様性の両方を向上させることを実証した。また、注意正則化と呼ばれる技術を提案し、注意マップがチャネル間で多様であることを促進し、モデルが自明なパターンに崩壊するのを防いだ。
訓練の安定性とスペクトル正規化
このモデルは、生成器にバッチ正規化、識別器に層正規化を組み込んでいるが、より重要なのは、両方のネットワークのすべての層にスペクトル正規化を適用していることである。スペクトル正規化は、2018年にTakeru MiyatoらによってGAN用に以前導入されたもので、各重み行列のスペクトルノルムを正規化することでネットワークのLipschitz定数を制約する。この安定化技術により、SAGANはより高い学習率で訓練でき、GANの一般的な失敗モードであるモード崩壊の発生を減らすことができる。
著者らはまた、識別器にヒンジ損失を使用し、Adamオプティマイザに二段階更新則（TTUR）を適用して、生成器と識別器の学習率を異なる値に設定した。これらの選択は、より速い収束と改善されたサンプル品質に貢献した。
ImageNetでの性能と比較
SAGANは、128x128および256x256の解像度でImageNetデータセットで評価され、多様なクラスにわたって視覚的に妥当なサンプルを生成した。128x128では、Inception Score 52.52を達成し、Progressive GAN（43.20）やSpectral Normalization GAN（48.62）などの以前の最先端モデルからの大幅な改善を示した。このモデルはまた、ベースラインと比較してFIDを低減し、実画像との分布の類似性が向上したことを示した。
注意の有効性は、制御実験を通じて実証され、注意層のないモデルは、特に鳥や犬などの複雑な空間構造を持つカテゴリで、一貫性の低い画像を生成した。これらの結果は、自己注意が現実的なテクスチャと物体のポーズを生成するために重要であることを示唆した。
影響と後続研究
SAGANは、生成的AIと画像合成におけるその後の研究に影響を与えた。その注意機構はBigGANで採用され、SAGANのアーキテクチャをより大きなバッチサイズとクラス条件付き訓練と組み合わせて、さらに高い画像品質を達成した。生成器で注意を使用するというアイデアは、現代のノイズ除去ネットワークで注意層が標準となっている拡散モデルに関する後の研究にも情報を与えた。
この論文は、2019年の国際機械学習会議（ICML）で発表され、広く引用されている。これは、元々シーケンス間タスク用に開発された注意機構が、空間領域に効果的に転送できるという広範な理解に貢献した。
制限と計算上の考慮事項
自己注意層は、空間解像度に関して2次の計算複雑性を持ち、高解像度画像にはコストがかかる。SAGANの実験は、メモリ制約のため256x256解像度に限定された。その後の研究では、このスケーラビリティ問題に対処するために、スパース注意や因子化注意などの効率的な注意変種が提案された。さらに、SAGANはグローバルな一貫性を改善したが、複雑なシーンの細かい詳細には依然として苦労しており、これは新しいアーキテクチャが部分的に克服した制限である。
これらの課題にもかかわらず、SAGANは視覚のための深層学習分野への基礎的な貢献であり、注意が畳み込み操作を補完してより強力な生成モデルを達成できることを実証している。