ネガティブプロンプトは、画像および動画生成システムにおいて、モデルが生成を避けるべき概念、スタイル、または視覚的アーティファクトを指定するために使用されるテキスト入力であり、主要な記述用プロンプトと併用され、かつそれとは別に使用される。通常のプロンプトが出力に何を含めるべきかを記述するのに対し、ネガティブプロンプトは何を含めるべきでないかを記述する。
仕組み
ほとんどのネガティブプロンプト実装は、分類器フリーガイダンスと呼ばれる技術に依存している。この技術では、拡散モデルが、プロンプトテキストによる条件付けの有無で行われた予測を比較して画像を生成し、モデルの潜在空間内で出力を記述された内容に向かって導き、望ましくない内容から遠ざける。ネガティブプロンプトが供給されると、モデルは類似の比較を行い、無条件のベースラインから遠ざけるだけでなく、ネガティブプロンプトで指定された概念からも出力を遠ざける。これにより、ネガティブプロンプトは拡散ベースのシステムに最も自然に適合し、他の生成アプローチではあまり一般的に公開されていない。
一般的な用途
ネガティブプロンプトは、画像生成器の繰り返し発生する失敗モードを抑制するために典型的に使用される。例えば、歪んだ手や顔、余分な四肢、ぼやけたまたは低解像度の出力、透かし、署名、不要なテキストアーティファクトなどである。また、スタイル的にも使用され、例えば、ベースのテキストから画像プロンプトがデフォルトで生成しがちな特定のカラーパレット、アートスタイル、または構図要素を除外する。一部のコミュニティでは、多くの異なる被写体プロンプトにわたって出力品質を広く向上させることを目的とした、標準的なネガティブプロンプトフレーズの共有ライブラリを維持している。
採用とインターフェース
この技術は、Stable Diffusionを中心に構築されたオープンソースのインターフェースを通じて広く知られるようになった。これらのインターフェースは、メインのプロンプトボックスやControlNetなどの他の条件付けツールと並んで、専用のネガティブプロンプトフィールドを公開しており、このパターンはその後、多くの他の画像生成ツールに採用された。Midjourneyを含む一部の商用プラットフォームでは、代わりに通常のプロンプトに追加される特別なパラメータを使用し、別の入力フィールドは使用しない。一方、他のプラットフォームでは、ネガティブプロンプトに似た除外機能をより一般的なプロンプト重み付けシステムに組み込んでいる。新しい世代の生成モデルが複雑な肯定的指示に従う能力を向上させるにつれて、ユーザーインターフェースにおける別個のネガティブプロンプトフィールドの重要性は、初期のStable Diffusion時代と比較して低下しているが、基礎となる概念は視覚生成のためのプロンプトエンジニアリングの一般的な一部であり続けている。
制限事項
ネガティブプロンプトは、指定された概念の除外を保証しない。拡散モデルはハードな制約ではなく統計的に動作するため、望ましくない要素が依然として現れる可能性があり、特にネガティブプロンプトとポジティブプロンプトがモデルの学習分布の競合または重複する領域を記述する場合に顕著である。ネガティブプロンプトにあまりにも多くの用語を過剰に含めると、全体的な画像品質を低下させたり、出力を一般的で過剰修正されたスタイルに押しやったりする可能性があり、多くの実践者は、網羅的ではなく短く具体的なネガティブプロンプトを維持することを推奨している。