テキストから画像を生成する技術は、自然言語による記述、すなわちプロンプトを受け取り、対応する画像を生成するAIシステムを指す。このタスクは、テキストを解釈するための自然言語処理と、ピクセルを描画するためのコンピュータビジョンおよび生成的モデリングを組み合わせたものであり、敵対的生成ネットワーク、その後には拡散モデルの最も顕著な応用の一つとなった。
歴史
2010年代の初期の試みでは、テキスト埋め込みに条件付けられたGANが使用され、鳥や花などの限られた領域に限定された、小さくぼやけた画像が生成された。この分野は、2021年1月にOpenAIのDALL-Eが登場し、画像トークンに対して自己回帰的に訓練されたトランスフォーマーを適用したことで変化し、同年後半にはCLIPが登場し、研究者が画像とキャプションの一致度を評価し、生成をその方向に導く方法が提供された。真のブレークスルーは拡散モデルへの移行であり、DALL-E 2（2022年）、GoogleのImagen、そして特に2022年8月のオープンソース版Stable Diffusionのリリースにより、高品質な生成が高速になり、Stable Diffusionの場合は消費者向けGPUでも実行可能となった。MidjourneyはDiscordを通じて利用可能で、同じ中核技術を基に美的要素を重視した独自の製品を構築し、FLUXは2024年にBlack Forest Labsによってリリースされ、新たなオープンウェイトの標準となった。
仕組み
現代のほとんどのシステムは、潜在拡散モデルを基盤としている。画像はオートエンコーダによってコンパクトな潜在空間に圧縮され、テキストエンコーダがプロンプトを埋め込みに変換し、ノイズ除去ネットワークがその埋め込みに導かれてランダムノイズを徐々に潜在画像へと変換し、それがピクセルにデコードされる。クラシファイアフリーガイダンスなどの技術により、ユーザーはプロンプトへの忠実度と画像の多様性をトレードオフできる。2023年に導入されたControlNetは、テキストに加えてスケッチ、ポーズ、深度マップに基づく生成の条件付けを可能にし、構図のより細かい制御を実現した。
プロンプト文化とツール
出力品質は表現に敏感であるため、効果的なプロンプトを書くための非公式な技術が発展し、被写体の説明、芸術的スタイル、カメラや照明の用語、不要な要素を除外するためのネガティブプロンプトなどが含まれるようになった。これは後にプロンプトエンジニアリングと呼ばれるものの初期の例である。DiscordやRedditのコミュニティではプロンプトの公式が共有され、アップスケーリング、インペインティング、出力の合成のための二次ツールも登場した。LoRAアダプタにより、少数のサンプル画像と適度な計算リソースで、特定のキャラクター、スタイル、オブジェクトにベースモデルを微調整することが実用的になった。
評価と批判
テキストから画像を生成するツールは、広告、コンセプトアート、ゲームデザインにおいて急速に商業採用された一方で、持続的な論争も引き起こした。アーティストは、同意や報酬なしに収集された画像で訓練されたモデルに異議を唱え、これはより広範なAI著作権紛争や、いくつかの画像生成企業に対する訴訟につながった。批評家はまた、ディープフェイク、非同意の画像、低労力の合成出力によるストック画像やソーシャルプラットフォームの氾濫について懸念を表明し、この現象は後に「AIスロップ」と呼ばれるようになった。各社はコンテンツフィルター、出典メタデータ、場合によってはAI透かしシステムで対応したが、エコシステム全体での執行は依然として一貫していない。
その後の発展
2025年までに、主要なモデルはより長く、より構成的なプロンプトに従い、画像内のテキストを読みやすく描画し、自然言語の指示による既存写真の編集が可能となり、テキストから画像への生成と汎用画像編集の間のギャップを縮小した。