DALL-E 3は、OpenAIによって開発されたテキストから画像を生成するモデルであり、2023年10月に公開された。DALL-Eシリーズの第3世代であり、DALL-EとDALL-E 2に続くものである。DALL-E 3は、深層学習の手法を用いて、プロンプトとして知られる自然言語の記述からデジタル画像を生成し、その前身よりも「大幅に多くのニュアンスと詳細」を理解することに重点を置いている。このモデルはChatGPT PlusおよびChatGPT Enterpriseの顧客向けにChatGPTへネイティブに統合され、その後、OpenAIのAPIおよびLabsプラットフォームを通じて利用可能となった。2025年3月、DALL-E 3はChatGPTにおいて、GPT Imageのネイティブな画像生成機能に置き換えられた。
歴史と背景
DALL-Eは、2021年1月5日にOpenAIによって初めて発表され、画像を生成するために修正版のGPT-3を使用した。DALL-E 2は2022年4月6日に続き、より高い解像度と、概念、属性、スタイルを組み合わせる能力を提供した。2022年7月のベータ版、2022年9月の一般公開を経て、DALL-E 2は2022年11月にAPIを通じて利用可能となった。2023年9月、OpenAIはDALL-E 3を発表し、2023年10月に公開された。マイクロソフトはBingのImage CreatorツールにDALL-E 3を実装し、Microsoft CopilotはDALL-E 3上で動作している。「DALL-E」という名前は、ピクサーのロボットWALL-Eとスペインのシュルレアリスム芸術家サルバドール・ダリのかばん語である。2024年2月、OpenAIはC2PA標準のメタデータを使用して、DALL-Eが生成した画像に透かしを追加し始めた。
技術
DALL-E 3は、OpenAIのGPTモデルで使用されているトランスフォーマーアーキテクチャに基づいている。DALL-E 3に関する技術レポートは書かれたが、トレーニングや実装の詳細は含まれておらず、代わりに改善されたプロンプト追従に焦点を当てている。このモデルは、複雑なプロンプトをより高い精度と詳細で解釈するように設計されており、以前のバージョンと比較して、画像内のテキストをより一貫性があり正確に生成することができる。
DALL-EとDALL-E 2
オリジナルのDALL-Eは、離散VAE、120億パラメータを持つ自己回帰型デコーダーのみのトランスフォーマー、および出力をランク付けするためのCLIPモデルを使用していた。DALL-E 2は35億パラメータで、後にStable Diffusionで使用されたアーキテクチャと同様に、CLIP画像埋め込みを条件とした拡散モデルに移行した。
機能
DALL-E 3は、フォトリアリスティックな画像、絵画、絵文字など、複数のスタイルで画像を生成できる。オブジェクトを操作および再配置し、デザイン要素を新しい構成に配置することができる。その前身よりも高い精度と詳細で複雑なプロンプトに従い、画像内で一貫性のあるテキストを生成できる。DALL-E 3はChatGPT Plusに統合されており、ユーザーは会話内で直接画像を生成できる。
画像の修正
DALL-E 2とDALL-E 3は、既存の画像のバリエーションを生成し、それらを編集することができ、インペインティングとアウトペインティングを含む。これらの機能は、元の画像のコンテキストを使用して欠落した領域を埋めたり、境界を越えて拡張したりし、影、反射、テクスチャとの一貫性を維持する。
評価と影響
DALL-E 3は、その強化されたプロンプト追従とChatGPTとの統合により、より幅広いユーザーが利用できるようになったことで知られている。マイクロソフトのBing Image CreatorとCopilotでの使用により、そのリーチは拡大した。複雑なプロンプトから詳細で正確な画像を生成するこのモデルの能力は、生成AIの分野に影響を与えたが、倫理と安全性に関する懸念も提起され、透かしなどの対策が講じられている。