DALL-Eは、OpenAIによって開発された一連のテキストから画像を生成するモデルであり、自然言語による記述（プロンプトとして知られる）からデジタル画像を生成する。最初のバージョンは2021年1月に発表され、続いて2022年にDALL-E 2、2023年にDALL-E 3がリリースされた。この名前は、アニメーションロボットのWALL-Eとシュルレアリスムの芸術家サルバドール・ダリのかばん語である。
歴史と背景
OpenAIは2021年1月5日のブログ投稿でDALL-Eを公開し、GPT-3モデルの修正版を使用して画像を生成した。2022年4月6日には、より高解像度で現実的な画像を生成し、概念、属性、スタイルを組み合わせることを目的とした後継モデルであるDALL-E 2を発表した。アクセスは当初、倫理的および安全性の懸念から、研究プレビューとして事前に選ばれたユーザーに限定されていた。2022年7月20日にはDALL-E 2がベータ版となり、待機リストに登録された100万人に招待状が送られた。ユーザーは毎月限られた数の画像を無料で生成し、追加分を購入できた。2022年9月28日には待機リストが撤廃され、モデルは誰でも利用可能となった。
2023年9月、OpenAIはDALL-E 3を発表した。これは以前のバージョンよりもはるかに多くのニュアンスと詳細を理解できるものであった。2023年10月にChatGPTのPlusおよびEnterprise顧客向けにネイティブにリリースされ、11月初旬にはAPIとLabsで利用可能となった。MicrosoftはDALL-E 3をBingのImage CreatorとDesignerアプリに統合し、Microsoft CopilotはDALL-E 3で動作している。2025年3月、DALL-E 3はChatGPTにおいてGPT Imageのネイティブな画像生成機能に置き換えられた。
2024年2月、OpenAIはDALL-Eが生成した画像に透かしを追加し始め、コンテンツ真正性イニシアチブが推進するC2PA（コンテンツの出所と真正性のための連合）標準にメタデータを埋め込んだ。
技術
最初の生成的プレトレーニング済みトランスフォーマー（GPT）モデルは2018年にOpenAIによって開発され、Transformer (architecture)アーキテクチャを使用していた。2019年にGPT-2へ、2020年にGPT-3へと規模が拡大され、1750億のパラメータを持つようになった。
DALL-E
DALL-Eは3つのコンポーネントで構成される。離散変分オートエンコーダ（VAE）、GPT-3に類似した120億パラメータの自己回帰デコーダのみのトランスフォーマーモデル、そしてCLIP（対比言語-画像事前学習）の画像およびテキストエンコーダのペアである。離散VAEは画像をトークンのシーケンスに変換し、また逆に戻すことで、トランスフォーマーが画像データを処理できるようにする。トランスフォーマーは、トークン化された画像キャプションのシーケンスに続いて、トークン化された画像パッチを受け取る。キャプションは英語で、バイトペアエンコーディングでトークン化され、語彙サイズは16,384で、最大256トークンまで可能である。各画像は256×256のRGBで、32×32のパッチ（各4×4ピクセル）に分割され、各パッチはVAEによって8,192の語彙からのトークンに変換される。
DALL-Eと並行して開発されたCLIPは、対比学習に基づく別のモデルであり、インターネットから収集された4億の画像とテキストのペアで訓練されている。CLIPは、32,768のランダムに選択されたキャプションのリストから、画像に最も適切なキャプションを予測することで、DALL-Eの出力をランク付けする。訓練されたCLIPペアは、生成されたより大きな初期画像リストをフィルタリングして、プロンプトに最も近いものを選択する。
DALL-E 2
DALL-E 2は35億のパラメータを使用しており、前身よりも少ない。自己回帰トランスフォーマーの代わりに、CLIP画像埋め込みに条件付けられた拡散モデルを使用する。この画像埋め込みは、推論中に事前モデルによってCLIPテキスト埋め込みから生成される。このアーキテクチャは、数か月後にリリースされたStable Diffusionのものと類似している。
DALL-E 3
OpenAIはDALL-E 3の技術レポートを公開したが、訓練や実装の詳細は含まれておらず、改善されたプロンプト追従能力に焦点を当てている。
機能
DALL-Eは、フォトリアリスティックな画像、絵画、絵文字など、複数のスタイルで画像を生成できる。画像内のオブジェクトを操作および再配置し、明示的な指示なしに新しい構図にデザイン要素を正しく配置できる。例えば、大根が鼻をかんだり、ラテをすすったり、一輪車に乗ったりするように求められた場合、DALL-Eはしばしばハンカチ、手、足を妥当な位置に描く。プロンプトに言及されていない適切な詳細を推測することもでき、例えば休日関連のプロンプトにクリスマスのイメージを追加したり、影を適切に配置したりする。DALL-Eはまた、視覚的およびデザインのトレンドについて幅広い理解を示す。
DALL-Eは、さまざまな視点からの多種多様な任意の記述に対して画像を生成でき、失敗はまれである。ジョージア工科大学インタラクティブコンピューティング学部の准教授であるマーク・リードルは、DALL-Eが概念を融合できることを発見し、これを人間の創造性の重要な要素と述べた。その視覚的推論能力は、人間の知能を測定するためによく使用される視覚テストであるレーヴン漸進的マトリクスを解くのに十分である。
DALL-E 3は、前身よりも複雑なプロンプトをより正確かつ詳細に追従し、より一貫性のある正確なテキストを生成できる。ChatGPT Plusに統合されている。
画像の修正
DALL-E 2とDALL-E 3は、既存の画像のバリエーションを生成し、それらを編集して修正または拡張できる。インペインティングとアウトペインティングの機能は、画像のコンテキストを使用して、指定されたプロンプトに従って元のスタイルと一致する欠落領域を埋める。これにより、画像に新しい被写体を挿入したり、元の境界を超えて拡張したりできる。OpenAIによると、アウトペインティングは、影、反射、テクスチャを含む画像の既存の視覚要素を考慮に入れる。