DALL-E 1是由OpenAI开发的一种文本到图像生成模型，于2021年1月发布。它是首个广泛公开的能够从自然语言提示（如“一个牛油果形状的扶手椅”或“一个由竖琴弦制成的蜗牛”）生成高保真、原创图像的系统。该模型的名字是艺术家萨尔瓦多·达利和皮克斯机器人WALL-E的合成词，反映了其艺术性和想象力。它的发布标志着生成式AI领域的一个重要里程碑，证明了一个单一模型能够理解并视觉合成广泛的概念，包括物体、场景和抽象想法。
DALL-E 1基于修改版的Transformer架构构建，这与大型语言模型使用的底层技术相同。与早期依赖序列到序列或编码器-解码器框架（具有独立的视觉和文本组件）的文本到图像系统不同，DALL-E 1将图像视为离散标记的序列，类似于文本的标记化方式。这使得模型能够使用统一目标在文本和图像数据上联合训练，从而学习单词与视觉元素之间的统计关系。
架构与训练
DALL-E 1的核心由两个主要组件组成：一个离散变分自编码器（dVAE）和一个Transformer解码器。dVAE将图像压缩为32x32的视觉标记网格，每个标记代表图像的一小部分，而Transformer学习在给定文本提示的条件下自回归生成这些标记。这种方法称为两阶段训练过程，最早在早期的Image GPT模型中引入，但在DALL-E 1中得到了显著扩展。
训练数据包括从互联网收集的约2.5亿个图像-文本对。该模型有120亿个参数，使其成为当时最大的神经网络之一。训练在大型GPU集群上进行，但OpenAI未公开披露确切的计算成本。模型使用标准的交叉注意力机制将文本信息融入图像生成过程，并在推理期间采用top-p采样（核采样）以产生多样化的输出。
能力与局限性
DALL-E 1展示了非凡的能力，包括生成具有特定属性的图像（例如，“一个放在蓝色球体上的红色立方体”）、组合不相关的物体（例如，“一个穿商务西装的 giraffe”）以及在图像中渲染文本（例如，“一个写着‘OPENAI’的标牌”）。它还表现出一定的零样本泛化能力，这意味着它可以处理训练数据中未明确出现的提示。
然而，该模型有明显的局限性。它在处理小脸、手和精确空间关系（例如，“一只猫在狗的左边”）等细节方面存在困难。它还在准确计数物体（例如，“五个苹果”）方面有困难，有时会产生无意义或扭曲的输出。该模型无法编辑现有图像；它只能从头生成新图像。
发布与反响
DALL-E 1的发布通过OpenAI于2021年1月5日的博客文章宣布，并附有一篇题为“零样本文本到图像生成”的论文。公众反应极为积极，许多研究人员和艺术家称赞该模型的创造力和输出质量。它引发了关于文本到图像AI在艺术、设计和内容创作中潜在应用的广泛讨论，以及对滥用、版权和对人类艺术家影响的担忧。
OpenAI当时未发布模型的权重或提供公共API，理由是安全和伦理考虑。相反，他们发布了一组有限的示例图像和一个较小版本的模型供研究使用。这一决定与一些其他AI研究团体的开源方法形成对比，并在社区内引发了关于开放性与安全性之间平衡的辩论。
影响与遗产
DALL-E 1被广泛认为是人工智能领域的突破，特别是在多模态学习方面。它证明了一个单一模型能够弥合语言与视觉之间的鸿沟，为后续模型如DALL-E 2（2022年发布）和DALL-E 3（2023年发布）以及来自其他公司的竞争系统（如Google DeepMind的Imagen和Stability AI的Stable Diffusion）铺平了道路。
该模型的成功也影响了AI研究的更广泛方向，鼓励了在大型语言模型及其与其他模态集成方面的进一步工作。它强调了规模在实现涌现能力中的重要性，并促进了人们对用于创造性任务的深度学习技术的兴趣增长。截至2025年，文本到图像生成已成为主流技术，有许多商业产品和开源工具可用，但DALL-E 1仍然是这一演变中的基础里程碑。
伦理与安全考虑
OpenAI发布DALL-E 1时附带了对潜在风险的讨论，包括生成误导性或有害内容、深度伪造以及放大训练数据中存在的偏见。公司实施了内容政策，禁止生成暴力、色情或仇恨图像，并使用自动化过滤器阻止此类提示。然而，这些措施并不完美，研究人员后来展示了绕过过滤器的方法。
围绕DALL-E 1的伦理辩论为未来的生成模型树立了先例。关于作者身份、AI生成艺术的所有权以及人类艺术家可能被取代的问题成为AI政策讨论的核心话题。截至2025年，这些问题仍未解决，但DALL-E 1的发布常被视为文本到图像AI进入公众意识的时刻。
技术细节与创新
从技术角度来看，DALL-E 1引入了多项影响后续工作的创新。使用离散标记表示图像并结合Transformer解码器是一种新颖的方法，不同于早期的基于U-Net的扩散模型。该模型还采用了层归一化和残差连接来稳定大规模训练。
一个值得注意的方面是使用两阶段训练程序：首先，训练dVAE从其标记表示重建图像；其次，训练Transformer在给定文本的情况下生成标记。这种分离使模型能够高效训练，并利用两个组件的优势。论文还报告称，DALL-E 1能够生成256x256像素分辨率的图像，这高于许多同期模型。
尽管取得了成功，DALL-E 1并非没有技术挑战。自回归生成过程计算成本高昂，在高端GPU上生成单张图像需要几秒钟。这一局限性促使后来在更高效架构上的工作，例如扩散模型，这些模型最终成为文本到图像生成中的主导方法。