DALL-E 1, estilizado como DALL·E, é a primeira versão de um modelo de texto para imagem desenvolvido pela OpenAI. Anunciado em janeiro de 2021, ele utiliza metodologias de aprendizado profundo para gerar imagens digitais a partir de descrições em linguagem natural, conhecidas como prompts. O nome é um amálgama do personagem robô da Pixar WALL-E e do artista surrealista espanhol Salvador Dalí.
DALL-E 1 foi um marco na inteligência artificial generativa, demonstrando que um modelo baseado em Transformer poderia produzir imagens coerentes e diversas a partir de descrições textuais. Ele foi sucedido pelo DALL-E 2 em 2022 e pelo DALL-E 3 em 2023, cada um melhorando o realismo, a resolução e a compreensão de prompts.
História e contexto
A OpenAI revelou o DALL-E 1 em uma postagem de blog em 5 de janeiro de 2021. Ele usava uma versão modificada do GPT-3, um modelo de linguagem de grande escala com 175 bilhões de parâmetros, para gerar imagens. O modelo foi desenvolvido em conjunto com o CLIP (Contrastive Language-Image Pre-training), um modelo separado treinado em 400 milhões de pares de imagem e texto extraídos da Internet. O papel do CLIP era classificar as saídas do DALL-E prevendo qual legenda de uma lista de 32.768 legendas selecionadas aleatoriamente era mais apropriada para uma imagem, ajudando a filtrar os melhores resultados.
O lançamento do DALL-E 1 gerou interesse público significativo e discussões sobre as capacidades e implicações da IA generativa. Ele não foi imediatamente disponibilizado ao público; o acesso foi inicialmente restrito para pré-visualização de pesquisa devido a preocupações éticas e de segurança. O sucessor DALL-E 2 entrou em versão beta em julho de 2022 e foi aberto a todos em setembro de 2022.
Tecnologia
O DALL-E 1 tinha três componentes: um autoencoder variacional discreto (VAE), um modelo Transformer autorregressivo somente com decodificador com 12 bilhões de parâmetros e um par de codificadores de imagem e texto do CLIP. O VAE discreto convertia imagens em sequências de tokens e vice-versa, pois o Transformer não processava dados de imagem diretamente.
A entrada para o Transformer era uma sequência de legendas de imagem tokenizadas seguida de patches de imagem tokenizados. As legendas estavam em inglês, tokenizadas por codificação de pares de bytes com um tamanho de vocabulário de 16.384, e podiam ter até 256 tokens. Cada imagem era uma imagem RGB de 256×256 dividida em patches de 32×32 de 4×4 pixels. Cada patch era convertido pelo VAE discreto em um token de um vocabulário de 8.192.
Essa arquitetura era semelhante à do GPT-3, mas adaptada para geração de imagens. O modelo autorregressivo previa tokens de imagem sequencialmente, condicionado à legenda de texto. O CLIP, baseado em aprendizado contrastivo, era usado para classificar e selecionar a melhor imagem de um conjunto maior gerado pelo modelo.
Capacidades
O DALL-E 1 podia gerar imagens em vários estilos, incluindo imagens fotorrealistas, pinturas e emojis. Ele podia "manipular e reorganizar" objetos em suas imagens e colocar corretamente elementos de design em composições novas sem instrução explícita. Por exemplo, quando solicitado a desenhar um rabanete daikon assoando o nariz, tomando um latte ou andando de monociclo, ele frequentemente desenhava o lenço, as mãos e os pés em locais plausíveis.
O modelo mostrava uma capacidade de "preencher as lacunas", inferindo detalhes apropriados sem prompts específicos, como adicionar imagens de Natal a prompts comumente associados à celebração e colocando sombras adequadamente. Ele exibia uma compreensão ampla de tendências visuais e de design.
O DALL-E 1 podia produzir imagens para uma grande variedade de descrições arbitrárias de vários pontos de vista, com apenas falhas raras. Mark Riedl, professor associado da Escola de Computação Interativa da Georgia Tech, descobriu que ele podia combinar conceitos, um elemento-chave da criatividade humana. Sua capacidade de raciocínio visual era suficiente para resolver as Matrizes de Raven, testes visuais frequentemente usados para medir a inteligência humana.
Impacto e legado
O DALL-E 1 ajudou a popularizar a geração de texto para imagem e estimulou mais pesquisas em IA generativa. Ele foi seguido pelo DALL-E 2, que usava um modelo de difusão com 3,5 bilhões de parâmetros, e pelo DALL-E 3, que foi integrado ao ChatGPT em outubro de 2023. A Microsoft implementou o DALL-E 3 no Image Creator e no aplicativo Designer do Bing, e o Copilot funciona com ele. Em março de 2025, o DALL-E 3 foi substituído no ChatGPT pelas capacidades nativas de geração de imagem do GPT Image.
A OpenAI começou a adicionar marcas d'água às imagens geradas pelo DALL-E em fevereiro de 2024, usando metadados no padrão C2PA (Coalition for Content Provenance and Authenticity). O lançamento do DALL-E 1 marcou um passo significativo no desenvolvimento da inteligência artificial e do aprendizado de máquina, influenciando modelos e aplicações subsequentes.