Muse é um modelo generativo de texto para imagem desenvolvido pelo Google, anunciado pela primeira vez em um artigo de pesquisa em janeiro de 2023. Ele pertence à família de modelos baseados em transformers e é projetado para gerar imagens de alta resolução a partir de descrições textuais. Diferente de modelos baseados em difusão, como Stable Diffusion ou DALL-E, o Muse opera em tokens discretos em um espaço de imagem comprimido, usando uma abordagem generativa mascarada inspirada na modelagem de linguagem mascarada em modelos de linguagem de grande escala.
O modelo foi desenvolvido por pesquisadores do Google e da Google DeepMind, com base em trabalhos anteriores em quantização vetorial e arquiteturas de transformers. Ele foi detalhado publicamente no artigo "Muse: Text-To-Image Generation via Masked Generative Transformers", que demonstrou resultados de última geração em benchmarks como MS-COCO e capacidades de geração zero-shot. O Google posicionou o Muse como uma alternativa mais eficiente aos modelos de difusão, alegando tempos de inferência mais rápidos enquanto mantinha qualidade de imagem competitiva.
Arquitetura
O Muse usa um pipeline de dois estágios. Primeiro, um autoencoder variacional (VAE) pré-treinado comprime imagens em uma grade de tokens discretos, semelhante à abordagem usada em VQGAN ou VQ-VAE. Em segundo lugar, um modelo transformer é treinado para prever tokens mascarados nessa grade, condicionado a embeddings de texto produzidos por um modelo de linguagem de grande escala congelado (especificamente T5). Durante a geração, o modelo começa com todos os tokens mascarados e prevê iterativamente os tokens mais confiantes, preenchendo o restante ao longo de várias etapas. Essa técnica de modelagem mascarada permite decodificação paralela, o que acelera a geração em comparação com modelos autorregressivos.
O codificador de texto é um modelo T5-XXL congelado, que fornece representações semânticas ricas. O tokenizador de imagem é um VAE treinado em um grande conjunto de dados de imagens, produzindo uma grade de tokens de 256x256 ou 512x512, dependendo da configuração. O transformer em si é uma arquitetura padrão de codificador-decodificador, com os embeddings de texto como entrada do codificador e os tokens de imagem mascarados como entrada do decodificador.
Treinamento e dados
O Muse foi treinado em um grande corpus de pares de imagem e texto, incluindo o conjunto de dados público LAION-5B e conjuntos de dados internos do Google. O processo de treinamento envolveu dois estágios: primeiro, o VAE foi treinado separadamente apenas em imagens; depois, o transformer foi treinado para prever tokens mascarados dado texto e contexto não mascarado. O modelo foi treinado em pods de TPU v4, com a maior variante tendo 3 bilhões de parâmetros. O artigo relatou que o Muse alcançou uma pontuação FID zero-shot de 7,9 no MS-COCO, superando modelos de difusão anteriores, como GLIDE e DALL-E 2, na época.
Capacidades
O modelo suporta várias tarefas além da geração de texto para imagem. Ele pode realizar edição de imagem mascarando parcialmente uma imagem de entrada e fornecendo um prompt de texto, permitindo alterações localizadas. Ele também suporta outpainting (estender uma imagem além de suas bordas) e inpainting (preencher regiões ausentes). Além disso, o Muse pode gerar imagens com proporção de aspecto variável e pode ser ajustado para estilos ou domínios específicos. O artigo demonstrou que o Muse podia produzir imagens de alta qualidade de 512x512 em cerca de 1,5 segundos em um único TPU, o que é significativamente mais rápido do que modelos de difusão que exigem muitas etapas de remoção de ruído.
Comparação com outros modelos
O Muse é frequentemente comparado ao DALL-E 2 e ao Imagen, ambos os quais usam processos de difusão. Modelos de difusão adicionam e removem ruído gradualmente, exigindo centenas de etapas. O Muse, em contraste, usa uma abordagem de tokens discretos com desmascaramento iterativo, tipicamente exigindo apenas 10 a 20 etapas. Isso o torna mais eficiente computacionalmente durante a inferência. No entanto, modelos de difusão foram mais amplamente adotados em sistemas de produção, em parte devido à sua simplicidade e robustez. A dependência do Muse em um espaço de tokens discretos pode às vezes levar a artefatos, especialmente com texturas complexas ou detalhes finos.
Recepção e impacto
O Muse foi bem recebido na comunidade de pesquisa por seu uso inovador de modelagem mascarada no domínio de imagens. Ele influenciou trabalhos subsequentes sobre difusão discreta e geração baseada em tokens. No entanto, o Google não lançou o Muse como um produto público ou API, ao contrário de seus modelos posteriores, como Imagen ou Gemini. O código e os pesos não foram disponibilizados como código aberto, limitando a reprodutibilidade. Ainda assim, as ideias do Muse foram incorporadas em modelos posteriores do Google e inspiraram esforços de código aberto, como Parti e MuseGAN.
Ver também
Referências
- Chang, H., et al. (2023). "Muse: Text-To-Image Generation via Masked Generative Transformers." arXiv:2301.00704.
- Google AI Blog. (2023). "Muse: A New Text-to-Image Model."