FLUX é uma família de modelos de texto para imagem de difusão lançada em agosto de 2024 pela Black Forest Labs, uma empresa fundada por pesquisadores que haviam criado anteriormente o Stable Diffusion e pesquisas relacionadas sobre difusão latente, incluindo Robin Rombach. A Black Forest Labs foi formada em 2024 depois que seus fundadores deixaram a Stability AI, e o FLUX foi o primeiro grande lançamento público da empresa.
Variantes do modelo
O FLUX foi lançado em múltiplas variantes voltadas para diferentes casos de uso e necessidades de licenciamento: FLUX.1 [pro], um modelo fechado de maior desempenho acessível via API; FLUX.1 [dev], um modelo de pesos abertos disponível para uso não comercial e pesquisa; e FLUX.1 [schnell], um modelo destilado e mais rápido com pesos abertos, lançado sob uma licença permissiva Apache 2.0 adequada para uso comercial. Essa estrutura em camadas permitiu que a Black Forest Labs oferecesse tanto uma opção totalmente aberta e comercialmente utilizável quanto uma opção fechada de maior qualidade, um caminho intermediário entre a abordagem totalmente fechada do Midjourney e o lançamento original totalmente aberto do Stable Diffusion.
Abordagem técnica
O FLUX usa uma arquitetura de transformador de difusão, incorporando técnicas de treinamento por flow-matching que haviam mostrado vantagens de eficiência em relação às abordagens anteriores de difusão com remoção de ruído em pesquisas contemporâneas, e ampliou substancialmente o tamanho do modelo em relação aos modelos de difusão abertos anteriores. No lançamento, os modelos FLUX foram amplamente relatados como superiores às alternativas abertas existentes, incluindo várias versões do Stable Diffusion, em medidas de aderência ao prompt, detalhe de imagem e renderização de texto dentro de imagens, uma área que historicamente era um ponto fraco dos geradores de imagem baseados em difusão.
Adoção e integração
Como as variantes de pesos abertos do FLUX podiam ser baixadas e executadas de forma independente, o modelo foi rapidamente adotado pelo mesmo ecossistema comunitário que havia crescido em torno do Stable Diffusion, incluindo suporte para ajuste fino com LoRA e ferramentas de condicionamento no estilo ControlNet, e tornou-se um modelo base comum em plataformas como Hugging Face e hubs comunitários de ajuste fino. O FLUX também ganhou uma parceria comercial significativa quando a xAI integrou o FLUX como o backend de geração de imagens para seu chatbot Grok, dando ao modelo uma implantação de consumo em larga escala além de sua comunidade de desenvolvedores de código aberto.
Recepção
O FLUX foi amplamente considerado por revisores e pela comunidade de IA de código aberto como estabelecendo um novo estado da arte entre modelos de geração de imagem abertos ou com licenças abertas na época de seu lançamento, reduzindo grande parte da lacuna que anteriormente separava modelos abertos de sistemas fechados líderes como DALL-E e Midjourney. Seu lançamento ilustrou um padrão mais amplo na IA generativa em que equipes especializadas, muitas vezes compostas por pesquisadores que haviam construído um modelo inovador de primeira geração em uma empresa, saíram para fundar startups focadas na construção da próxima geração da mesma tecnologia, ecoando dinâmicas também vistas nas saídas da OpenAI e de outros laboratórios de fronteira. A Black Forest Labs posicionou os lançamentos abertos contínuos do FLUX como centrais para sua identidade e estratégia de negócios, visando sustentar um ecossistema aberto para geração de imagens mesmo enquanto grande parte da indústria mais ampla de IA generativa, incluindo esforços de geração de vídeo do Veo do Google, tendia a produtos fechados, apenas via API.