FLUX est une famille de modèles de diffusion Text-to-image generation publiée en août 2024 par Black Forest Labs, une entreprise fondée par des chercheurs ayant précédemment créé Stable Diffusion et mené des recherches connexes sur la diffusion latente, notamment Robin Rombach. Black Forest Labs a été fondée en 2024 après que ses fondateurs ont quitté Stability AI, et FLUX a été la première grande publication publique de l'entreprise.
Variantes du modèle
FLUX a été publié en plusieurs variantes destinées à différents cas d'usage et besoins de licence : FLUX.1 [pro], un modèle fermé et plus performant accessible via API ; FLUX.1 [dev], un modèle à poids ouverts disponible pour un usage non commercial et la recherche ; et FLUX.1 [schnell], un modèle à poids ouverts distillé et plus rapide, publié sous licence permissive Apache 2.0, adapté à un usage commercial. Cette structure à plusieurs niveaux a permis à Black Forest Labs d'offrir à la fois une option entièrement ouverte et commercialement utilisable et une option de qualité supérieure soumise à des restrictions, une voie intermédiaire entre l'approche entièrement fermée de Midjourney et la publication initiale entièrement ouverte de Stable Diffusion.
Approche technique
FLUX utilise une architecture de transformateur de diffusion, intégrant des techniques d'entraînement par appariement de flux qui avaient montré des avantages en termes d'efficacité par rapport aux approches précédentes de débruitage par diffusion dans la recherche contemporaine, et augmente considérablement la taille du modèle par rapport aux modèles de diffusion ouverts antérieurs. Lors de sa publication, il a été largement rapporté que les modèles FLUX surpassaient les alternatives ouvertes existantes, y compris diverses versions de Stable Diffusion, en matière de respect des invites, de détail des images et de rendu du texte dans les images, un domaine qui avait historiquement été une faiblesse des générateurs d'images basés sur la diffusion.
Adoption et intégration
Étant donné que les variantes à poids ouverts de FLUX pouvaient être téléchargées et exécutées indépendamment, le modèle a été rapidement adopté par le même écosystème communautaire qui s'était développé autour de Stable Diffusion, y compris le soutien pour le fine-tuning LoRA et les outils de conditionnement de type ControlNet, et il est devenu un modèle de base courant sur des plateformes comme Hugging Face et des hubs de fine-tuning communautaires. FLUX a également gagné un partenariat commercial significatif lorsque xAI a intégré FLUX comme backend de génération d'images pour son chatbot Grok, donnant au modèle un déploiement grand public à grande échelle au-delà de sa communauté de développeurs open source.
Réception
FLUX a été largement considéré par les critiques et la communauté IA open source comme établissant un nouvel état de l'art parmi les modèles de génération d'images ouverts ou sous licence ouverte au moment de sa publication, comblant une grande partie de l'écart qui séparait auparavant les modèles ouverts des systèmes fermés de premier plan tels que DALL-E et Midjourney. Sa publication a illustré un schéma plus large dans l'IA générative, où des équipes spécialisées, souvent composées de chercheurs ayant précédemment construit un modèle de première génération révolutionnaire dans une entreprise, partent pour fonder des startups ciblées développant la prochaine génération de la même technologie, reflétant des dynamiques également observées parmi les départs d'OpenAI et d'autres laboratoires de pointe. Black Forest Labs a positionné les publications ouvertes continues de FLUX comme centrales à son identité et à sa stratégie commerciale, visant à soutenir un écosystème ouvert pour la génération d'images, même si une grande partie de l'industrie plus large de l'IA générative, y compris les efforts vidéo de Google Veo, tendait vers des produits fermés et uniquement via API.