Adobe Firefly是Adobe开发的一款用于创意制作的网络应用及生成式人工智能模型系列。其功能包括文生图、文生视频、图生视频、语音生成、配乐生成、音效生成以及语音增强。Firefly是Adobe Creative Cloud的一部分,也为Photoshop、Premiere Pro和InDesign等其他Creative Cloud应用中的功能提供支持。它通过订阅计划提供,根据所使用的AI类型按月消耗积分。
Firefly基于Adobe的Sensei平台开发,该平台是公司的机器学习和人工智能框架。这些模型使用来自Creative Commons、Wikimedia和Flickr Commons的图像,以及Adobe Stock和公共领域中的3亿张图像和视频进行训练。由于训练数据要么由Adobe拥有许可,要么属于公共领域,公司因此将模型输出描述为“商业安全”且合法拥有或授权。然而,后来有披露显示Firefly也使用了Midjourney及其他竞争对手的图像进行训练,这引发了对其相关声明的质疑。
历史
Adobe Firefly于2022年9月在Adobe MAX大会上首次公布。它最初于2023年3月作为公开测试版发布,目前可供所有Adobe Creative Cloud订阅者使用。Firefly构建于Adobe Sensei之上,后者已被用于支持Adobe创意软件中的多种功能,如Photoshop中的对象选择和Lightroom中的图像自动增强。
Firefly将其功能扩展至Illustrator、Premiere Pro和Express,主要用于生成照片、视频和音频,以增强或修改媒体的特定部分。Google曾计划在Bard(现为Gemini)中使用Firefly作为其AI图像生成器,但最终采用了自家的Imagen模型。Mattel、IBM和Dentsu也与Adobe建立了合作关系。最初的演示展示了生成照片变体的能力。
2025年4月,Adobe在Firefly网络应用中发布了Firefly Image 4和Firefly Image 4 Ultra Model。2025年10月,Adobe在MAX大会上发布了Image Model 5、Generate Soundtrack、Generate Speech和Firefly Video Editor。
功能
Firefly支持多种模态,包括文本转语音、文本转矢量、图生视频、视频、图像、音频和音乐。这些功能允许用户根据文本描述生成和编辑视觉及音频内容,促进跨多种媒体类型的创意工作流程。
集成
Adobe Firefly部分托管于Nvidia Picasso生成式AI库。Firefly和其他Adobe产品与Google的AI模型集成,包括Gemini、Veo和Imagen。Firefly还配备了来自OpenAI和ElevenLabs的AI模型。这些集成扩展了Firefly的功能,使用户能够利用更广泛的AI能力。
Adobe Firefly被Mattel用于设计所有玩具及子公司(包括Barbie)的包装。IBM和Dentsu也与Adobe Firefly有集成,展示了其在企业和创意行业的采用情况。
训练数据与商业安全性
Firefly的初始训练数据包括来自Creative Commons、Wikimedia、Flickr Commons、Adobe Stock和公共领域的图像,总计超过3亿张图像和视频。Adobe强调,这种方法确保了模型输出的商业安全性,因为训练数据要么已获许可,要么属于公共领域。然而,后来的披露表明Firefly也使用了Midjourney等竞争对手的图像进行训练,这与Adobe早先的声明相矛盾。这引发了对训练数据法律和伦理影响的担忧。
企业与合作伙伴关系
Firefly for Enterprise于2023年6月22日发布,面向商业用户提供额外功能和支持。与Mattel、IBM和Dentsu等公司的合作凸显了Firefly在大规模设计和营销工作流程中的集成。这些合作展示了Firefly在为品牌和产品设计生成一致视觉内容方面的实用性。
反响与影响
Firefly被视为使生成式AI对创意专业人士更易用的一步,与现有Adobe工具无缝集成。其生成和编辑图像、视频及音频的能力因提升生产力和创造力而受到赞誉。然而,关于训练数据的争议引发了关于AI开发中透明度和版权的讨论,影响了更广泛AI社区的讨论。
未来发展
Adobe持续迭代Firefly,定期发布新模型和功能。2025年10月发布的Image Model 5和Firefly Video Editor表明其正持续扩展至视频和音频生成领域。随着AI技术的发展,Firefly可能会融入更先进的功能,并可能与其他新兴AI系统和平台集成。
参考文献
- Adobe Firefly - Wikipedia(来源事实提供)。