Adobe宣布,其AI视频生成模型预计于2024年底前向用户开放。这些由Firefly视频模型驱动的新功能将通过Premiere Pro测试版和一个专门的网站提供。
目前,Adobe正在内部测试三项主要功能:生成式延展、文本生成视频和图像生成视频。这些功能预计将在不久后向公众开放。
官方展示了即将推出的Premiere Pro"生成式延展"功能的一些额外片段,该功能可以延长现有视频镜头的长度,类似于Photoshop的用于图像背景的生成式扩展工具。
生成式延展功能可将视频延长两秒,计划年底前集成到Premiere Pro测试版。文本生成视频和图像生成视频功能则可根据文字描述或输入图像生成最长5秒的视频,这两项功能将在Firefly专用网站上推出。Adobe表示,未来可能会增加视频时长限制。
关于这些AI视频功能的定价,Adobe尚未公布具体信息。参考其他Firefly工具的模式,可能会为Creative Cloud用户提供"生成积分",用于内容生成。
在功能演示中,官方展示了一段使用该功能制作的宇航员太空漫步视频。虽然在画面出现轻微光晕时可以察觉到延长的痕迹,但整体上相机移动和场景元素保持了一致性。这个功能在需要稍微延长场景以实现平滑过渡或淡出效果时特别有用。
相比之下,文本生成视频和图像生成视频功能的操作更为直观。用户只需输入文字描述或上传参考图像,就能得到长达5秒的视频输出。
Adobe还强调,Firefly的文本生成视频功能在单词拼写准确性方面表现出色,这是许多AI视频模型的常见短板。
如果示例画面能代表最终发布版本的话,生成的视频质量看起来与我们从OpenAI的Sora模型看到的相当,Adobe也正在"探索"将Sora作为第三方集成到其Premiere Pro视频软件中。
Adobe自己的模型相对于Sora可能具有的一个优势是,它承诺Firefly是"商业安全的",因为它是基于公开许可、公共领域和Adobe Stock内容进行训练的,这可能会减少一些关于版权侵犯的担忧。
文本生成视频和图像生成视频功能最初将于今年晚些时候以测试版形式在独立的Firefly应用程序中提供。Adobe表示,新的Firefly视频模型最终将集成到其Creative Cloud、Experience Cloud和Adobe Express应用程序中。