最新,谷歌AI研究团队发布了名为Lumiere的新型视频生成系统,该系统被业内专家认为标志着生成式内容技术飞跃进化的重要进展。
Lumiere使用独特的“空间时间U-Net”架构,可以直接从文本描述生成高达5秒长度的逼真视频图像序列。不同于传统系统分步生成关键帧的方式,Lumiere通过单次模型运算就可以输出完整的视频内容,大幅提升了生成视频的连贯性和真实性。
在技术演示中,Lumiere成功实现了多种创作任务,包括文本到视频、图像到视频、视频修复、风格迁移等。用户只需提供简单的文本或图像输入,Lumiere就可以生成符合输入要求的宏观连贯的视频图像。该系统支持用户自定义视频分辨率、长度、内容风格等参数,极大地降低了视频制作门槛。
Lumiere的独特之处在于可以实现视频风格迁移。如果提供风格样本图像,Lumiere可以解析图像风格特征,并将其应用到任意视频内容上,输出具有相同风格的结果视频。
另外,Lumiere集成了先进的视频修复算法,可以对视频进行遮挡物抹除、物体移除等智能编辑。用户只需在视频中标记需要处理的区域即可自动完成修复。
谷歌官方介绍,Lumiere目前还处于研究阶段,但未来可能会应用于产品和服务中,为用户提供更加智能便捷的内容创作工具。随着技术的迭代和产品化,普通用户也将有机会体验到该项技术带来的惊喜!