24日,Stability AI宣布推出Stable Video 4D,这个AI模型,能够将用户提供的单个物体视频转换为多个新视角的动态视频:
核心功能与性能
多角度视频生成:用户上传单个视频后,Stable Video 4D能生成8个不同角度/视图的新视频。
高效处理:模型能在约40秒内生成8个视角、每个5帧的视频。完整的4D优化过程大约需要20到25分钟。
自定义控制:用户可以指定所需的3D摄像机姿态,从而定制输出结果。
一致性与质量:与现有技术相比,Stable Video 4D生成的新视角视频更加详细、忠实于输入视频,并在帧与视角之间保持一致性。
Stable Video 4D采用了创新的方法,无需像以往那样从图像扩散模型、视频扩散模型和多视图扩散模型的组合中采样。这种方法不仅确保了多个视角和时间戳下物体外观的一致性,还实现了更轻量级的4D优化框架。
这项技术建立在Stability AI之前的Stable Video Diffusion模型基础之上,代表了从基于图像的视频生成向全3D动态视频合成的重大飞跃。
虽然目前处于研究阶段,Stable Video 4D的潜在应用包括游戏开发、视频编辑和虚拟现实等领域。这些领域的专业人士可以利用多角度可视化能力来提升产品的真实感和沉浸感。
Stable Video 4D目前已在Hugging Face平台上提供使用。感兴趣的用户可以通过Hugging Face下载这个模型: