Adobe 和香港科技大学(HKUST)联合推出了 TransPixar 模型,这是一个专注于生成透明背景视频的 AI 模型。
TransPixar 是现有视频生成模型的扩展,能够生成带 Alpha 通道 的 RGBA 视频。Alpha 通道允许在视频中实现透明特效,如烟雾、光影或玻璃反射,使这些效果自然融入场景。
与传统视频生成模型(主要处理 RGB 视频)不同,TransPixar 增加了对 Alpha 通道 的支持,这也是其核心亮点之一。通过 Alpha 通道,TransPixar 实现了透明背景视频的生成能力,能够制作烟雾、薄雾、光影等复杂的透明特效,大大简化了视觉特效的制作流程。
目前,TransPixar 的发布版本基于 CogVideoX-5B 模型,未来还计划推出 Mochi 模型,以实现更强大的性能和更高质量的透明效果。
Adobe 已将 TransPixar 模型开源,代码可在 GitHub 上获取,同时 Hugging Face 提供了在线演示版本,方便开发者和研究人员试用。
这一模型的应用场景十分广泛,包括电影、游戏、广告和增强现实(AR)等领域。尤其是需要动态透明特效的场景,比如烟雾、魔法传送门或玻璃反射等,可以通过 TransPixar 更高效地实现。
不过,目前的模型在处理复杂场景或较长视频时,仍需要较高的计算资源支持,这是未来需要进一步改进的地方。
目前,基于 CogVideoX-5B 的版本已经发布,期待未来基于 Mochi 的模型能带来更多性能优化和应用场景。
模型下载:https://huggingface.co/wileewang/TransPixar/tree/main