PaintsUndo模型丨输入图片生成绘画过程视频

Controlnet作者lllyasviel又出新作了，这次是一个一个名为PaintsUndo项目，这个项目可以根据你提供的一张静态图片，模拟出在数字绘画软件中的绘画过程，生成视频！

PaintsUndo的命名灵感来自于数字绘画软件中的"撤销"(Undo)功能。这个项目所生成的输出结果，就像是在观察艺术家创作过程中不断撤销和重绘的效果。

PaintsUndo的主要功能是接收一张完整的图像，然后逐步还原该图像的创作过程。它可以展示从草图、线稿到上色、渲染等不同阶段的画面变化，甚至包括构图的调整和创意的演变。

从技术角度来看，PaintsUndo主要提供两种模型：单帧模型和多帧模型。单帧模型可以生成图像创作过程中的任意一帧，让我们能够细致观察每一个关键阶段。多帧模型则可以生成两张图像之间的过渡动画，展现创作过程中的连续变化。通过灵活组合这两种模型，PaintsUndo可以生成一段完整而流畅的创作过程动画。

在PaintsUndo的demo中，我们可以看到PaintsUndo模型能够接收各种风格的图像作为输入，包括动漫、插画、概念设计等，然后生成一段完整的绘制过程视频。这些视频展现了从草稿、线稿到上色、渲染等各个阶段的演变，就像是在观看艺术家的创作直播。

除了还原普通的绘画过程，PaintsUndo还具备其他功能:

1. 提取粗略草图：模型可以从输入图像中提取出不同程度简化的草图结构。

2. 从外部草图插值：给定一张草图和一张完成图，模型可以生成中间的过渡画面。

3. 以草图为输入：模型能够以简单的草图作为起点，生成完整的绘制过程。

4. 多样性输出：对于同一张输入图像,模型可以生成风格各异的绘制过程。

当然，PaintsUndo也有一些局限性和失败案例。比如它在处理写实风格、复杂构图时还有困难，对某些特殊概念的理解也有偏差，生成的绘制过程可能与主流的工作流程不完全一致。

这个AI模型通过学习艺术家在创作过程中的各种操作和决策，为未来的AI绘画系统提供了更加贴近实际创作流程的参考！

感兴趣的可以查看下方链接部署：

https://github.com/lllyasviel/Paints-UNDO?tab=readme-ov-file

https://lllyasviel.github.io/pages/paints_undo/