ToonCrafter是由香港中文大学、香港城市大学和腾讯AI实验室联合开发的一个卡通动画辅助工具。它利用了先进的生成式插值算法和图像到视频的扩散模型，为动画制作提供了新的解决方案。
ToonCrafter主要有两大功能：自动生成中间帧和根据参考图像进行上色。
在生成中间帧方面，ToonCrafter能够在两个关键帧之间自动插值，创建出平滑自然的过渡动画，即使面对复杂的非线性运动和遮挡，也能得到较好的结果。这可以帮助动画师节省大量手工绘制中间帧的时间。
在上色方面，用户可以为ToonCrafter提供一到两张参考图像，它会根据参考图像的色彩风格和纹理特征，自动对输入的草图进行上色。比如提供一张真人照片作为参考，ToonCrafter可以生成具有类似肤色、发色和服装颜色的卡通形象。这种自动上色的能力进一步提升了动画制作的效率。
当然，ToonCrafter作为一个研究性的项目，还存在一些局限性。比如生成效果的成功率并不能完全保证，有时可能出现artifacts或者不连贯的情况。而且目前公开的模型也只能生成相对较短的动画片段，分辨率和帧数都有限制。
ToonCrafter代表了一种全新的、基于AI的动画生成范式。它利用机器学习从大量数据中习得的先验知识，来自动完成以往需要动画师手工完成的大量工作，可以显著提升动画制作的效率。
