Stable Diffusion的控制难题
Stable Diffusion是当前最热门的人工智能创作工具之一,它可以根据文本提示快速生成图片。但由于生成过程有随机性,结果难以精准控制。为了解决这个问题,研究者提出了ControlNet模块。它可以在图片生成每个阶段添加控制点,使结果更符合预期。
但是,ControlNet的参数量高达几百万,计算量很大。模型体积达到几个G,需要高端的计算机和专业显卡才能运行。为此,海德堡大学在9月20日发布了ControlNet-XS论文。
https://vislearn.github.io/ControlNet-XS/
ControlNet-XS的创新之处
ControlNet XS只用了原来模型1%的参数量,但控制效果不仅没有下降,反而有所提升。它通过改进模型结构,大大优化了控制性能。参数量减少了99%,控制图片生成的能力比原来更强。
具体来说,ControlNet XS使用了更深的编码网络,可以提取图片复杂的语义信息。同时采用简化的解码网络,来更精确地添加控制点。相比原来的ControlNet,它在编码阶段获取了更丰富的图片特征,解码阶段使用特征也更高效。
海大团队的实验结果
在实验中,研究团队在Stable Diffusion不同模型上测试了ControlNet XS。结果显示,它可以比原模型更准确地控制生成图片的姿势、视角等。只需要很少的控制点,就可以明显改变图片的样式和布局。与此同时,运算量大约下降了99%,使图片生成速度大幅提升。
发布
轻量级ControlNet-XS克服了Stable Diffusion对计算力和存储的依赖,将会大大降低用户的使用门槛。
海德堡大学团队计划很快发表ControlNet XS的论文和开源代码。相信这项突破性工作会使Stable Diffusion生成控制达到新的高度,也会激发更多模型轻量化的创新设计思路。
