从AI画画到AI生图,再到AI实时生图,AI图像生成技术的发展速度令人瞠目结舌。就在几天前,一项名为LCM-LoRA的研究成果震惊了整个AI创作界,标志着AI图像生成迈入了一个崭新的阶段。
KREA AI就是一个内置了LCM-LoRA的设计工具，从官方透露出的视频，我们可以看到结合LCM-LoRA的StableDiffusion有了实时的操作。
LCM-LoRA能够加速Stable Diffusion模型,可以显著加快图像生成速度,同时大幅降低内存消耗，并具有很强的泛化能力,可以直接加速各种版本的Stable Diffusion模型,无需额外训练，可以让用户通过简单的示意图就可以精确控制生成图像的样子和姿态,并可以实时生成图像。
目前已可以直接下载LCM-LoRA配合SD webui或comfy ui使用，使用LCM Lore采样步数仅需要8步就可以生成高质量图片,速度接近100倍提升
https://huggingface.co/latent-consistency
LCM-LoRA是什么?
LCM-LoRA全称是Latent Consistency Models - Learned Optimal Reciprocal Acceleration,即潜在一致性模型-学习最优可逆加速器。
它由研究员在论文《LCM-LoRA: 一个通用的稳定扩散加速模块》中提出。
https://arxiv.org/abs/2311.05556
研究人员利用知识蒸馏的方式,从预训练好的潜在扩散模型中提取知识,构建出一个轻量级的网络LCM。
然后再通过逆过程优化算法LoRA进行模型压缩,将LCM应用于不同的稳定扩散模型,实现稳定扩散的实时推理。
LCM-LoRA的优势在于:
训练周期短,只需要大约32个A100 GPU小时;
可泛化性强,不需要针对特定模型进行额外训练,就能直接应用于各种版本的稳定扩散模型;
推理速度快,大幅降低内存占用,实现实时图像生成。
可以说,LCM-LoRA开创了稳定扩散模型实时推理的新纪元。
实时AI生成,设计师的新工具
相比早期的AI绘画模型,稳定扩散模型可以生成更逼真的图片。但是其生成过程需要较长时间,难以实现人机交互。这意味着设计师需要预先编写文字描述,然后等待AI生成结果,无法实时调整或交互。
有了LCM-LoRA的加持,稳定扩散模型可以以前所未有的速度生成图片。设计师可以通过简单的手绘草图,指导AI生成所需的图片或效果。过程中还可以随时修改要求,AI会即时生成新的图片。
可以预见,借助LCM-LoRA,稳定扩散模型将成为设计师的重要创作工具和助手。实时交互也将推动生成式AI在更多领域的应用,例如游戏、动画、视觉效果等。
