字节跳动发布SDXL-Lightning丨快速生成1024像素图像

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作

字节跳动发布SDXL-Lightning丨快速生成1024像素图像3.jpg

字节跳动日前发布了SDXL-Lightning的模型,使用该模型可在几秒钟之内生成高达1024像素分辨率的图像。

SDXL-Lightning利用一种革新的蒸馏策略对/stable-diffusion-xl-base-1.0进行优化,显著提升了图像生成过程的速度。与此同时,该模型还保持了图像的高质量和多样性,克服了传统蒸馏方法中的图像模糊等问题。

在以往,扩散模型在生成图像时需要经过众多迭代步骤,逐步将数据分布转化为噪声分布,这一缓慢的过程导致了生成速度的下降。SDXL-Lightning通过结合渐进式蒸馏和对抗式蒸馏的方法,简化了生成步骤,提升了效率,同时保留了模型的覆盖能力和输出质量。还引入了鉴别器以提升生成图像的逼真度,解决了图像清晰度的问题。

字节跳动发布SDXL-Lightning丨快速生成1024像素图像4.jpg

这款模型极大地提升了从文本到图像的转换速度,能够在几秒内生成分辨率达到1024px的图像,这对于那些需要快速响应的应用场景来说,是一个重要的进步。它不仅能够支持高分辨率图像的生成,还能通过渐进式蒸馏提升生成速度,同时保持图像质量,而对抗式蒸馏则通过对抗性损失进一步提高了图像的真实感。

该模型已经在Hugging Face平台上开源,提供了兼容LoRA(Low-Rank Adaptation)技术的版本和完整的UNet权重,以及详细的ComfyUI使用指南。为了获得最优的图像生成效果,需要根据推理步骤选择相应的检查点,并使用Euler采样器与sgm_uniform调度程序。

字节跳动发布SDXL-Lightning丨快速生成1024像素图像1.jpg

使用SDXL-Lightning模型进行文本到图像生成的具体步骤数取决于选择的配置。根据Hugging Face平台上的ComfyUI指南,模型提供了不同的配置选项,分别对应不同的步骤数:

2-Step UNet: 这个配置下,模型将在两个步骤内完成图像的生成。

4-Step UNet: 当使用这个配置时,图像生成过程会在四个步骤内完成。

8-Step UNet: 在这个配置下,生成过程需要八个步骤。

另外,官方还提到一个1-Step UNet模型,这是一个实验性质的配置,它只需要一个步骤来生成图像,但是生成质量可能不如2步或更多步骤的模型稳定。

huggingface:https://huggingface.co/ByteDance/SDXL-Lightning

demo:https://huggingface.co/spaces/AP123/SDXL-Lightning


标记狮私有云部署
一键部署标记狮至私有服务器,构建快速、安全、高效、私密的UI设计团队云协作
立即部署>>
标记狮私有云部署-一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作