FLUX模型生态扩展丨基于Flux的Control和LoRA发布

针对FLUX模型的LoRA和ControlNet模型已经发布！这一重要进展由两个团队共同推动，分别是XLabs-AI和InstantX，FLUX是由Black Forest Labs开发的图像生成模型，近来在AI创作社区中获得了越来越多的关注。这个模型的生成能力大有超越SDXL的可能性，现在LoRA和ControlNet模型发布，其应用范围将进一步扩大。

1.XLabs-AI团队的发布

XLabs-AI团队在GitHub上发布了针对FLUX模型的ControlNet和LoRA（Low-Rank Adaptation）微调模型。

1. XLabs-AI/flux-controlnet-canny

   目前发布的是基于Canny边缘检测的ControlNet模型。XLabs-AI提供的示例图清晰展示了这一功能的效果：通过输入一张人物照片及其边缘检测图，模型能够生成保留原始构图但风格迥异的新图像。

2. flux-RealismLora

   XLabs-AI在Hugging Face上发布的flux-RealismLora模型可以增强FLUX模型照片级真实感。

XLabs-AI还提到，他们正在开发更多类型的ControlNet模型，包括人体姿态估计（OpenPose）和深度图等。

2.InstantX团队的发布

InstantX团队则在Hugging Face上发布了FLUX.1-dev-Controlnet-Canny-alpha模型。这是一个专门针对Canny边缘检测的ControlNet模型，为FLUX.1-dev版本提供了更精细的图像控制能力。当前版本在512x512分辨率上训练，但支持其他尺寸的推理。InstantX团队正在开发1024分辨率和多尺度模型，未来将开源发布。

两个团队都提供了详细的使用说明和示例代码。XLabs-AI的模型使用DeepSpeed进行训练，而InstantX的模型则与Diffusers库紧密集成。两者都提供了非商业用途的许可证。