FLUX.1-dev Controlnet Union alpha丨七合一contolnet模型

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作

FLUX.1-dev Controlnet Union alpha丨七合一AI图像控制模型_2.jpg

InstantX团队又出新作,推出了FLUX.1-dev Controlnet Union alpha模型,这是一个集成多种控制模式的AI图像生成项目。该模型基于FLUX.1-dev开发,目标是在单一模型中实现多种图像控制效果。

项目概况

FLUX.1-dev Controlnet Union alpha模型整合了七种不同的控制模式:

  1. Canny边缘检测

  2. Tile平铺

  3. Depth深度图

  4. Blur模糊

  5. Pose姿势

  6. Gray灰度

  7. LQ低质量

FLUX.1-dev Controlnet Union alpha丨七合一AI图像控制模型_1.png

这些模式的当前表现并不一致。根据开发团队的说明,Canny、Tile、Blur和LQ模式的效果较好,Depth模式表现中等,而Pose和Gray模式目前效果较弱。

开发状态

目前,FLUX.1-dev Controlnet Union alpha处于alpha阶段。InstantX团队表示,该版本尚未完成全面训练,beta版本正在训练中。团队承认,训练这样一个多功能模型需要大量计算资源。

尽管模型尚未完全优化,开发团队已通过消融研究验证了代码的有效性。他们指出,即使是fully trained的Union模型在某些特定任务(如姿势控制)上可能也无法超越专门的模型。随着训练的深入,Union模型的性能预计将逐步接近专门模型的水平。

使用方法

使用FLUX.1-dev Controlnet Union alpha模型需要一定的技术基础。主要步骤包括:

  1. 从源代码安装最新版本的Diffusers库。

  2. 使用FluxControlNetModel和FluxControlNetPipeline类加载模型。

  3. 设置图像参数,如尺寸、控制强度和随机种子。

  4. 选择控制模式(0-6对应七种不同模式)。

  5. 准备相应的控制图像。

  6. 使用pipe函数生成最终图像。

具体的代码示例可在模型的介绍页面找到。

模型下载地址

FLUX.1-dev Controlnet Union alpha丨七合一AI图像控制模型

FLUX.1-dev Controlnet Union alpha模型目前在Hugging Face平台上提供。模型的下载地址为:

https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha

由于模型仍在修复一些问题,开发团队建议用户暂时不要下载,直到修复完成。有兴趣的用户可以关注该页面的更新。

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速、安全、高效、私密的UI设计团队云协作
立即部署>>
标记狮私有云部署-一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作