InstantX团队又出新作,推出了FLUX.1-dev Controlnet Union alpha模型,这是一个集成多种控制模式的AI图像生成项目。该模型基于FLUX.1-dev开发,目标是在单一模型中实现多种图像控制效果。
项目概况
FLUX.1-dev Controlnet Union alpha模型整合了七种不同的控制模式:
Canny边缘检测
Tile平铺
Depth深度图
Blur模糊
Pose姿势
Gray灰度
LQ低质量
这些模式的当前表现并不一致。根据开发团队的说明,Canny、Tile、Blur和LQ模式的效果较好,Depth模式表现中等,而Pose和Gray模式目前效果较弱。
开发状态
目前,FLUX.1-dev Controlnet Union alpha处于alpha阶段。InstantX团队表示,该版本尚未完成全面训练,beta版本正在训练中。团队承认,训练这样一个多功能模型需要大量计算资源。
尽管模型尚未完全优化,开发团队已通过消融研究验证了代码的有效性。他们指出,即使是fully trained的Union模型在某些特定任务(如姿势控制)上可能也无法超越专门的模型。随着训练的深入,Union模型的性能预计将逐步接近专门模型的水平。
使用方法
使用FLUX.1-dev Controlnet Union alpha模型需要一定的技术基础。主要步骤包括:
从源代码安装最新版本的Diffusers库。
使用FluxControlNetModel和FluxControlNetPipeline类加载模型。
设置图像参数,如尺寸、控制强度和随机种子。
选择控制模式(0-6对应七种不同模式)。
准备相应的控制图像。
使用pipe函数生成最终图像。
具体的代码示例可在模型的介绍页面找到。
模型下载地址
FLUX.1-dev Controlnet Union alpha模型目前在Hugging Face平台上提供。模型的下载地址为:
https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha
由于模型仍在修复一些问题,开发团队建议用户暂时不要下载,直到修复完成。有兴趣的用户可以关注该页面的更新。