FLUX.1 Tools 全家桶发布！创作自由度拉满！

发表于 2024-11-22

标记狮私有云部署

一键部署标记狮至私有服务器，构建快速，安全，高效，私密的UI设计团队云协作

21日，Black Forest Labs 宣布了全新图像生成与编辑工具套件 FLUX.1 Tools 的发布。这套工具首次实现了与 ControlNet 的官方整合，通过先进的模型和优化方案，让用户能够编辑图像、扩展创作边界，同时在硬件资源有限的情况下依旧获得出色性能。

一、FLUX Tools 提供的全新功能

这次发布的工具包包含多种模块，为用户提供了灵活的图像编辑能力：

1.FLUX Fill：修补与扩展图像

用于修复图像中的缺陷或“无缝”扩展画面边界。
非常适合在保留图像风格的同时增添更多细节。

2.FLUX Depth：深度编辑

借助深度图对图像的结构和风格进行精准控制。
支持不同的深度处理器（如 Zoe Depth 和 Maragold Depth），让用户根据需求选择合适的工具。

3.FLUX Canny：边缘编辑

基于 Canny 边缘检测技术，提供更精确的轮廓控制。
特别适合需要保留画面细节和结构的编辑任务。

4.FLUX Redux：图像变体与风格再造

可以生成图像的多种风格版本，支持“Dev”（开发模式）和“Schnell”（高效模式）。
Redux 还支持与其他模块如 Fill 的链式工作流。

二、ControlNet 正式支持：更强大的功能整合

一个重磅更新是 FLUX Tools 与 ControlNet 的首次官方整合，这让图像编辑变得更加精准和灵活。以下是整合后的主要功能：

1.Canny Edge Processor（边缘处理器）

通过边缘检测生成 Canny 边缘图，并将其输入到 Instruct Pix2Pix 模型进行处理。
用户可以通过将部分计算任务转移到 CPU 来优化显存使用，适配更多硬件配置。

2.Depth Processor（深度处理器）

通过深度图控制图像的整体结构，支持不同的深度预处理器。
输出的文件将自动存储在指定目录中，为用户提供便捷的文件管理。

三、性能优化：低配用户也能享受高效体验

FLUX Tools 充分考虑了用户不同的硬件条件，提供了多种优化选项：

1.CPU 分担任务

如果你的显卡显存不足，可以将 VAE 和 Clip 等任务转移到 CPU，从而减少显存占用。
例如，将 VAE 和 Clip 强制切换到 CPU，可以减少 GPU 的内存压力，同时保持运行流畅。

2.FP8 模式

支持 FP8（8位浮点运算），相比传统的 FP16 模式，显存占用更低，同时图像质量基本不受影响。

3.路径生成器与文件优化

工具会自动生成输出文件的路径，并将结果存储在指定的目录下，避免因文件名过长导致更新失败的问题。

四、实际工作流示例

下面有一些具体的工作流示例，帮助你快速上手：

1.Canny 工作流

通过加载输入图像生成 Canny 边缘图，然后将其应用到 Instruct Pix2Pix 模型中。
支持将 Clip 和 VAE 切换到 CPU，适配低显存设备。

2.Depth 工作流

使用深度图作为输入条件，与 Zoe Depth 等深度处理器配合，生成保留结构的图像。

3.Redux 工作流

提供 Dev（开发模式）和 Schnell（高效模式）两种版本，支持生成不同风格的图像变体，并优化了宽高比的支持。

Redux 模块还支持链式工作流，例如先用 Redux 生成图像变体，再用 Fill 模块对图像进行扩展或修补，从而实现更复杂的创作表达。

期待看到你用 FLUX Tools 创作出的精彩作品！ 😊

官方 BlackForestLabs 公告： https://blackforestlabs.ai/flux-1-tools/
Canny LoRA 模型
链接：
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora
放置路径：ComfyUI\models\loras\
Depth LoRA 模型
链接：
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora
放置路径：ComfyUI\models\loras\
完整版模型
以下是完整的模型，放置于不同路径，文件大小约 23GB，而上方的 LoRA 模型较小，仅约 1.2GB。
FILL（图像修补/Inpaint）
链接：
https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev
放置路径：ComfyUI\models\diffusion_models\
CANNY 模型
链接：
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev
放置路径：ComfyUI\models\diffusion_models\
DEPTH 模型
链接：
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev
放置路径：ComfyUI\models\diffusion_models\
Redux 模型（用于开发版和 Schnell）
该模型可用于 Flux Dev 或 Schnell 版本的图像变体生成。
视觉模型：
ComfyOrg 提供了 Flux CLIP Vision 模型，链接如下：
https://huggingface.co/Comfy-Org/sigclip_vision_384/blob/main/sigclip_vision_patch14_384.safetensors
放置路径：ComfyUI\models\clip_vision\
Redux 模型：
链接：
https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev
放置路径：ComfyUI\models\style_models\
]