ControlNet 1.1.4新增recolor和IP-Adapter开启无限创意！

在最新的ControlNet 1.1.4版本中,新增了recolor重上色和IP Adapter图像风格转换两个强大的控制模型，下面让我们来看看这两项功能的详细用法和技巧指南。

模型下载地址：https://huggingface.co/lllyasviel/sd_control_collection/tree/main

recolor重上色:老照片修复和元素上色的利器

recolor重上色模型可以实现两大功能:老照片修复上色和对指定元素重新上色。

◇一键为黑白老照片添加色彩

想要修复历史老照片最简单的方法就是直接为其上色,让图像焕发生机。使用recolor模型做到这一点非常容易:

1. 上传想要处理的黑白老照片;

1. 在ControlNet界面选择recolor模型;

2. 设置其他参数后直接生成。

recolor会自动分析图像,将适当的色彩赋予不同元素,重新输出图像。

◇自定义元素的颜色

recolor的另一个使用场景是可以通过Prompt来指定人物的皮肤、头发、衣着等元素进行重新上色。使用方法如下:

1. 上传想要处理的黑白老照片;

2. 在Prompt中添加指示元素颜色的语句,如“女孩有着粉红色的头发、穿着蓝色衬衫和白色短裙”;

3. 设置其他参数后生成。

通过自定义颜色描述,recolor会自动识别对应元素并上色。

IP-Adapter:实现简单的图像风格迁移

IP-Adapter提供了一种风格迁移的新方式:通过上传样式参考图,将其整体风格和特征应用到另一张生成图上,无需复杂的训练或提取。这为创作提供了巨大的便利。

◇基本用法

IP Adapter的基本用法非常简单:

1. 上传想要参考的原图片

2. 在ControlNet界面选择IP Adapter;

1. 设置其他提示词等其他参数,生成图像。生成的新图像会是原图的变体。

生成图会整合prompt中的主要内容信息,识别原图的语义，并迁移参考图的色彩、光影、氛围等风格特征，生成类似的变体图片。

◇保留内容细节的技巧

有时我们希望主要元素不变,仅迁移风格氛围。这时可以额外添加Segmentation控制:

1. 先用主内容图作为Segmentation的输入;

2. 然后再添加IP-Adapter,输入风格参考图;

3. 生成效果图。

这种方法可以最大程度保留主内容图的元素细节,仅迁移风格。比如人物不变,仅迁移场景的色调、光影等。

◇IP Adapter开启无限创意

IP Adapter为艺术创作打开了新的大门,我们可以尽情发挥创意,输入各种风格参考,创作出独特的图像。再配合prompt和其他ControlNet控制,就能实现超乎想象的效果。

以上两个ControlNet均有SD1.5和XL版本。