如果你觉得AI出图太麻烦，每次要进行多次地微调，或者进行局部重绘，那你一定要看看下面的内容：
来自马克斯·普朗克计算机科学研究所、MIT CSAIL和Google的研究员，研究了一种新的GAN控制方法DragGAN。它利用生成对抗网络(GAN),让用户可以直接在图像上进行拖拽调整,精确控制图片中物体的姿态、形状、表情和布局。
DragGAN提供了前所未有的精度和灵活性,可以操控人类、动物、汽车、风景等各种类别的图像。DragGAN解决了AI生图不可控的难题,通过拖拽动作确定生成图像的起点和终点,再根据对象的物理结构,在精细尺度上,用GAN生成符合逻辑的图像。
该模型预计6月就会开源啦！
GAN是什么？
GAN的全称是Generative adversarial network，中文翻译过来就是生成对抗网络。
1.GAN是一种深度学习模型，由两个神经网络组成：生成器和判别器。生成器的作用是生成数据，而判别器的作用是判断数据是否真实。这两个网络相互对抗，不断调整自己的参数，最终生成出逼真的数据
2. DragGAN让用户可以在图片上选择任意数量的“手柄点”和对应的“目标点”。通过移动手柄点达到目标,用户可以控制图片的空间属性,不受对象类别限制。
3. DragGAN的效果类似Photoshop的“扭曲变形”工具,但更强大,因为它不是简单“挤压像素”,而是“重新生成物体”,甚至可以转换三维图片。 实例案例:用户可以将毕加索的画作《可爱的女孩》中女孩的手臂向上拖动,改变其姿态;可以将一张正脸图片转换为侧脸图片,甚至将人脸旋转90度。
4. 通过DragGAN,用户可以随意拖动图片中的任何一点,改变单个像素的组织和存在,并利用AI生成全新的像素,产生定制的视觉效果。
5. DragGAN的输出效果非常真实自然,没有明显的失真、闭塞或形变。它在图像处理和点跟踪上都胜过以往的方法。
6. 未来,DragGAN甚至可以通过GAN反转,直接操作真实图片。这将彻底改变我们对图片编辑的认知。
DragGAN技术应用范围
DragGAN技术的应用范围十分广泛,包括但不限于图片生成、修复、超分辨率、风格转换、视频生成等。
这项新技术正重塑着图像编辑领域,例如:
1.历史图片修复:可以修复老照片中的破损、折痕和失真,甚至可以为黑白照片添加颜色
2.影视后期:可以通过DragGAN轻松修改和调整影视作品中的场景、道具、角色等元素。
3.电商图片优化:可以利用DragGAN快速生成电商商品的多角度效果图和模型效果图。
4.虚拟试衣:DragGAN可以通过拖拽手势快速生成不同造型和着装的虚拟人像,实现在线虚拟试衣的体验。
5.图像编辑软件:PS等图像编辑工具可集成DragGAN技术,提供更加智能和自然的图像编辑功能。
传说中的”让大象转过来“可以实现啦！
https://github.com/XingangPan/DragGAN
