UltraPixel是一个专注于超高分辨率图像合成的绘画模型,由华为研究人员开发。该模型可解决当前AI图像生成中的分辨率瓶颈,为用户提供更高质量、更大尺寸的图像生成能力。UltraPixel支持文本引导、个性化和ControlNet图像生成,在GitHub上完全开源。实测显示,其在效果、自然感和细节表现上都有出色表现。
具有直出4096x4096分辨率高清图的能力,不过需要更大显存的显卡,出图速度也慢一些。
UltraPixel的主要特点包括:
超高分辨率:能够生成1K到6K分辨率的图像,远超当前主流模型的能力。
级联扩散模型:采用cascade diffusion models作为基础架构,确保高分辨率输出的质量。
两阶段生成策略:先生成低分辨率图像,再利用其特征指导高分辨率图像生成,有效解决了直接扩展可能导致的分辨率不一致问题。
多功能性:支持文本引导的图像生成、个性化图像生成以及基于ControlNet的图像生成,满足多样化的应用需求。
目前代码已开源,如果您想要尝试或研究UltraPixel,可以通过以下方式获取:
访问GitHub仓库:https://github.com/catcathh/UltraPixel
在该仓库中,您可以找到完整的源代码、安装指南、使用说明以及预训练模型的下载链接。
预训练模型可以从仓库README文件中提供的链接下载,包括StableCascade的基础模型和UltraPixel的新增参数。
项目还提供了详细的环境配置要求和硬件推荐,以确保您能够顺利运行模型。
根据项目提供的数据和用户反馈,UltraPixel的性能表现为:
在80GB A100 GPU上:
2048x2048分辨率:总耗时约17秒
4096x4096分辨率:总耗时约80秒(使用tiled模式可节省内存)
在32GB V100 GPU上:
2048x2048分辨率:总耗时约107秒
4096x4096分辨率:需使用tiled模式,总耗时约764秒
在24GB RTX4090上:
2048x2048分辨率:总耗时约106秒
4096x4096分辨率:使用tiled模式,总耗时约311秒
UltraPixel在效果、自然感和细节表现上都相当出色。尽管生成超高分辨率图像需要一定时间,但图像质量和显存需求的平衡被认为是合理的。感兴趣的快去下载吧!