只需一张图片,或者简单的一段描述,就能生成高质量的 3D 模型!微软近日发布了全新的 AI 模型 TRELLIS,通过其强大的生成能力和多样化的输出形式,为 3D 设计、游戏开发和虚拟现实等领域提供了全新的创作方式。
TRELLIS 的独特之处在于,它不仅可以从图像或文本生成丰富细节的 3D 模型,还支持灵活的局部编辑和格式转换,让创作者能快速从灵感到成品,实现高效创作。
TRELLIS 的核心能力
1. 高质量生成
TRELLIS 能生成复杂几何形状和精细纹理的 3D 模型,效果远超现有技术。模型还支持多种 3D 表现形式(如辐射场、3D 高斯和网格模型),应用场景更广泛。
2. 多输入方式
TRELLIS 支持两种主要输入方式:
图像到 3D:上传一张图片,系统会自动生成对应的 3D 模型,例如通过一张简单的房屋图片生成一个完整的 3D 场景。
文本到 3D:输入一句描述,比如“木质纹理的茶壶”,TRELLIS 会生成符合描述的 3D 物体。
3. 灵活的编辑能力
TRELLIS 提供局部编辑功能,允许用户调整模型的颜色、纹理等细节,还可以生成多个变体,极大提高了创作的灵活性。
4. 输出形式多样
TRELLIS 支持多种 3D 表现形式,适配不同的需求:
辐射场(Radiance Fields):适合生成复杂光影效果。
3D 高斯(3D Gaussians):用于快速预览。
网格模型(Meshes):工业级应用或游戏引擎兼容性极强。
快速上手 TRELLIS
微软为 TRELLIS 提供了一个基于 Hugging Face Spaces 的在线 Demo,用户无需任何复杂配置,只需访问网页即可体验其强大的 3D 模型生成功能。以下是简单的使用步骤:
1. 访问 Hugging Face Demo
直接访问 Hugging Face 上的 TRELLIS Demo 页面:
👉 TRELLIS Demo
2. 上传图片
在界面左上角的 Image Prompt 区域,点击上传一张图片:
如果图片包含透明通道(alpha channel),系统会自动将透明区域作为掩模。
如果没有透明通道,系统会默认使用背景去除工具(rembg)处理图像。
3. 点击“Generate”
上传图片后,点击 Generate 按钮,系统会开始生成对应的 3D 模型。生成过程通常只需几秒钟,右侧会显示生成的 3D 模型预览。
4. 检查和调整设置
在生成前,你可以通过 Generation Settings 区域调整参数,比如分辨率或模型细节,以满足个性化需求。
5. 导出 3D 模型
如果对生成的模型满意,可以点击 Extract GLB 按钮,将模型导出为标准的 GLB 格式文件。文件会显示在右下角的 Extracted GLB 区域,点击即可下载。
TRELLIS 的实际应用场景
TRELLIS 的功能和特性使其适用于多个领域:
1. 游戏开发
开发者可以通过 TRELLIS 快速生成高质量的游戏场景或素材,从草图到完整 3D 模型,显著提升效率。
2. 3D 艺术创作
设计师可以将手绘草图或简单描述转化为高精度模型,同时能够快速调整细节,满足不同创作需求。
3. 虚拟现实与增强现实
TRELLIS 能为 VR/AR 应用快速生成虚拟场景或交互对象,助力沉浸式体验的开发。
4. AI 训练环境
TRELLIS 还能为人工智能打造虚拟训练场景,帮助 AI 学习复杂任务,例如机器人操作、自动驾驶模拟等。
未来计划
目前,微软已发布了 图像到 3D 的大模型(TRELLIS-image-large),未来还将推出更多 文本到 3D 的模型,包括:
TRELLIS-text-base(基础文本到 3D 模型)
TRELLIS-text-large(大型文本到 3D 模型)
TRELLIS-text-xlarge(超大文本到 3D 模型)
微软计划开源完整的训练代码和数据集,为开发者提供更多支持。
微软研究团队表示,TRELLIS 的推出是实现“通用 3D 世界生成”目标的重要一步。它不仅能显著提升 3D 内容创作的效率,也为游戏开发、虚拟现实和 AI 训练等领域带来更多可能。
未来,TRELLIS 或将进一步推动 3D 生成技术的发展,成为创作者和开发者的核心工具之一。如果你对 TRELLIS 感兴趣,可以访问其 项目主页 或 Hugging Face Demo 了解更多。