跳到主要内容

新人见面礼首单立减 · 终身会员专享特惠进行中

立即查看
发现开通会员

微软开源的TRELLIS图片转3D模型,文本图像都能生成辐射场、3D高斯和网格

AI 总结

微软开源的 TRELLIS,输入一张图片或一段文字就能生成 3D 模型,输出可选辐射场、3D 高斯或网格。基于 50 万物体数据集预训练,最大 20 亿参数,支持对生成资产做局部编辑或生成变体,登录后能看到 GitHub 仓库、Hugging Face 演示和官网

TRELLIS 是微软开源的一个 3D 资产生成模型,输入一张图片或一段文字,就能生成带形状和纹理细节的 3D 资产。它支持多种输出格式,辐射场、3D 高斯和网格都可以,生成之后还能直接编辑

TRELLIS 是什么

TRELLIS 是一个大型 3D 资产生成模型,接收文本或图像提示,生成不同格式的高质量 3D 资产

它的基础是一套统一的结构化潜在表示(SLAT),同一份结果可以解码成不同格式;主干网络采用针对 SLAT 设计的 Rectified Flow Transformers

预训练用的是一个包含 50 万个不同对象的大型 3D 资产数据集,模型参数量最大到 20 亿。按官方说法,它的效果明显超过现有方法,包括近期同类规模的做法

主要功能

  • 高品质:能生成形状复杂、纹理细节丰富的 3D 资产
  • 多功能性:接受文本或图像提示,输出辐射场、3D 高斯和网格等多种 3D 表示,满足不同的下游要求
  • 灵活编辑:可以对生成的 3D 资产做编辑,比如生成同一对象的不同变体,或者只改其中一个局部
TRELLIS 图片生成 3D 模型效果

三种输出格式

辐射场、3D 高斯和网格对应不同的使用场景。网格是比较通用的 3D 文件形式,导进 Blender、Unity 这类软件里继续编辑比较方便;辐射场和 3D 高斯更适合做渲染和展示,画面细节留得住

选哪种格式看后面要拿它做什么,模型本身允许在生成时切换

TRELLIS 生成结果示例

怎么用上

代码在 GitHub 上开源,Hugging Face 上还有官方搭好的在线演示。不想折腾环境的话,直接在演示页面上传一张图片试效果最省事

想在本地跑,代码仓库里有安装和推理的说明。模型参数量不小,跑起来对显卡有一定要求

项目主页、代码仓库和在线演示入口都整理在本页,登录后可以查看

会员专属 · 隐藏内容

本文隐藏内容

开通会员,畅看全站创业项目与实操拆解

登录即代表同意《用户协议》

本文隐藏内容

已解锁
正在确认隐藏内容

猜你想看

查看更多