GET3D(Generate Explicit Textured 3D)是由 NVIDIA 多伦多实验室(NV-TLabs)提出的显式带纹理 3D 网格生成模型,核心通过 GAN 架构从 2D 图像数据中学习,直接生成可被主流 3D 引擎直接使用的三角网格与 PBR 纹理,无需 NeRF 体数据转换。它以 “生产级显式格式” 和 “秒级生成速度” 为核心优势,是连接 AI 生成与传统 3D 工作流的关键技术,适合游戏、虚拟世界、电商等需要批量高质量 3D 资产的场景。
一、核心特点
- 显式网格原生输出:直接生成带拓扑的三角网格与高分辨率纹理(支持 2048×2048),无需 Marching Cubes 等转模步骤。
- 双分支生成架构:几何分支基于 DMTet 从 SDF 提取复杂拓扑网格;纹理分支采用 TriPlane 三平面表示,生成多视角一致的 PBR 纹理。
- GAN 驱动高速生成:训练后单 GPU 每秒可生成约 20 个形状,推理速度远超 NeRF 类优化方法。
- 多模态输入支持:支持随机采样、类别条件生成,可结合文本编码器实现文生 3D,或通过 2D 图像进行风格 / 结构引导。
- 工业级兼容性:输出标准 OBJ/FBX + 纹理贴图,直接对接 Unity、Unreal、Blender 等工具,无需重拓扑。
- 复杂拓扑建模:支持车辆、家具、人物、建筑等不同拓扑结构的模型生成,几何细节丰富。
二、主要优点
- 生产就绪:输出显式网格 + 纹理,跳过 NeRF 转模的后处理环节,直接进入美术精修或引擎集成。
- 速度极快:推理秒级完成,适合批量生成海量 3D 资产(如游戏道具库、虚拟城市组件)。
- 资源效率高:相比 NeRF 类方法,对推理硬件要求更低,普通高端消费级 GPU 即可流畅运行。
- 纹理保真度强:TriPlane 表示确保多视角纹理一致性,支持 PBR 材质属性,渲染效果符合工业标准。
- 开源可定制:官方提供代码仓库,支持替换判别器、调整生成类别、微调纹理风格,适合二次开发。
- 无标注依赖:仅需 2D 图像数据集即可训练,降低 3D 数据采集与标注成本。
三、主要缺点
- 可控性较弱:文本 / 图像对模型结构、比例、部件的精确控制能力有限,复杂机械结构易出现畸变。
- 类别依赖训练:生成能力受限于训练数据集,跨类别生成效果下降,需针对特定领域微调。
- 动态与骨骼缺失:专注静态 3D 模型生成,无原生动画绑定能力,需额外手动或通过 Plask 等工具添加动画。
- 光照建模基础:虽支持 PBR 纹理,但原生缺乏复杂光照环境的学习,重光照效果弱于 NeRF 类方法。
- 上手门槛较高:无官方 SaaS 平台,需本地部署代码、配置环境并进行模型推理,对技术人员有一定要求。
- 风格化支持有限:相比扩散模型,GAN 架构在风格化、创意化生成上的灵活性不足。
四、使用场景
- 游戏开发:批量生成道具、场景组件、NPC 基础模型,快速填充游戏世界,降低美术制作成本。
- 虚拟世界 / 元宇宙:生成建筑、家具、植被等海量环境资产,加速虚拟空间搭建。
- 电商 3D 展示:快速将 2D 商品图转为 3D 模型,用于商品 360° 展示、AR 试穿 / 试用。
- 建筑可视化:生成建筑外立面、室内家具组合,辅助方案快速迭代与客户演示。
- AI 工具二次开发:企业基于 GET3D 搭建自动化 3D 资产生成流水线,适配特定业务需求。
- 影视预演:生成场景道具与基础角色,用于分镜预演与低成本可视化。
五、实际应用
- 游戏道具库建设:输入 “科幻风格武器” 类别条件,批量生成数十种带纹理的 3D 武器模型,直接导入 Unity 进行平衡调整。
- 电商商品 3D 化:上传手机 2D 宣传图,GET3D 生成带材质的 3D 手机模型,用于电商平台的 3D 互动展示。
- 虚拟城市生成:基于建筑图像数据集,生成不同风格的建筑网格,快速构建虚拟城市街区。
- 角色基础模型生成:生成带拓扑的人体基础网格与纹理,美术人员在此基础上进行细节雕刻与服装绑定。
六、使用流程(开源部署版)
- 环境配置:安装 CUDA、PyTorch、PyTorch3D 等依赖,配置 GPU 环境(建议≥16GB 显存,推荐 RTX 3090/4090 或 A100)。
- 代码获取:从 GitHub 克隆 NV-TLabs 的 GET3D 仓库(https://github.com/nv-tlabs/get3d),下载预训练权重。
- 参数设置:编写配置文件,指定生成类别、网格分辨率、纹理尺寸、随机种子等参数。
- 模型推理:运行推理脚本,通过随机采样或条件输入生成 3D 网格与纹理贴图。
- 轻量后处理:在 Blender 中检查拓扑、修复少量三角面、优化 UV,无需大规模重拓扑。
- 引擎集成:将 OBJ/FBX 模型与纹理导入 Unity/Unreal,添加碰撞体、材质实例,完成最终集成。
七、官方与资源
- 项目主页:https://nv-tlabs.github.io/GET3D/(含论文、示例、技术文档)
- 代码仓库:https://github.com/nv-tlabs/get3d(开源实现,支持预训练权重下载)
- 核心能力:显式带纹理 3D 网格生成、类别条件生成、文生 3D(需额外集成文本编码器)
- 输出格式:OBJ/PLY(网格)、PNG/EXR(纹理贴图,支持漫反射、法线、粗糙度)
- 兼容软件:Blender、Maya、Unity、Unreal Engine、Substance Painter
- 运行环境:Linux/Windows(WSL2),需 CUDA 支持的 GPU(≥16GB 显存)
- 价格:开源免费(遵循 NVIDIA 开源协议,商业使用需遵守 LICENSE 条款)
- 适合:3D 美术团队、游戏开发者、虚拟世界搭建者、AI 技术落地团队、科研人员
主打 AI + 人工精修 的 2D 转 3D 模型 生产平台,核心是从单张 / 多张图片生成游戏 / 生产级 3D 资产,速度比传统建模快 10 倍,适合游戏、电商、产品设计、影视团队快速批量产出 3D 模型kaedim.com。