- TRELLIS.2 是微软研究院与清华大学等团队开源的 40 亿参数图像转 3D 生成模型，论文获 CVPR 2026 最佳学生论文奖（从 16,092 篇投稿中选出）。
- 输入单张图像，输出带 Base Color、Roughness、Metallic、Opacity 全套 PBR 材质的 3D 网格，可导出 GLB，支持透明与半透明材质。
- 官方 H100 实测生成耗时：512³ 约 3 秒、1024³ 约 17 秒、1536³ 约 60 秒，截至发稿无第三方复现。
- 核心创新是 O-Voxel 稀疏体素表示（处理开放表面、非流形等任意拓扑）和 SC-VAE（16 倍空间压缩）。
- 模型 2025年12月发布，权重、推理代码、训练代码与在线 Demo 全部 MIT 开源；本地运行需要 Linux 和至少 24GB 显存的 NVIDIA GPU。
- 与 Meshy、Tripo 等按次计费的闭源服务不同，TRELLIS.2 可自托管、可用自有数据微调、免费商用（MIT 主体许可）。
- 发布七个月后社区已出现 ComfyUI 自定义节点，生态二次封装正在发生。
TRELLIS.2 是什么：单张图像进去，可生产的 3D 资产出来
TRELLIS.2 做的事情用一句话说清：给它一张物体的图片，它直接生成这个物体的 3D 模型——不只是外形，还包括可以参与真实渲染的完整 PBR 材质。输出的网格资产带 Base Color、Roughness、Metallic、Opacity 四张贴图，可导出为 GLB 格式，放进游戏引擎或渲染管线就能用，透明和半透明物体（玻璃、液体、叶片）也在支持范围内。
在此之前，想从图片快速得到 3D 资产主要有两条路：找建模师手工做，周期长、单价高；或者调用 Meshy、Tripo 这类按次收费的闭源 API，成本和数据都得交给别人。TRELLIS.2 把第三条路补上了：一个可以自托管、可微调、完全免费的 MIT 开源模型，而且生成质量拿到了 CVPR 2026 最佳学生论文奖的背书。它由微软研究院、清华大学、中国科学技术大学等团队合作完成，2025年12月16日发布论文与权重，是前代 TRELLIS（约 20 亿参数、支持文本和图像双条件）的续作，这一代专注图像到 3D 链路，规模翻倍到 40 亿参数。
核心技术一：O-Voxel 让 3D 生成摆脱拓扑限制
3D 生成长期被一个表示问题卡住：主流模型大多用等值面场（比如 SDF）来描述几何，这就像用气球去包裹物体——封闭的实心物体可以包，但衣服、叶片这种开放表面没有"内外"可言，包不住；非流形结构和物体内部的封闭腔体同样处理不了，转换过程还会磨掉尖锐边缘。
O-Voxel 换了个思路，更像乐高而不是气球：它是一种"无场"（field-free）稀疏体素结构，直接在每个被占用的体素里同时记录几何和外观信息，不需要判断内外，也就不受拓扑限制。开放表面、非流形几何、内部封闭结构都能无损表示，PBR 材质参数也一并编码进去。论文数据显示，这种表示让生成资产的几何与材质质量明显超过现有模型——需要说明的是，这一结论来自论文自述，截至发稿尚无第三方基准复现。
核心技术二：16 倍压缩，把 40 亿参数压进秒级生成
表示问题解决后，下一个问题是算力：如果直接在 1024³ 的体素网格上跑生成模型，计算量无法接受。团队的解法是稀疏压缩 VAE（SC-VAE），以 16 倍的空间压缩率把资产编码进紧凑的结构化潜在空间——一个 1024³ 的资产约压缩为 9.6K 个潜在 token——然后在这个潜在空间上用 flow-matching Transformer 训练 40 亿参数的生成模型。
效率提升是全方位的。官方在 NVIDIA H100 上测得，512³ 分辨率下生成一个完整资产（形状加材质）约 3 秒，1024³ 约 17 秒，最高的 1536³ 约 60 秒。数据侧的转换同样快：网格转 O-Voxel 在单 CPU 上不到 10 秒，反向转换在 CUDA 上不到 100 毫秒。这些速度数字目前均为官方口径。可以对照的体感是：闭源同类服务生成一个资产通常需要十几秒到几十秒，且按次计费。
适用场景与效果边界：谁现在就能用，谁还要等
现在就能受益的是有 NVIDIA 显卡的内容生产团队。游戏工作室、渲染管线、AR/VR 内容方可以把 TRELLIS.2 接进资产生产线，批量把概念图转成可编辑的 3D 初稿，建模师从"从零建模"变成"修模"；电商和广告团队可以用它快速出产品 3D 预览。需要定制风格的团队可以用官方完整训练代码在自有数据集上微调，这是闭源 API 给不了的能力。
边界同样明确。硬件上，官方代码目前只在 Linux 测试，需要至少 24GB 显存的 NVIDIA GPU（A100、H100 已验证），Windows、macOS 和 AMD 显卡都不在支持范围，显存不够的个人用户只能先用 Hugging Face Spaces 的网页 Demo。许可上，仓库整体 MIT，但 nvdiffrast 和 nvdiffrec 两个 NVIDIA 依赖库是独立许可，商用前必须单独确认条款。输出上，GLB 默认按不透明模式导出，透明效果需要在 3D 软件里手动把贴图 alpha 通道接到材质输入。质量上，"3 秒生成"特指 512³ 档，且所有性能数字都是官方自测，模型在复杂多物体场景、极端视角图片下的稳定性还没有公开的大规模第三方评测。
快速上手：三条路径按需求选
只想先看看效果，打开 Hugging Face Spaces 上的 microsoft/TRELLIS.2 在线 Demo，上传一张图即可，不需要任何环境。
要本地部署，硬件先确认 Linux 加 24GB 以上显存的 NVIDIA GPU 和 CUDA 12.4。流程是克隆官方仓库（注意带 --recursive 参数拉取子模块），运行仓库自带的 setup.sh 创建 conda 环境并安装依赖，然后在 Python 里用 Trellis2ImageTo3DPipeline 从 Hugging Face 加载 microsoft/TRELLIS.2-4B 权重，调用 run 方法传入图片即可得到网格，官方示例里附带了导出 GLB 的完整后处理代码。仓库还自带 app.py，可以起一个本地网页 Demo 给团队内部用。
要做定制训练，仓库的 data_toolkit 目录提供了把原始 3D 资产预处理成 O-Voxel 格式的完整工具，train.py 支持从零训练 SC-VAE 和各阶段 flow 模型，官方配置默认基于 Objaverse-XL 数据集，也支持加载已有检查点做高分辨率微调。
生态定位：开源 3D 生成摸到了生产水准线
TRELLIS.2 的意义不止是一个新模型。图像到 3D 这个赛道此前由闭源服务主导，开源方案普遍存在拓扑受限、材质残缺、速度不可用于生产的问题，TRELLIS.2 把这三项同时补齐，又用 MIT 许可放出了从权重到训练代码的全套资产——CVPR 最佳学生论文奖认可的是 O-Voxel 这个表征方法本身，说明这不是工程堆料，而是方法层面的进展。发布七个月后，社区已经出现 ComfyUI 自定义节点，把模型嵌进可视化工作流，二次封装正在发生。
对不同的读者，现在的行动很直接：内容生产团队可以按上面的部署路径做一轮内部评测，重点测自己业务场景的典型图片；独立创作者先用网页 Demo 验证它能否覆盖自己的需求，再决定是否值得为它准备一台 24GB 显存的机器；关注 3D 生成的研究者，O-Voxel 的论文和完整训练代码是目前最值得读的开源材料。需要留意的是，官方仓库的 Roadmap 项已全部完成，后续版本节奏以微软官方仓库动态为准。
AI 速览
