- TripoAI(VAST AI Research)正式开源 TripoSplat,单张 2D 图片直接生成高质量 3D 高斯点云,最高支持 262,144 个高斯点,输出 .ply / .splat 格式
- 论文被 SIGGRAPH 2026 收录,核心创新包括密度采样高斯函数(DeG)和 VecSeq 扩散框架两项技术
- DeG 通过可学习的八叉树密度函数采样高斯中心,替代传统固定网格,实现自适应密度控制——复杂区域自动增多高斯点,简单区域减少
- VecSeq 利用 Sobol 序列重索引解决无序集合数据的扩散训练难题,将集合生成转化为序列建模,显著提升训练稳定性
- 项目以 MIT 协议完整开源,推理代码仅约 2,000 行(两个核心文件),零复杂依赖,支持 ComfyUI 工作流
TripoSplat 是什么:单图秒变3D高斯点云
TripoSplat 是由 TripoAI(VAST AI Research)团队开发的 3D 生成模型,核心任务极其直接——
输入一张 2D 图片,输出一个 3D 高斯点云文件。输出格式为标准 .ply 或 .splat,可在 SuperSplat、SparkJS 等主流 3D 高斯查看器中直接预览。
与传统的单图转 3D 方法不同,TripoSplat 生成的不是网格模型或 NeRF 隐式场,而是 3D 高斯分布(3D Gaussian Splatting)——一种在实时渲染和资产制作中越来越主流的 3D 表示方式。单个潜码编码下,通过调整采样预算即可生成不同精细度的模型,最高可输出 262,144 个高斯点。
该项目的 GitHub 仓库仅包含两个核心 Python 文件(triposplat.py 和 model.py),总计约 2,000 行代码,不依赖 transformers、diffusers 等重型库,对二次开发和集成极为友好。
两项核心技术:DeG 与 VecSeq
TripoSplat 的技术论文「Generative 3D Gaussians with Learned Density Control」提出两项关键架构创新,解决了此前 3D 高斯生成领域的两大瓶颈。
密度采样高斯函数(DeG):传统 3D 高斯泼溅方法将高斯中心固定在规则网格或阵列上,缺乏空间自适应性。DeG 将高斯中心定义为从一个可学习的八叉树概率密度函数中采样,模型在训练过程中会通过渲染监督信号,自动在几何复杂的区域分配更多高斯点,在平坦或简单区域减少点数。这一机制通过全新的渲染损失梯度实现完全可微分,替代了此前必须依赖离散化稠密化和剪枝启发式规则的操作,从数学框架上一次性解决了自适应密度控制问题。
VecSeq 扩散框架:3D 高斯点云本质上是一组无序集合数据,直接应用扩散模型面临严重的收敛困难。VecSeq 引入基于 Sobol 序列的规范重索引机制,为每个无序的高斯潜码分配一个确定性的 3D 空间索引,将集合生成问题转化为有序序列建模任务。这一设计大幅加速了收敛速度,使生成质量和稳定性达到与网格基方法相当的水平。
根据论文在 arXiv(2605.16355)上的报告,该方法在单图像转 3D 任务上达到了 SOTA(State-of-the-Art)水平。
适用场景与效果边界
从 TripoSplat 官方展示的示例来看,模型在以下类型物体上表现尤为突出:
这些物体的共同特征是几何结构清晰、表面细节可控。对于简单物体,TripoSplat 生成的高斯点云在视觉质量和几何精度上已达到可以直接用于资产制作的程度。
当前局限:人物和角色的人脸区域会出现明显模糊,细节严重丢失。这一问题在官方 README 和论文中未重点提及,但属于单图 3D 生成模型的普遍局限——由于缺乏专用人脸先验,模型对生物特征(尤其是面部结构)的还原能力有限。目前更适合非生物、结构清晰的物体。
快速上手:MIT 开源的零负担部署
TripoSplat 以 MIT 协议完整开源,包含推理代码和预训练权重,部署流程极简:
| |
|---|
| github.com/VAST-AI-Research/TripoSplat |
| huggingface.co/VAST-AI/TripoSplat |
| huggingface.co/spaces/VAST-AI/TripoSplat |
| arxiv.org/abs/2605.16355(SIGGRAPH 2026) |
安装只需 pip 安装 numpy、safetensors、pillow、tqdm 四个依赖,配合 PyTorch 环境即可运行。预训练权重通过 Hugging Face CLI 或 huggingface_hub 下载到本地 ckpts/ 目录后,运行 python run_example.py 即可完成单图推理。如需交互界面,python run_gradio.py 可启动本地 Gradio 演示页面。
对于 ComfyUI 用户,官方已提供工作流模板,直接拖入即可使用。
输出文件可用 SuperSplat(superspl.at/editor)或 SparkJS(sparkjs.dev)在线查看。
在 3D 生成生态中的定位
TripoSplat 是 TripoAI 在 3D 生成领域的一次重要开源动作。作为 VAST AI Research 的研究团队出品,该项目指向一条清晰的路径:用可微分的密度控制替代经验性的离散操作,让 3D 高斯生成从手工规则走向端到端学习。
对于游戏开发者、AR/VR 应用构建者、电商 3D 展示和仿真环境开发者而言,TripoSplat 提供了一个可自由部署、可二次开发的基础模型,无需依赖在线 API,也无商业协议限制(MIT 协议)。对于研究和教育用途,其约 2,000 行的核心代码量也使其成为学习 3D 高斯生成技术的极佳参考实现。
项目地址:github.com/VAST-AI-Research/TripoSplat