核心看点
- Lyra 2.0 是英伟达空间智能实验室发布的开源 3D 世界生成模型
- 基于 Wan 2.1-14B 视频扩散模型,可将单张图像转为可穿行、可回头观看的 3D 世界
- 支持输出 3D Gaussian Splatting (3DGS) 与 Mesh 资产
- 可直接导入 Isaac Sim 用于机器人仿真训练
- 通过几何帧检索和自增广历史训练解决空间遗忘与时间漂移问题
- 模型与 UI 代码已在 Hugging Face 和 GitHub 开放,采用 NVIDIA Open Model License
一、Lyra 2.0 是什么?
Lyra 2.0 是英伟达空间智能实验室(NVIDIA Spatial Intelligence Lab)最新发布的开源 3D 世界生成框架。它代表了从单张静态图像到可交互 3D 环境的技术突破。
1.1 核心定位
| |
|---|
| |
| |
| 可探索的 3D 世界 + 3DGS/Mesh 资产 |
| |
| NVIDIA Open Model License(可商用) |
1.2 与传统 3D 重建的区别
传统 3D 重建技术(如 NeRF、3D Gaussian Splatting)通常需要多视角图像作为输入,且生成的 3D 场景是静态的。Lyra 2.0 的创新在于:
- 可探索性:用户可以在生成的 3D 世界中自由移动、转身、回头观看
- 动态一致性:解决了长序列生成中的空间遗忘和时间漂移问题
- 资产导出:可直接输出标准 3D 格式(3DGS、Mesh)用于下游应用
二、核心技术原理
2.1 基于视频扩散模型的 3D 生成
Lyra 2.0 的核心是 Wan 2.1-14B,这是一个大规模视频扩散模型。英伟达团队通过以下方式将其适配到 3D 世界生成任务:
2.2 解决两大核心难题
空间遗忘(Spatial Forgetting)
在长序列 3D 场景生成中,模型往往会"忘记"之前生成的场景内容,导致:
Lyra 的解决方案:几何帧检索(Geometric Frame Retrieval)
通过维护一个几何帧缓冲区,在生成新视角时检索并参考历史帧的几何信息,确保空间一致性。
时间漂移(Temporal Drift)
在持续探索过程中,误差会随时间累积,导致:
Lyra 的解决方案:自增广历史训练(Self-Augmented History Training)
在训练阶段引入自增广机制,模拟长序列探索过程,让模型学会在生成过程中自我校正。
2.3 技术架构亮点
三、应用场景与落地价值
3.1 机器人仿真训练
Lyra 2.0 生成的 3D 世界可直接导入 NVIDIA Isaac Sim —— 英伟达的机器人仿真平台。
价值体现:
- 低成本场景构建:无需人工建模,单张图片即可生成训练环境
- 物理一致性:生成的 3D 资产具有合理的几何结构,支持物理仿真
典型应用:
3.2 游戏与虚拟现实
- 快速原型:游戏开发者可从概念图快速生成可探索的 3D 场景
- VR 体验:生成的 3D 世界可直接用于虚拟现实应用
3.3 建筑与室内设计
四、开源与使用指南
4.1 获取方式
Lyra 2.0 已全面开源,可通过以下渠道获取:
4.2 许可协议
采用 NVIDIA Open Model License,主要条款:
4.3 硬件要求
4.4 快速开始
五、与同类技术对比
Lyra 2.0 的核心优势:
六、技术意义与行业影响
6.1 空间智能的新里程碑
Lyra 2.0 的发布标志着**空间智能(Spatial Intelligence)**领域的重要进展。李飞飞等学者提出的空间智能概念强调 AI 对 3D 空间的理解和推理能力,Lyra 2.0 正是这一方向的具体实现。
6.2 对机器人行业的影响
- 降低仿真门槛:无需专业建模团队,单张图片即可构建训练环境
- 提升数据多样性:可从任意图像生成训练场景,解决数据稀缺问题
- 加速 Sim2Real:更真实的仿真环境有助于缩小仿真与现实的差距
6.3 对内容创作的影响
- 3D 内容民主化:非专业人士也能从照片生成 3D 场景
- 新的创作范式:"先拍摄/绘制,再生成 3D 世界"
七、局限性与未来展望
7.1 当前局限
| |
|---|
| 需要高端 NVIDIA GPU,消费级显卡难以运行 |
| |
| |
| |
7.2 未来方向
八、FAQ
Q1: Lyra 2.0 与 NeRF、3D Gaussian Splatting 有什么关系?
Lyra 2.0 使用 3D Gaussian Splatting 作为输出格式之一,但技术路线不同:
- NeRF/3DGS 传统方法:多视角图像 → 3D 表示
- Lyra 2.0:单张图像 → 视频扩散 → 可探索 3D 世界 → 3DGS/Mesh
Q2: 生成的 3D 世界可以编辑吗?
当前版本主要支持探索(在生成的世界中移动),直接编辑功能有限。建议导出为 3DGS 或 Mesh 后,使用 Blender、Unity 等工具进行编辑。
Q3: 支持非 NVIDIA GPU 吗?
官方实现基于 CUDA,需要 NVIDIA GPU。社区可能会开发其他后端的支持,但目前官方仅支持 NVIDIA。
Q4: 可以用于商业项目吗?
可以。NVIDIA Open Model License 允许商业使用,但建议仔细阅读许可条款中的具体限制。
Q5: 与 Isaac Sim 的集成如何使用?
生成的 3DGS 或 Mesh 资产可以直接导入 Isaac Sim:
- 使用 --export-format 3dgs+mesh 导出资产
- 在 Isaac Sim 中通过 File → Import 导入
九、总结与推荐
英伟达 Lyra 2.0 的发布是 3D 世界生成领域的重大突破。它将单张图像转化为可探索 3D 世界的能力,为机器人仿真、游戏开发、虚拟现实等领域开辟了新的可能性。
适合人群:
- 机器人开发者(尤其是使用 Isaac Sim 的团队)
上手建议:
- 访问 Hugging Face 体验在线 Demo
- 导出 3DGS/Mesh 资产,导入到您的下游工作流