4月23日消息,字节跳动 Seed 团队发布新一代 3D 生成大模型 Seed3D 2.0。这是继 2025 年 10 月 Seed3D 1.0 之后的跨代升级,核心改进集中在几何精度、PBR 材质质量和下游可用性三个方向。在 60 位具备 3D 建模经验的打分员、约 200 个测试用例的两两盲评中,Seed3D 2.0 在几何生成任务上对六个主流模型均取得更高偏好率,纹理生成任务的偏好率达到 69% 以上。技术报告已公开,API 同步上线火山方舟体验中心。
几何生成:两阶段 DiT 拆"整体"与"细节",边缘软化问题获解
1.0 版本的瓶颈是用单一模型同时生成"整体结构"和"精细结构",结果是锐利边缘不够笔直、曲面不够精准、薄壁结构容易崩坏。2.0 改用 Coarse-to-Fine 两阶段策略,把这两件事解耦。
第一阶段用更大参数规模的 DiT 基于输入图像生成粗粒度几何,建立整体拓扑关系和空间布局。第二阶段以第一阶段输出作为几何锚点,专注锐利边缘和精细表面的细节恢复,引入两类关键先验——局部感知先验(把第一阶段粗糙结果转化为隐变量作为后续细节生成的初始化输入,避免"凭空生成"导致的不稳定)和体素化位置编码(在第一阶段生成表面采点并体素化,为模型提供空间位置约束)。
VAE 侧同步升级,通过增强局部细节表达 + 根据内容动态分配注意力,以更少 token 达到更高重建精度。官方定性对比图显示,Seed3D 2.0 在精细边缘、薄壁结构、输入图像还原三个维度上明显领先基线方法。
纹理材质:抛弃级联分解,MoE + VLM 先验双加持
1.0 版本的 PBR 流程是级联式的——先生成 RGB 多视角贴图,再分解出反照率/金属度/粗糙度。这条路径存在误差逐级累积的老问题,直接影响最终材质质量。
2.0 改用统一 PBR 生成模型,保持 MMDiT 双流架构,通过模态特定投影层在共享 DiT 层中联合建模完整 PBR 贴图集。在这个统一架构基础上有两项关键创新。
一是采用 MoE 架构。材质分解需要高分辨率才能保留细节,但直接扩大 dense 模型的参数量和分辨率计算开销过高。MoE 的稀疏专家路由可以在扩大参数量的同时控制推理计算量,结果是更丰富的纹理细节和更精确的金属-粗糙度边界。
二是引入 VLM 先验。从 RGB 图像逆向推导 PBR 材质是个病态问题——相同外观可由不同材质+光照组合产生,推理时经常出现色偏和金属性误判。2.0 让 VLM 对输入图片的材质类型和物理属性做描述,注入 DiT 作为额外控制信号。
官方给的不锈钢锅示例里,2.0 的表面反射具有粗糙度变化、带轻微使用痕迹、高光分布自然;对比的基线方法则出现材质过于均匀或整体偏暗。纹理生成盲评中,Seed3D 2.0 对"目前行业内主流模型"的偏好率达 69% 以上。官方未点名具体对比的是哪六个模型,根据 Seed3D 1.0 时期的评测组合(Tripo3D v3.0、Hyper3D-Rodin、Hunyuan3D 2.1),叠加 2026 年市场格局变化,2.0 的对标池大概率涵盖 Hunyuan3D 系列、Tripo v3.0、Rodin v2、Meshy、TRELLIS 2 等主流玩家。 下游可用性:部件级 + 关节化 + 场景组合,直指具身智能
2.0 把 3D 内容从"整块模型"拓展到"可拆分、可交互、可组合"三个维度。
部件级生成用"先理解,再生成"的两步范式。Seed3D-PartSeg 作为 3D 理解模块对完整网格做表面分割,Seed3D-PartDiT 以全局 3D 形状、分割点云、图像为输入,把分割结果补全成独立部件。椅子能被自动拆成座椅/靠背/底座,机器人能按四肢精细拆解。
关节化建模在部件分割基础上让拆出的部件具备物理连接。流程融合多模态理解与生成——先由 VLM 把部件拆分为运动学组件并识别关节类型(可旋转/固定结构等),结合几何先验估计关节轴位置;再用图生视频模型生成运动参考,优化关节运动范围;最终输出以 URDF 标准格式呈现的关节化 3D 内容,兼容 Isaac Sim 等主流物理仿真引擎。这一能力直接服务具身智能训练场景。
场景组合根据不同输入智能适配布局策略——文本输入用微调过的 LLM 做空间关系推理;多视角图片或视频输入则叠加深度估计、实例分割、遮挡修复等视觉信号来推理空间布局。获取布局后逐个生成 3D 内容再按空间关系组合。结合前述的部件级与关节化能力,最终生成的场景可直接作为支持物理交互的仿真资产。
局限:客观基准缺失,对标模型未点名
几项信息需要注意。
其一,官方公布的核心对比证据是人类主观偏好率(盲评),未披露 Chamfer Distance、F-Score、PBR 相关指标的具体数值及与各竞品的绝对分差,想做横向定量对比的团队需要自己跑测。
其二,两两盲评的"六个主流模型"未在发布材料中点名,读者只能通过 1.0 时期的评测组合推测,2.0 评测组合是否一致无法确认。
其三,模型参数量未披露(1.0 是 1.5B),推理成本、GPU 门槛、单次生成耗时需等 API 计费方案公开后才能评估。
其四,技术细节层面——两阶段 DiT 的具体参数分配、MoE 的专家数量和路由策略、VLM 的选型——均未在发布稿中给出,需等技术报告原文验证。
其五,关节化建模的 URDF 输出虽然兼容 Isaac Sim,但运动范围的准确率、跨品类泛化能力(从椅子、机器人推广到车辆、工具、植物等更复杂对象)尚缺少量化评估。
此外,场景生成目前更偏向静态室内布局或街景,对动态场景(人流、交通、交互事件)的支持范围未明确。
从"能看"到"能用":3D 生成赛道的路线分化
从 1.0 到 2.0,Seed3D 的技术路径有一条清晰主线——把 3D 生成从"能看"推到"能用"。1.0 的突破点是"单图生成高质量 3D",2.0 的突破点是把"3D 内容"拆解成可被下游任务直接消费的工程化形态——部件化、关节化、场景化。这条路径呼应的不只是游戏与影视素材生产,更直接指向具身智能和物理仿真两个对 3D 内容需求更刚性的赛道。
从行业格局看,国内 3D 生成赛道正在形成三条分化路线:腾讯 Hunyuan3D 走开源 + 社区路线,Tripo3D 走产品化 + 平台路线,字节 Seed3D 走闭源 API + 字节系产业联动路线(火山方舟接入、与具身智能业务协同)。三方的路线分化比具体分数更值得长期追踪。下一个看点是技术报告公开后的客观基准数据、火山方舟 API 的定价与调用限制,以及 Seed3D 在字节机器人和具身智能业务中的实际落地节奏。
体验入口:火山方舟体验中心 → 视觉模型 → 3D 生成 → Doubao-Seed3D-2.0