9月15日消息，生数科技近日发布新一代实时视频模型 Vidu S2，包含实时交互数字人模型 Vidu S2-Avatar 和实时视频编辑模型 Vidu S2-Editing，官网体验入口与开发者 API 同步开放。配套技术论文《Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation》稍早于 9月10日 挂上 arXiv。
这是 Vidu S 系列时隔约两个月的迭代。上一代 S1 把实时视频生成做成 540p、最高 42 FPS 的可对话数字人，S2 把分辨率提到 720p，并把能力范围从"数字人对话"扩展到"视频流实时编辑"。论文报告的效果对比由作者团队自测，目前没有第三方实测；空间视频在论文里的表述是"可行性探索"，不是一项对外售卖的产品功能。
从可对话到可执导：数字人升 720p，视频流边播边改
S2-Avatar 的实时生成从 S1 的 540p 提升到 720p，帧率保持 25 至 42 FPS。（官方产品页问答的口径是"从 480P 升级为支持 720P"，与论文的 540p 略有出入。）对话支持打断，模型具备双向感知，从语音输入到画面渲染全链路实时。语音可以指挥复杂动作，论文举的例子是跳舞，这类大幅全身动作在 S1 上难以跟随。训练侧，团队往数据里加入独舞视频和 2D、3D 动画，并用人类偏好强化学习改善动作自然度与指令遵循。
对话中途可以插入参考图：让数字人换上参考图里的衣服，拿起图中指定物品做介绍，或把背景切换成参考图的场景。在 S1 里，定义角色的参考图一旦开播便无法更换。官方产品页把这个能力对准了直播带货，演示画面是数字人在直播过程中接收参考图、拿起商品讲解。
不需要实时互动的场景，S2 保留异步模式：一张角色图加一段音频，生成口型与动作对齐的数字人视频。
S2-Editing 是这条产品线上新出现的模型。它对输入视频流（摄像头、视频文件或图片）做持续实时编辑，覆盖四类操作：风格渲染（例如真人画面转二次元）、虚拟换装、角色替换、背景替换。核心设计是帧对齐注意力：每个目标帧读取的源帧限于同一时刻，编辑结果保持原视频的运动与时间轴；参考图对所有帧可见，让新外观贯穿整段视频。编辑中途更换参考图或切换场景，流不中断。
实时流式生成的工程难题集中在误差累积，画面会随着时间漂移、崩坏。论文的解法叫 Self-Replay Forcing（SRF）：模型把自回归生成的整段轨迹重新加噪，再做一次可微回放，让后段的损失回传到前段。720p 的成本由一步式超分 Refiner 控制：骨干网络在低分辨率快速运行，Refiner 在潜空间单步把画面升到 720p。推理栈扩展自团队此前的 TurboDiffusion 与 TurboServe，包含高效注意力、低比特 GEMM 和多 GPU 流水，面向低成本 GPU 的实时推理。
空间视频：论文里的可行性探索
论文用单独一节探索了实时空间视频：把数字人或编辑后的单目视频流转成左右眼同步的立体画面，或直接编辑已有的立体输入，面向 VR 头显观看。论文对这一节的措辞是"探索可行性"（explore the feasibility）。官方产品页没有单独的空间视频入口，读者目前能用到的是 Avatar 与 Editing 两项。
怎么用上：网页可试，API 按秒计费
网页体验入口在 vidu.com/vidu-stream，国内对应 vidu.cn。 API 在开放平台上线，文档把产品分成四个版本。Avatar 实时版由 Vidu 提供从语音识别、大模型、语音合成到 RTC 传输的全链路，定价 1.5 credits/秒；已有自建语音管线的团队可以选 Avatar 组件版，Vidu 的角色限于数字人渲染和推流，1 credit/秒；离线版按"一张图加一段音频"异步生成 MP4 文件，1 credit/秒；编辑版对应实时视频流编辑，同为 1 credit/秒。文档列出的典型客户包括社交陪伴、电商导购、在线教育和游戏 NPC。credits 与人民币的换算关系，官方文档没有披露。
效果数字目前全部来自论文自报
论文报告，S2-Avatar 在公开数字人基准上与 PixVerse R1、HappyOyster、OmniForcing、Odyssey-2 等十余个系统做了对比，内部按时长分层的对比覆盖 Vidu S1、Runway、HeyGen 和 PixVerse。S2-Editing 在公开编辑基准上对比了 Bernini-R、Kiwi-Edit、VACE、Decart-Lucy2.5 等系统，论文报告的 Joint Overall 得分为 4.26，比得分最高的离线基线 Bernini-R 14B 高 0.34。人工偏好环节采用 20 名受训评估员的随机化成对比较，分好、平、差三档。论文的总结论是在这些评测中优于全部基线。
这组数字有一个共同点：评测由作者团队自己组织。关于 Vidu S2 的公开报道，目前能找到的是一条自媒体快讯，没有第三方实测数据。
核实过的事实摆在一起，能看出这条产品线的走法。S1 验证了"可对话数字人"可以产品化，S2 在同一个底座上加出"可执导"和"可编辑"，并把价格按秒标在文档里。换装、拿起商品介绍这类设计，加上官方列出的电商导购场景，对准的是直播与陪伴类实时业务。做这类产品的开发者，今天可以接入测试。但"优于 Runway、HeyGen"是论文口径，真实体验要等更多用户实测；空间视频离产品化有一段距离。
AI 速览
