8月5日消息,字节跳动 Seed 团队发布原生音视频全双工大模型 SeedRealtime。该模型用统一架构原生融合音频、视频与文本,能在连续的多模态信息流上实时交互,官方将其概括为「边看、边听、边说」。目前 SeedRealtime 已在豆包 App 全量上线,用户更新 App 后在对话框选择「打电话」即可进入视频通话界面体验。 从级联到全双工:统一架构解决了什么
音视频实时交互此前卡在两种形态之间。级联系统依赖 ASR、VLM、TTS 等多个模块串联,延迟层层叠加、信息逐级损耗;端到端模型虽然更流畅,但不少方案仍依赖外置 VAD 判断轮次,本质上接近一问一答的半双工交互。
SeedRealtime 的核心是把声音、画面、时序与表达统一进同一个端到端模型:不是先听完、再看完、最后作答,而是在连续音视频流上让感知、理解、决策与表达同步进行。官方描述的难点有两处。一是对话节奏:语音天然带停顿可以判断接话时机,视频却始终在线变化,模型要持续判断该关注什么、该听谁说话、此刻是否该回应,又不能被背景噪声频繁触发。二是音视频联合建模与时序对齐:用户说「这个怎么弄」时,模型要结合当前画面、手势、视线与历史动作判断「这个」指什么;遇到同音词或模糊语音,也要借助视觉场景消歧。
官方把能力拆成三项突破:音视频联合理解(声音、画面与时序信息深度融合)、主动交互(察觉画面状态变化时主动提醒,并能调用工具融入表达)、流畅交互节奏(感知对话状态,在适当时机接话、停顿与回应,抗干扰)。
官方评测:对话节奏问题减少一半
官方给出端到端人工评测结果:相比级联模型,SeedRealtime 的音视频对话节奏问题减少了一半,「话未说完被抢断、话音已落却回应迟缓、被背景杂音与闲聊误触发」等卡壳现象显著减少,单次对话完整顺畅交流的概率也有提升。以上为官方评测口径,独立第三方复测尚未公开。
豆包 App 全量上线
上线方式是直接进产品:SeedRealtime 已在豆包 App 全量开放,官方称这是业界率先实现音视频全双工技术的规模化落地。项目主页显示,SeedRealtime 与 Seed2.1、Seedance 2.5、Seedream 5.0 Pro、Seed Audio 1.0、Seed GR-RL 并列在 Seed 模型成果矩阵中。字节的 Seed 系列已覆盖语言、视频、图像、音频与实时交互,「全模态」是其明确的方向。
场景里的交互形态
官方发布材料用 7 个案例展示真实场景,其中有三个能看出与旧交互的差别。
多人嘈杂环境下的身份与语音对齐:聚餐时用户逐一介绍在场者,模型根据外形特征把名字和人对应起来,后续对话中持续分辨每句话出自谁,再综合各人需求给旅行方案。这里的变化是「认人、辨声、听懂需求」在同一场对话里由一个模型实时完成,不需要把视觉信息先转成文字。
主动介入而非等待提问:用户交代「看到错金银铜虎噬鹿屏座就提醒我」,模型在镜头移动中持续留意画面,扫过展品时主动出声,随后结合画面讲解其他展品;操作咖啡机时,它观察到整粒咖啡豆被直接倒进萃取手柄,主动纠正,萃取后基于油脂成色给出缩短萃取时间的建议。
干扰中判断接话时机:机场嘈杂环境下,同伴闲聊提到「老李的航班」,模型没有误触发;用户正式问起时,即便航班信息已移出画面,它仍结合此前看到的大屏信息回答,扫到网约车指示牌时自然接话给出路线指引。
全双工交互进入国民级产品
SeedRealtime 的意义在产品形态:音视频全双工对话不再停留在演示与 API,而是直接长在豆包这个高频入口里。对用户来说,这可能是第一次在日常 App 里用到「边看、边听、边说」的实时交互;对字节来说,豆包承担了前沿交互模型的规模化试验场,官方「率先规模化落地」的表述也指向这一点。对 OpenAI GPT Live 等已有的实时语音产品,这是一份来自字节的直接对标。