9月20日消息,网易有道近期宣布开源实时流式语音识别模型 Confucius4-R2T2,代码与权重已上架 GitHub 和 ModelScope。模型参数规模 1.7B,基于阿里的 Qwen3-ASR 构建,核心设计是 append-only 输出:识别出的文字一经提交就不再回改。官方给出的口径是平均延迟 200 至 600 毫秒、识别精度接近离线模型,这些性能数字目前均为官方自测,尚无第三方复测;另一个边界是许可——代码采用 Apache 2.0,模型权重则适用网易自己的模型使用许可协议。
把"不回改"做成训练目标
流式语音识别有个老问题:为了低延迟,模型先给出临时识别结果,再随音频增多回头修改,实时字幕因此闪烁,下游程序拿到的文本随时可能变。对语音 Agent 来说,问题不止于观感:Agent 一旦依据某版文本执行了动作,之后文本再被改写,状态就被污染了。
R2T2(Real Real-Time Transcription 的缩写)的做法是把"不回改"前置到训练里。官方文档称,模型使用稳定前缀数据、强制时间对齐数据和 token 级音频切分构建训练集,配合一套名为最长稳定前缀(Longest Stable Prefix)的学习范式,让模型自己判断哪段前缀已经稳定、可以安全输出,哪段还需要等待更多音频。解码块长度在 80 毫秒至 2 秒之间可调,供使用者在延迟和精度之间取舍。更详细的技术报告官方称将发布,目前未提供。
作为对照,官方在评测表中给伪流式模型(临时文本可能回改)逐一加了标注,Qwen3-ASR 的一个配置、WhisperRT、AssemblyAI 和两家商业系统都在此列。
官方评测里的位置
据官方公布的评测,R2T2 在 9 个英文数据集(WER)和 5 个中文数据集(CER)上与多组模型对比,包括 Qwen3-ASR 的两个配置、X-ASR、WhisperRT、Nemotron、Voxtral 等开源模型,以及 AssemblyAI 和两家以 Commercial A、Commercial B 代称的匿名商业系统。
在 160 毫秒解码块配置下,R2T2 在官方所列的开源对照组中各数据集均领先。与闭源系统互有胜负:英文 LS-clean 上 R2T2 的 WER 为 1.67%,Commercial B 为 1.25%;Earnings22 上 R2T2 为 6.68%,Commercial B 为 8.96%。中文 CN-RealSI 上 R2T2 的 CER 为 3.34%,低于两家商业系统的 3.99% 和 3.64%。官方据此称模型在开源对照组中延迟与识别质量均达到 SOTA、与领先闭源系统可比。考虑到闭源对照匿名、评测由厂商自行执行,这组数字宜读作厂商口径而非独立结论。官方在仓库中留了评测质询通道,称愿意向被对比模型的作者公开评测细节。
接入、许可与有道的开源路径
仓库的工程配套完整:提供 vLLM 后端(另有 Hugging Face transformers 后端)、最小示例和一个可直接运行的 WebSocket 服务端,配合 FireRedVAD 做流式语音端点检测;热词和上下文提示原生支持。语言上针对中英文优化,同时支持法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语、阿拉伯语等语种。Docker 镜像直接复用 Qwen3-ASR 的官方镜像。
许可分两层:推理代码 Apache 2.0,可自由商用;模型权重适用《网易模型使用许可协议》,具体商用条款需读协议原文,不能按标准开源协议理解。README 同时留有商务联系方式,面向高并发、生产级和私有化部署需求。
R2T2 是有道"子曰 4.0"(Confucius4)系列的最新成员。该系列今年5月宣布全量开源多模态与 TTS 双引擎,6月发布语音合成模型 Confucius4-TTS,此次补上了语音识别一端。把语音栈逐个开源、在仓库里承接商业部署咨询,这条路径的意图不难读:开源版本进入开发者的技术选型,生产环境的规模化需求由商业服务承接。对做实时字幕、同传或语音 Agent 的团队来说,R2T2 提供了一个可自部署、输出行为可预期的新选项;它能否站住官方口径,要等第三方复测和技术报告落地。