小红书 FireRed 团队开源 FireRedAudio：9B 单模型打通 ASR、音频理解、TTS 与语音编辑

语音交互语音克隆与合成语音识别/交互开源模型推理优化开源工具部署本地化运行多模态生成模型架构优化中文语境理解Apache 2.0协议GitHub开源TTS服务音色克隆与合成

2026-08-27 16:55

78 浏览

0 点赞

AI 速览

小红书 FireRed 团队开源统一音频模型 FireRedAudio，一个 9B 模型同时支持 ASR、音频理解、TTS 和语音编辑，适合语音产品开发者快速集成全栈能力。核心事实 - 模型架构：基于 Qwen3.5 的 9B 自回归语言模型，理解与生成使用两套独立音频表征（12.5 Hz Audio Encoder / 6.25 Hz RedAE-Patch） - 能力覆盖：支持语音识别（ASR）、音频理解（含思维链）、zero-shot TTS、Instruct TTS、语音编辑（语义/声学）和音色设计 - 多语言支持：仅 ASR 支持多语言，其余功能限中英双语；最长可处理约一小时录音并实现时间对齐 - 开源协议：代码与权重以 Apache-2.0 协议发布于 GitHub 和 Hugging Face，允许商用 - 技术创新：首次公开披露“理解与生成解耦表征、共享语言骨干”的统一音频模型设计避坑提示 - 性能数据仅为官方自测，部分竞品分数由团队自行复测，尚无第三方验证 - zero-shot TTS 输出具有随机性，需固定随机种子才能复现结果 - 声音克隆功能明确标注“仅供学术研究用途” 关键数据 - 音频理解：MMAU test 得 80.9，MMSU 得 83.3，均列对比表第一 - 语音合成：Seed-TTS-Eval 中英平均 CER/WER 为 1.20，优于 Qwen3-Omni-30B-A3B-Instruct（1.23）价值点为开发者提供了一个可直接部署的轻量级全栈语音模型方案，降低构建多任务语音系统的复杂度与成本。

8月27日消息，小红书 FireRed 团队上周开源了统一音频模型 FireRedAudio，代码与模型权重以 Apache-2.0 协议发布在 GitHub 和 Hugging Face。这个基于 Qwen3.5 的 9B 模型用同一个语言骨干同时支持语音识别（ASR）、音频理解、zero-shot TTS、Instruct TTS、语音编辑和音色设计，官方自测的 MMAU、MMSU、Seed-TTS-Eval 等多项指标排在对比表首位。

与已公开的统一音频模型相比，FireRedAudio 的差异在输入侧：理解和生成不共用同一套音频表征。理解走 12.5 Hz 的 Audio Encoder，生成走等效 6.25 Hz 的 RedAE-Patch，两路表征刻意保持解耦，只共享语言骨干。团队在论文中称，此前的统一音频语言模型未见公开披露过同类设计。目前这一设计的优劣和全部指标一样，只有官方自测口径，还没有第三方复测。

小红书 FireRed 团队开源 FireRedAudio：9B 单模型打通 ASR、音频理解、TTS 与语音编辑

理解和生成各用一套表征，只共享语言骨干

FireRedAudio 的两条输入通路按音频在当前任务里的角色选择。需要转写或分析的音频由 Audio Encoder 编码为 12.5 Hz 的连续感知表征，这个编码器以 Whisper-large-v3 初始化。生成任务里的参考语音则由 RedAE Encoder 编码为 25 Hz 的连续 latent，每四帧合成一个 160 ms 的 patch 进入语言模型，等效速率 6.25 Hz。

两路表征不融合，背后接的是同一个基于 Qwen3.5 的 9B 自回归语言模型。团队给出的设计动机是：音频理解需要把声音压缩成语义，语音生成需要保留音色等声学细节，两类需求对表征的要求相反，一套表征难以同时兼顾。

这条路线在同团队此前的 FireRedTTS3 里已经出现过一半。据机器之心此前报道，FireRedTTS3 的生成表征 RedAE 在训练时，正是把音频理解模型 FireRedAudio 的 Audio Encoder 冻结当作语义教师做蒸馏，训练完成后教师退出，推理阶段不再使用。这次开源，相当于把当时的"老师"和"学生"装进了同一个模型。

一个模型做六件事，最长听懂一小时录音

能力上，FireRedAudio 覆盖了从识别、理解到生成、编辑的主要环节。ASR 是唯一支持多语言的任务，其余能力限于中文和英文。音频理解支持开启思维链推理，模型先输出推理过程再给答案。长音频方面，官方称模型可处理最长约一小时的录音，实现时间与内容的对齐：把录音整理成带时间戳的结构、生成有时间依据的摘要、按时间检索内容或按内容定位时间。超过一小时的输入官方明确标注为未测试。

生成侧有三个入口。zero-shot TTS 给几秒参考音频即可克隆音色；voice design 不给参考音频，直接用自然语言描述音色、语速、情绪来生成声音；语音编辑分两类，语义编辑可以对已有录音做增、删、改词，模型先生成改写后的文本再渲染音频，声学编辑则调整音高、语速和音量，但需要按训练时的固定模板下指令，不支持自由表述。

边界同样写在官方文档里。除 ASR 外，理解与生成都只支持中英双语。zero-shot TTS 默认输出不确定，flow-matching 解码器每次采样随机噪声，同一输入多次生成的结果会有差异，需要固定随机种子才能复现。官方还声明，声音克隆功能仅供学术研究用途。

自测指标全面靠前，口径全部是官方自报

按官方仓库公布的数据，FireRedAudio 在音频理解基准 MMAU 的 test-mini 和 test 上分别得 82.0 和 80.9，在 MMSU 上得 83.3，三项均列对比表第一。表中对比对象包括 Step-Audio 2、MiMo-Audio-7B-Instruct、Kimi-Audio、Qwen3-Omni-30B-A3B-Instruct、Gemini 3.1 Pro 和 Qwen3.5-Omni-Plus，其中 Gemini 3.1 Pro 与 Qwen3.5-Omni-Plus 的分数是团队自行复测的。

语音合成方面，FireRedAudio 在 Seed-TTS-Eval 上的中英平均字错误率（CER）与词错误率（WER）为 1.20，其中中文 CER 0.83、英文 WER 1.56，音色相似度 0.71。同一榜单上，Qwen3-Omni-30B-A3B-Instruct 为 1.23，该团队上一代 FireRedTTS-2 为 1.55。指令 TTS 上，其 InstructTTSEval 中文三项得分 86.0、84.1、70.1，高于 Qwen3-TTS-VD 的 83.7、81.7、65.8。语音编辑的 Ming-Freeform-Audio-Edit 评测中，多数子项优于 Ming-UniAudio-Edit。

这些数字全部来自团队自己的技术报告和仓库，部分竞品分数还是团队复测得出的。9B dense 模型在多项自测指标上压过 30B-A3B 的 MoE 模型，这个结论目前只有官方口径支撑，第三方复测尚未出现。

对开发者来说，这是一套能直接拿走的全栈选项

FireRedAudio 的价值首先落在使用侧。过去搭一套覆盖识别、理解、合成、编辑的语音系统，需要拼接多个专用模型。现在一个 9B 模型加一套权重就能覆盖，代码、权重、论文同时公开，Apache-2.0 协议允许商用。9B 体量的部署门槛也低于 30B 级别的统一音频模型，做语音产品的开发者可以直接下载验证。

FireRedAudio 也给统一音频模型的技术路线留下了一个公开的分工样本：理解与生成用不同的输入表征，只共享语言骨干。这条路线是否比共享表征更好，官方自测说了不算，要等第三方复测和下游实际使用的反馈。

好文章，需要你的鼓励

# 报错信息分析与调试指南 ## 任务说明请分析用户提供的报错信息，推测可能的错误原因，并提供系统性的调试步骤。 ## 分析要求 1. **错误类型识别** - 确定是语法错误、运行时错误、逻辑错误还是环境配置错误 - 识别具体的错误类别（如空指针、数组越界、类型不匹配等） 2. **原因推测** - 基于错误信息中的关键线索进行合理推断 - 考虑常见的导致此类错误的编程场景 - 分析可能的代码问题或环境问题 3. **调试步骤** - 提供从简单到复杂的逐步调试方法 - 包括代码检查、日志添加、环境验证等具体操作 - 给出预防类似错误的最佳实践建议 ## 输出格式 - **错误类型**：[具体的错误分类] - **可能原因**： 1. [原因1] 2. [原因2] 3. [原因3] - **调试步骤**： 1. [步骤1] 2. [步骤2] 3. [步骤3] 4. [步骤4] - **解决方案**：[具体的修复建议] ## 示例 **输入**：【报错信息】 ``` TypeError: Cannot read property 'length' of undefined at processData (app.js:25:18) at main (app.js:10:5) ``` **输出**： - **错误类型**：运行时错误 - TypeError - **可能原因**： 1. 变量未正确初始化就被访问其 length 属性 2. 函数参数传递了 undefined 值 3. 异步操作中数据还未加载完成就尝试访问 - **调试步骤**： 1. 检查 app.js 第25行附近的变量声明和赋值 2. 在访问 length 属性前添加类型检查：`if (variable && variable.length)` 3. 使用 console.log() 输出相关变量的值确认其状态 4. 检查函数调用时传入的参数是否正确 - **解决方案**：在访问对象属性前先验证对象是否存在，或确保变量在使用前已被正确初始化。