- 腾讯混元 9 月 9 日开源 AuK，一个 1.5B 的语音生成与编辑基础模型，权重与代码同步放出，MIT 许可，可商用。
- 它把零样本 TTS、内容编辑、音高语速音量调整、情绪音色口音修改、降噪去混响、人声与音乐分离等 16 类任务收进同一套"自然语言指令 + 参考音频"接口。
- 官方技术报告 arXiv:2609.08936 显示，零样本 TTS 在 Seed-TTS-Eval 上平均 WER 2.65、说话人相似度 0.795；对比的 Qwen3-TTS 为 3.07 / 0.745，Seed-TTS 为 3.65 / 0.778。
- 蒸馏版 AuK-Flash 固定 4 步采样、不启用 CFG，官方称在相同条件下墙钟加速 4.5 倍，权重同为 MIT。
- 全部评测由腾讯自己运行，对比对象都是开源模型，目前没有第三方复现，官方也未公布显存要求和推理延迟。
- 完整运行需要三个组件：1.5B 主干、Qwen2.5-Omni-3B 编码器（单独下载，带自己的许可）与 24kHz VAE。
AuK 是什么：从指令和参考音频到一段改好的音频
官方 README 对 AuK 的定义只有一句：一个 1.5B 的语音生成与编辑基础模型。它用同一套接口处理两类输入——一段自然语言指令，加上可选的参考音频或待处理音频，输出的是处理完成的音频。权重放在 Hugging Face 的 tencent 组织下，魔搭上是 Tencent-Hunyuan 镜像，两处都是 MIT 许可。
它和常见 TTS 的差别落在"编辑"上。生成侧包括零样本文本转语音和指令式 TTS；编辑侧分三层：内容层负责改写说出来的词与歌词，声学层负责音高、语速、音量，副语言层负责情绪、音色、口音与非语言声音；处理侧则是降噪去混响、按说话顺序分离说话人、音乐分离与目标说话人提取。
这个覆盖面带来的工程差别落在链路上。此前的做法是给每一项任务装一个专用模型，配音用一套 TTS，改情绪用另一套音色转换，去背景音再找一套分离模型，各家的音频格式、采样率与依赖版本互不相同，花时间的往往是把它们串起来。AuK 把它们收进一条消息式接口，由模型判断该走哪条路径。
三个组件如何拆开：语义、声学与生成各管一段
AuK 的运行链路由三部分拼成。第一部分是 Qwen/Qwen2.5-Omni-3B 多模态大语言模型，把自然语言指令和参考音频转成语义条件。第二部分是一个 24kHz 因果音频 VAE（配置中名为 BigVGANFlowVAE），把音频压成 64 维潜变量，帧率 50Hz。第三部分是生成主干，一个混合 rectified-flow Transformer：30 层由 10 个双流 MMDiT 块加 20 个统一单流 DiT 块组成，隐藏维度 1536，24 个注意力头（每头维度 64），SwiGLU 中间宽度 3072。
拆开加载的设计意味着这三部分可以拆开来替换和升级。代价也随之而来：文本编码器是独立 checkpoint，有自己的一套许可条款，所以"模型是 MIT"和"跑起来需要的东西全都是 MIT"并不是同一句话。
数据与训练的规模同样公布在报告里。生成训练先做 5 万次仅生成的热身，再做 60 万次生成与编辑联合训练，VAE 另有 124 万次更新，全部跑在 256 块 GPU 上。监督数据约 30.3 亿条指令–音频实例，折合 195 万小时有效音频监督。
这里有一个容易读错的地方需要点明：30.3 亿是训练实例数，不是模型参数量。1.5B 指的是生成主干，不含另外加载的 3B 编码器与 VAE。OrcaRouter 的分析称，权重文件里 auk_base.safetensors 为 6.12GB、vae.safetensors 为 0.64GB，实际占用远大于"1.5B"给人的直觉。
AuK-Flash 如何做到 4 步推理
AuK-Flash 是从基座蒸馏出来的加速版本。官方描述的蒸馏分两阶段：先用轨迹级一致性初始化把少步学生模型带起来，再切换到按任务路由的解耦 DMD 目标，分离任务另用干净预测回归做监督。基座的采样设置是 32 次函数评估加 CFG 缩放 2.0，Flash 固定为 4 步并把引导关掉，报告称在相同条件下墙钟加速 4.5 倍。
质量上的折损官方给了对照。零样本 TTS 的 Seed-TTS-Eval 上，Flash 的平均 WER 为 2.85、相似度 0.790，基座为 2.65 与 0.795。也就是说四个采样步拿到接近教师的质量，代价用官方数据衡量并不大，但报告没有公布感知层面的质量损失，这部分需要自己听。
官方评测的优势范围：编辑与还原领先，情绪项接近持平
技术报告给出七组评测。零样本 TTS 在 Seed-TTS-Eval 上，AuK 平均 WER 2.65、相似度 0.795，对比的 Qwen3-TTS 为 3.07 与 0.745，Seed-TTS 为 3.65 与 0.778，VoxCPM2 为 3.65 与 0.767；英文测试集最好成绩为 WER 1.02。
指令式 TTS 在 InstructTTSEval 上，AuK 中文 83.37、英文 81.60，对比 Qwen3-TTS-VD 为 81.10 与 82.40，MOSS-VoiceGenerator 为 80.00 与 82.00。语音编辑在 MMAE-Speech 上，指令遵循率 48.23、内容改写 88.11，高于 Step-Audio-EditX 的 43.52 与 77.27、Ming-UniAudio 的 34.13 与 76.01。
信号级还原任务上是"有竞争力"而非领先：DNS Challenge 不同步词错 2.66（对比 RE-USE 3.31），CHiME-4 词错 7.98（RE-USE 10.71），Libri2Mix 词错 9.12（MossFormer2-SS 9.34），VCTKSR 词错 3.06。情绪相关的项则拉不开：SpeechEditBench 情绪准确率 9.94，对比 Ming-UniAudio 3.43，两者的绝对水平都低；整体声学得分 37.07 与基线同区间。
读这组数字有一个前提：全部对比由腾讯自己运行，选定的基线全是开源模型，没有一家闭源商业语音平台出现在表里。所以"领先"目前的含义是"在腾讯选定的开源范围内领先"，没有第三方复现，也还没有公布复现评测所用 harness 的代码。
适用场景与四条已知边界
它最擅长的任务是"除了指定改动，其余都别动"。内容改写、音高语速调整、去口音、去除呼吸声、降噪与说话人分离都属于这一类，也就是后期制作里反复消耗人力的部分。对需要批量处理已有录音、同时保住原说话人音色与节奏的团队，这是它对专用模型最明显的替代价值。
第一条边界是官方文档没有给出硬件门槛。报告没有公布推理显存，也没有单一任务的延迟数据；配置文件里的梯度检查点说明提到约 91GB 峰值降到约 75GB，那是训练时的显存口径，不能当成推理需求。README 给出的同时加载两个模型的示例把两张卡分开部署，并说明也可以放在同一张卡上——但具体需要多少显存，只能在自己的机器上实测。
第二条是时长限制。ComfyUI 集成文档写明源音频加目标音频的序列上限为 30 秒，长素材需要先切分。
第三条是语言与编码器支持。AuK-Flash 的模型卡声明中英文，基座没有正式的语言列表；当前实现只支持 Qwen2.5-Omni-3B 作编码器，Qwen3-Omni 暂不支持。
第四条在许可证。模型本体是 MIT，可以商用、修改和再分发；但它依赖的编码器单独下载、条款独立，选型时需要把这一点算进去。
快速上手：三步跑通第一条指令
前置条件是一个 Python 3.10 环境、一块可用的 GPU，以及约 7GB 的模型下载量（每个变体约 6.8GB，另加编码器与 VAE）。
先克隆仓库并建虚拟环境，再按需要选择安装目标：
然后下载三个组件，目录结构按官方要求摆放：
所有任务共用同一条命令，--instruction 必须有，--audio 按任务决定是否提供。内容编辑的写法如下：
换用 Flash 时加一个参数，它固定 4 步且不需要 CFG：
需要网页界面就启动 Gradio 服务，启用 Prompt Enhancer 还要准备一个 OpenAI 兼容的 LLM 端点（示例用腾讯云 TokenHub）：
验证成功的标志是输出目录出现音频文件，时长接近 --gen_seconds 指定的秒数。三类常见失败值得先记下：把 Qwen3-Omni 当编码器用（当前不支持）、只下载了主干而漏掉编码器或 VAE（加载时会报缺少权重）、以及在 ComfyUI 里一次喂进超过 30 秒的源音频加目标音频。
在开源语音生态里的位置
AuK 放出的姿态很低。项目没有官方博客或发布稿，权重先在 8 月中建成仓库，代码随后上传，技术报告 arXiv:2609.08936 在 9 月 8 日提交，更新记录只写在 GitHub 与模型卡的两行 news 里。社区反应集中在 Hugging Face 论文页：9 月 9 日进入当日论文榜第二位，获得 201 个赞，GitHub 仓库目前 389 颗星、21 个 fork，已有第三方接手做 ComfyUI 节点与模型镜像。
同一条赛道上，开源语音的密度今年明显上升：Mistral 放出过一把对标 ElevenLabs 的语音模型，阿里的 Qwen3.5-Omni 把文字、音频、视频做进一套并支持语音克隆，混元自己也开源过 Hy4 基座与推理加速框架。AuK 的差异不在跑分高低，而在任务面的组织方式——它把"改一段已有的录音"与"从文本生成语音"放进同一个模型，并用 MIT 许可降低商用门槛。
对开发者最实际的判断方式，是拿自己录音里最常改的那几类任务去跑：替换几个词、调整语速、去掉口音、清掉背景噪声。这四项恰好是报告里优势最集中的部分，也最容易在半小时内得到结论。
AI 速览
