近期，阶跃星辰发布了全球首个开源LLM级音频编辑大模型——Step-Audio-EditX。
该模型能够通过语言指令或迭代方式，精准控制音频的情感、说话风格和副语言特征，并实现零样本文本转语音（Zero-Shot TTS）。
不同于以往依赖多模块拼接的方案，Step-Audio-EditX采用统一的LLM框架，让“文字驱动音频创作”真正变为现实。
开源信息
开源协议：Apache 2.0
Github：https://github.com/stepfun-ai/Step-Audio-EditX
Model：https://www.modelscope.cn/models/stepfun-ai/Step-Audio-EditX
Technical Report：
https://www.modelscope.cn/papers/2511.03601
使用提示:
模型与部分训练数据可自由研究与非商用使用，商用需遵守对应授权条款。
技术架构
Step-Audio-EditX的核心设计可概括为三部分：
音频分词器（Tokenizer）
使用“双码本”结构，将音频分解为离散token：
•语言码本：1024项，16.7 Hz采样频率；
•语义码本：4096项，25 Hz采样频率。
这种双路径分词方式让模型能同时捕捉语言内容与声学细节。
音频大语言模型（Audio LLM）
在音频token与文本token的联合输入下生成目标音频token，参数约3 B。
它的输入格式类似聊天框：“文本+音频”，输出即为新音频的token序列。
解码器（Decoder）
通过Flow Matching模块生成Mel谱图，并由BigVGAN v2声码器合成音频。
这一流程让音频生成质量与真实录音相近，且可控性极强。
核心亮点
多维度情感与风格控制
Step-Audio-EditX可以通过简单的指令控制音频的：
•情感：愤怒、喜悦、悲伤、恐惧、惊讶、厌恶等
•说话风格：夸张、认真、孩童、低语、年长、俏皮等
•副语言元素：呼吸声、笑声、叹息、语气词（嗯、唉、哎呀等）
更重要的是，它支持迭代式编辑——可在原音基础上多轮微调，实现自然、可累积的情感强化。
零样本TTS（Zero-Shot TTS）
无需录音样本，仅凭参考音频或风格描述，即可生成新语音。
例如：
“将这段话改为粤语，带一点俏皮语气。”
即可立刻输出对应版本的音频。
模型支持中英双语及多方言，让TTS真正实现“所写即所听”。
大规模合成数据训练
与传统模型依赖复杂的音频先验模块不同，Step-Audio-EditX使用大边距合成数据（Large-Margin Synthetic Data）训练，直接通过属性差异拉大（如“同文本、异情感”样本）实现情感与风格的解耦学习。
这一策略让模型具备天然的“可控”特性，能够理解并执行复杂的语音编辑指令。
AI 速览
