6月5日消息,Google Magenta 团队发布 Magenta RealTime 2(MRT2),一个可在 Apple Silicon MacBook 上本地运行的开源实时音乐生成模型。与 Suno、Udio 等离线生成「成品音轨」的工具不同,MRT2 的定位是一件可以被演奏的 AI 乐器:支持 MIDI 键盘、文本提示和音频输入三种实时控制方式,延迟极低,可在现场表演和创作过程中即时响应。模型权重已在 Hugging Face 开放下载。 MRT2 是什么:一件AI乐器,不是一个AI作曲家
市面上绝大多数 AI 音乐工具的工作方式是:输入一段文字描述,等待几秒到几十秒,拿到一段完整的音乐。这是「离线生成」模式。MRT2 完全不同——它是「实时流式生成」模式,像一件真正的乐器一样即时响应你的输入。
你可以用 MIDI 键盘弹奏,MRT2 实时将你的演奏转化为指定风格的音乐输出;你可以用文字描述一个风格方向(比如「ambient pads with sub bass」),MRT2 持续生成符合这个方向的音频流;你还可以输入一段音频片段,MRT2 会以此为参考进行风格迁移和即兴演奏。
这种实时交互能力使 MRT2 适用于现场表演、即兴 jamming、DAW 内的实时合成等场景——这些是 Suno 和 Udio 无法触及的领域。
技术架构与运行要求
MRT2 是前代 Magenta RealTime(2025年6月发布)的全面升级。它由三个核心组件构成:SpectroStream(音频编解码器)、MusicCoCa(音乐理解模型)和一个 LLM(语言模型,负责将文本/MIDI/音频条件转化为音乐 token 序列)。
模型采用块自回归(block autoregression)架构,以连续数据块的方式流式生成音乐,每个块基于前一段音频输出和风格嵌入来生成下一段。这种设计使得实时因子大于1(即生成X秒音频的耗时小于X秒),满足低延迟实时生成的硬性要求。
推理引擎使用 C++ 编写(magentart::core),针对 Apple Silicon 做了 MLX 优化。运行要求 Apple Silicon MacBook(M1 及以上),暂不支持 Intel Mac 和 Windows。模型权重在 Hugging Face 上以 Creative Commons 4.0 许可证开放下载,代码在 GitHub 上以 Apache 2.0 许可证开源。
配套应用:Jam、Collider 和 DAW 插件
Google 同步发布了三款基于 MRT2 构建的应用:
Jam 是一个独立应用,提供风格预设和 MIDI 控制,用户可以直接开始即兴演奏,无需配置。
Collider 是一个二维混合界面,用户可以在平面上拖拽混合不同的文字提示,让不同风格和流派相互碰撞产生新的声音混搭。
AUv3 插件 是 DAW 集成方案,可以在 Logic Pro、Ableton Live 等宿主软件中直接加载 MRT2,获得完整的模型控制能力。
三款应用均可在 Magenta 官网(magenta.withgoogle.com/mrt2)下载,仅支持 macOS(Apple Silicon)。
竞品对比:MRT2 vs Suno vs Udio
MRT2 与 Suno/Udio 的关系更像是「合成器 vs 唱片机」——它们解决的是完全不同的问题。
Suno 和 Udio 擅长从文字生成完整的歌曲(含人声、编曲、混音),面向想要「一键出歌」的用户,生成质量在2025-2026年已达到商业水准。但它们本质上是离线工具,不支持实时交互,也无法作为乐器在创作或表演过程中使用。
MRT2 专注于乐器级的实时交互,主要生成器乐内容(不含人声),面向音乐人、制作人和创意开发者。它是开源的、可本地运行的、可嵌入 DAW 的——这些特性使它更接近一个音乐创作基础设施,而非消费级产品。
Google 自家还有 Lyria RealTime API(用于云端实时音乐生成),MRT2 可以被视为 Lyria 的本地开源版本,在控制维度和延迟性能上更进一步。
局限与当前不足
MRT2 目前仅支持 Apple Silicon Mac,排除了 Windows 用户和旧款 Mac 用户。对于音乐行业中大量使用 Windows 工作站的专业用户来说,这是一个实际障碍。
模型主要在器乐数据上训练,在特定提示下偶尔会生成一些类人声音效——Google 在 Hugging Face 的模型卡中明确标注了这一行为。版权方面,尽管模型以开放许可发布,Google 的使用条款禁止生成侵犯他人权利的内容。
此外,微调功能(允许音乐人用自己的音频库定制模型风格)目前标注为「coming soon」,尚未实际开放。对于最看重个性化音色的专业用户来说,这是当前最大的缺失。
为什么值得关注
MRT2 的意义不在于「又一个 AI 音乐工具」,而在于它代表了一个方向转变:AI 音乐从「替你创作」走向「和你一起演奏」。当 AI 模型小到可以在笔记本电脑上本地运行、快到可以实时响应 MIDI 输入、开放到任何开发者都可以在此基础上构建应用时,它就不再只是内容生成工具,而是音乐创作基础设施的一部分。