8月5日消息,Sand.ai 发布 MAGI-2 Preview:约 114B 参数的统一音视频生成模型,每个 token 仅激活约 6B 参数。模型代码以 Apache-2.0 协议开源在 GitHub,权重在 Hugging Face 提供(约 307GB)。官方将这次发布定位为中间研究版本,目的是让 100B 级视频 MoE 的架构、路由行为与推理特征直接开放给社区研究。
架构:单流 Transformer 与超细粒度 MoE
MAGI-2 的核心变化是放弃自回归分块。前代 MAGI-1 把视频切成时间块做自回归去噪,MAGI-2 改为单流设计:文本、视频、音频进入同一条 token 序列,由一个自注意力 Transformer 主干统一处理,官方称这降低了系统复杂度、让扩展更直接。
稀疏部分是 Multi-Head MoE。模型共 40 层,中间 36 层使用多头 MoE,边界 4 层保持稠密。隐藏状态被投影成 12 个 256 维的 head,每个 head 有独立的 256 个专家池,每个 token 在每个 head 激活 Top-6 专家,即每层激活 72 个专家单元。这套被称为 MagiMoE 的设计把专家计算放到低维 head 子空间里,3,072 个窄专家单元可以独立选择与重组,而不是作为不可分的宽 FFN 整体调用。
通信上,官方称 head 并行的通信只依赖 head 维度、与 Top-k 无关,这让超细粒度路由的通信成本可控。
训练系统与优化器:MagiMuon 与 Kimi K3 的呼应
配套的训练系统分两层:节点间 InfiniBand 传输固定形状的 head 激活,节点内 NVLink 做专家权重、梯度与优化器状态的 ZeRO/FSDP 式全分片,专家按需物化、用完重分片。
优化器是 MagiMuon:把 Muon 正交化按 head×expert 矩阵粒度执行,矩阵批次跨 rank 均衡。官方在博客中专门把这项设计与 Kimi K3 的 Per-Head Muon 并列讨论,两者都在注意力或专家的 head 维度上独立做正交化,说明"优化器可以利用显式的 head 结构"正在成为一条被多家独立验证的路线。负载均衡则采用无辅助损失的专家偏置,统计在独立 CUDA 流上异步聚合。
数据:从过滤到精细标注
数据方法论是这次发布的第三个看点。官方称策略从"过滤式策展"转向"高吞吐数据生产 + 精确多模态标注",保留复杂运动、多人互动、镜头切换、长尾主体、字幕、屏显文字与复杂音频关系,而不是把这些"难数据"过滤掉。标注覆盖主体/场景、动作/互动、镜头/时序结构、对话/歌曲、环境声/音乐、屏显文字/字幕。官方观点是:"数据本身成为模型能力的上限。"
开源形态:307GB 权重与 8 张 Hopper
MAGI-2 Preview 的开源形态完整:GitHub 仓库提供推理代码、配置与 Docker 镜像,权重从 Hugging Face 下载,共约 307GB,其中 preview 阶段 transformer 228GB、refiner 14GB、文本编码器 56GB(Qwen/Qwen3.5-27B),另有音频 VAE、视频 VAE 与蒸馏版解码器。推理需要 8 张 NVIDIA Hopper GPU 与较新的 CUDA,Python 3.12;视频固定 10 秒,分两阶段生成:preview 低分辨率去噪后由 refiner 提升至 1080p(实际 1088×1920),音频随视频生成并混入输出。蒸馏版(更少去噪步数)官方标注 coming soon。
这个门槛与本周开源的 MiniMax H3 形成对照:H3 权重开源后被验证可在 280 美元的 RTX 3060 上本地运行,而 MAGI-2 面向 8 卡 Hopper 环境。两者定位不同,同属本周视频模型开源潮。
Preview 的边界
官方在博客里明确了几条边界:MAGI-2 Preview 是中间研究版本,不是最终产品;"更多参数并不自动意味着更好的模型";模型能力、数据复杂度与系统效率必须一起扩展。博客没有给出任何 benchmark 数字,也没有披露定价与 API 开放状态。这次发布验证的是 scaling 路径,而不是性能比拼。
对视频生成模型的研究者来说,这是少见的 100B 级开源样本:架构、路由与推理特征可以直接研究,无需从论文复现。对 Sand.ai 而言,Preview 以开源换取社区反馈与生态位置,公司本身的背景信息(团队、融资)尚未公开披露。上述规格与架构细节均来自官方博客与 GitHub 仓库,第三方评测尚未出现。