智谱(Z.ai)与清华大学联合 GLM-V 团队 4 月 29 日在 arXiv 提交 GLM-5V-Turbo 技术报告(arXiv:2604.26752),全文 76 位作者,学术顾问名单包括 Bin Xu、Juanzi Li、Minlie Huang、Yuxiao Dong、Jie Tang,技术负责人为 Wenyi Hong 与 Xiaotao Gu。论文核心主张是把多模态感知作为推理、规划、工具使用、执行的核心组件——不是给语言模型贴一个视觉接口,而是从视觉编码器、token prediction 架构到 RL 训练框架重做一遍。 摆在 benchmark 上的关键结果只有一个数字最有冲击力:Design2Code 上 GLM-5V-Turbo 拿到 94.8 分,超过 Anthropic Claude Opus 4.6。这不只是「国产追平海外」的故事,更值得拆开看的是技术栈本身——CogViT、MMTP、30+ 任务联合 RL、Claude Code 与 AutoClaw 双框架原生集成,每一项都对独立开发者和 AI 应用团队的选型有实际影响。 模型设计:CogViT 视觉编码器 + Multimodal Multi-Token Prediction
CogViT 是 GLM-5V-Turbo 的视觉编码器,定位是「参数高效 + 面向代理任务」。两阶段预训练:第一阶段做 distillation-based masked image modeling,35% masking ratio、224×224 分辨率,双教师模型蒸馏——SigLIP2 负责语义表征、DINOv3 负责纹理特征,训练数据按 80% 高质量自然图像 + 10% 指令跟随 + 10% 科学图像的比例混合。优化器用 Muon + cosine decay,加 QK-Norm 在 attention 计算前归一化 query 和 key 防止 logit 爆炸。第二阶段切到对比图文预训练,三个关键升级:用 NaFlex 替换固定分辨率以保留原始宽高比,global batch size 上到 64K 配合 sigmoid-based SigLIP loss,8B 双语(中英)图文语料强化跨语言理解。
Multimodal Multi-Token Prediction(MMTP)是 GLM-5V-Turbo 在架构层的另一项创新。在标准文本 MTP 基础上扩展到多模态时面临的核心问题是:图像 token 怎么传给 MTP head?团队比对了三种方案——直接传视觉 embedding、屏蔽全部视觉 token、用共享可学习的 <|image|> special token 替代。最终采用第三种。原因是 MTP head 通常轻量化,没有足够建模容量吸收与文本 embedding 分布差异巨大的视觉表征;而 <|image|> token 把输入形式统一化,缓解了优化困难。0.5B 消融实验显示这种设计训练 loss 更低、收敛更稳定,且天然兼容 sequence parallelism 和 context parallelism,省掉了视觉 embedding 跨流水线阶段传播的通信复杂度。这是工程上更实用的妥协。
多模态训练:30+ 任务联合 RL,每一类都给出具体提升数字
GLM-5V-Turbo 的 RL 阶段在 30+ 任务类别上做联合优化,覆盖感知、推理、代理三大能力。感知层面提升:RefCOCO-avg(2D 图像 grounding)+4.8%、PointBench +3.2%、MVBench(视频理解)+5.6%、SUNRGBD(3D grounding)+7.7%、OCRBench +4.2%、CharXiv(图表理解)+7.7%。推理层面:MMMU、MMMU_Pro、MathVista、LogicVista 综合 +1.8%,提升幅度小但稳定性增强。代理层面:OSWorld(GUI agent)+4.9%、CC-Backend(编码代理)+0.2%、MMSearch(通用工具使用)+3.5%。
这套训练方式有三个观察值得 AI 应用团队关注。第一,相比 SFT 常见的跨域 trade-off,RL 跨域干扰更弱,多个域可以一起提升。第二,在分布较窄的单任务上,单任务 RL 容易振荡;联合训练通过暴露更丰富的策略分布反而让优化更稳定。第三,思维模式存在跨任务迁移——在一个域学到的推理行为有时会带到另一个域并产生收益,意味着多任务 RL 的价值不只是覆盖更多任务,而是在策略层面促成更深的共享。代价是:RL 未覆盖的能力会在 post-training 后下降,特别是和训练任务分布正交的能力——这意味着任务覆盖范围本身就是一个决定模型最终泛化边界的设计选择。
推理基础设施:4 维改造让大规模多模态 RL 跑得起来
代理时代的 RL 训练比传统训练更挑战基础设施,prompt 与 response 长度差异大、单步与多步任务并存、每个任务可能需要多个 rule-based 或 model-based verifier。GLM-5V-Turbo 团队从四个维度系统重做训练栈。统一的任务与奖励抽象:构建 VLM RL Gym 提供单步与多步任务的一致环境接口;独立的奖励系统集中调度多个 verifier,rule-based 本地同步执行、model-based 异步通过 API 调用,输出按可配置策略聚合,每个样本带 data-source tag 便于跨任务指标分别上报。流水线全链路解耦:rollout 推理、奖励评估、batch 构造、权重传输全部解耦最大化重叠;每个推理请求注册完成回调,长尾请求不会阻塞整批;reference model 参数常驻 CPU,按需异步预取到 GPU。多模态工作负载的细粒度内存管理:标准 recomputation 主要面向纯文本,没法处理多模态输入的内存瓶颈,团队为 ViT 与 projector 模块单独设计内存策略,叠加 CPU offloading,避免激活内存随图像数线性膨胀。拓扑感知分区与动态负载均衡:把 CP 与 TP 分区上移到数据加载阶段并对齐 downsample group 边界,配合异步 all-to-all 通信,每个 rank 只接收自己需要的分区;把大 Python 对象从 GPU 通信路径移到 CPU 路径,实测降低 GPU 通信缓冲约 7GB;rollout 阶段的变长序列做 sequence length 与 ViT token count 的联合 bin-packing。这套基础设施改造对独立开发者复现意义不大,但对企业级 RL 训练团队是直接可借鉴的工程方案。
Benchmark 拆解:领先项(直接打成 SOTA 的赛道)
把 benchmark 按「领先 / 持平 / 落后」分开列,比单纯堆数字更有参考价值。
多模态编码(领先):Design2Code 94.8 超过 Claude Opus 4.6,是这次发布最强的 SOTA 项;Vision2Web(智谱自建的端到端可视化网站开发 benchmark)GLM-5V-Turbo 表现强;Flame-VLM-Code 同样竞争力强。多模态工具使用(领先):MMSearch-Plus 拿到 30.0,比上一代 GLM-4.6V 接近 8 倍提升;ImageMining 30.7、BrowseComp-VL 51.9、MMSearch 72.9、SimpleVQA 78.2,匹敌或超过 Kimi K2.5 与 Claude Opus 4.6 在这些类别上的成绩。GUI 代理(领先):AndroidWorld 75.7、OSWorld 62.3,视觉理解直接迁移到了 grounded 交互与动作执行。Claw 框架原生评测(领先):PinchBench 87.0/80.7、ClawEval 57.7/75.0、ZClawBench 57.6,证明 GLM-5V-Turbo 接入 Claw 类代理框架的直接可用性。 Benchmark 拆解:持平 / 落后项(不要被 SOTA 数字遮蔽的事)
文本编码上 GLM-5V-Turbo 没把多模态加成换成「通才平庸」,反而在 CC-Bench-V2 上保持了甚至超过其语言基础模型 GLM-5-Turbo——CC-Backend 22.8、CC-Frontend 68.4、CC-RepoExploration 72.2,三项都超过纯文本 base。但需要注意:CC-Bench-V2 是智谱自家的 Claude Code 框架评测,对 Claude Code 子代理调用的格式敏感,跨框架迁移时这部分优势可能打折。SWE-bench 没有公布——这是值得关注的缺位,纯文本编码模型如果不在 SWE-bench Verified 或 Pro 上给数据,就很难和 Claude Opus 4.7(SWE-bench Pro 64.3%)、GPT-5.4 直接对比。长视频与长上下文的具体瓶颈论文也直接承认:图像与视频比文本消耗 context 预算激进得多,多模态上下文管理仍是长程代理的核心瓶颈,目前的内存机制大多还是文本中心的。
Claude Code + AutoClaw + OpenClaw 三框架原生集成
GLM-5V-Turbo 的工具链覆盖六类:通用识别(植物、地点、人物)、多模态搜索(网页、图片、相似图、学术)、浏览器工具(URL 加载、网页阅读)、图像处理(裁剪、bounding box、点标记、几何、3D bbox、视频物体追踪)、创作(网页与 PPT 生成)、深度研究专用工具(zai_dr_ 前缀)。所有自研工具都以 zai_ 开头,同时兼容用户自定义工具。
更关键的是与三套代理框架的原生集成。Claude Code(Anthropic):GLM-5V-Turbo 作为认知核心嵌入,由 Claude Code 处理逻辑与环境,模型负责系统级协作与多模态导航。AutoClaw(智谱自家,AI 助手工具支持 Windows 与 macOS、模型热切换、50+ skills、AutoGLM 浏览器自动化):GLM-5V-Turbo 作为视觉-语言控制器驱动浏览器与 GUI 自动化。OpenClaw(开源个人 AI 代理框架):标准的 skill 调用与多代理编排。再加上 clawhub.ai 上 15 个官方 skill(PDF-to-Web、PDF-to-PPT、Web Replication、PRD-to-App、Stock Analyst 等),这是中文生态里第一个把「模型 + 框架 + skill 市场」打成一套完整组合的多模态发布。
ImageMining:智谱自建的 vision-centric 深度搜索基准
ImageMining 是 GLM-5V-Turbo 论文里最值得单独看的方法贡献之一。它不是又一个 VQA benchmark,而是测「think with image, deep search with image」——模型必须主动通过代理行为挖掘视觉输入,包括局部裁剪、放大细节再精细化搜索查询。217 个测试用例,覆盖 7 个域(社交、娱乐、产品、地点、富文本、自然、科学)和 5 个推理类别(通用识别、时空推理、事件推理、文本推理、视觉搜索)。
最重要的设计是 Visual Jump 约束:在数据构建时,中间推理跳跃必须涉及视觉转换,强制模型解析图像而非靠文本捷径或参数化知识,把图像从静态输入变成可深度交互的环境。GLM-5V-Turbo 在 ImageMining 上的 30.7 分是配合多步工具调用得到的——这套基准已经在 GitHub 开源(zai-org/ImageMining),其他厂商可以直接拿来跑自己的模型。
横向对比:与 Claude Opus 4.6 / Kimi K2.5 / GPT-5.4 / Gemini 的位置
GLM-5V-Turbo 在论文里直接对位的几家是 Claude Opus 4.6、Kimi K2.5、GPT-5.4、Seed 2.0、Gemini Deep Research。
对 Claude Opus 4.6:Design2Code 94.8 超过 Opus 4.6 是论文里最强的对位数据;多模态工具使用类别上整体匹敌或超过。
对 Kimi K2.5:BrowseComp-VL、ImageMining 等类别上互有胜负,但 Kimi K2.5 的代理生态(Kimi Claw、ClawHub 5000 skill)规模上更大。
对 GPT-5.4:论文未给直接 benchmark 对位,需要等独立第三方评测。
对 Gemini Deep Research:GLM-5V-Turbo 把多模态深度研究做进了开源能力链路,Gemini Deep Research 主要是产品功能。
对自家 GLM-5-Turbo(语言版):在文本编码上 GLM-5V-Turbo 不退反进,多模态加成不掉文本能力——这是技术报告最实用的一条对位。
三大遗留挑战
直接看论文承认的几个开放问题。
第一,代理策略涌现。当前训练严重依赖人工或强过滤的 cold-start 轨迹,模型容易陷入「执行已知路径」而非「发现更好路径」,团队观察到增加冷启动轨迹多样性可以部分缓解,但根本目标是让模型自主发现更优策略,这条路还很长。
第二,多模态上下文管理是长程代理的核心瓶颈。图像与视频远比文本耗 context 预算,多数系统选择丢弃早期视觉观察,但这会丢掉对后续推理与验证仍重要的信息;现有内存机制大多文本中心,不擅长压缩视觉细节、空间关系、视频中的时序变化。
第三,模型与 harness 边界共塑。代理系统的能力不再由模型单独决定,任务分解、工具使用、记忆机制、验证循环都共同影响系统能做什么。同样模型在不同 harness 下表现可能截然不同,看似的模型局限有时是 harness 选择的问题。
选型建议
直接给判断。
值得直接用 GLM-5V-Turbo 的场景:UI-to-code 与 PRD-to-App 类前端代码生成(Design2Code 94.8 与 Vision2Web 直接受益)、多模态深度研究与图文交错报告生成、GUI agent 自动化任务(特别是中文 GUI 场景)、接入 Claude Code / AutoClaw / OpenClaw 框架的代理工作流、需要图像主动搜索的 vision-centric 应用。
目前不建议作为首选的场景:纯文本长程编码任务(Claude Opus 4.7 在 SWE-bench Pro 上 64.3% 仍是最强)、需要 GPT-5.4 或 Gemini 3.x Pro 级别推理深度的复杂任务、长视频代理(论文已点名上下文管理瓶颈)、对欧洲合规有要求的部署(智谱 API 在欧盟可用性需自行核实)。
值得跟踪的下一步:等 SWE-bench 数据补齐、等独立第三方在 ImageMining 与 Vision2Web 上跑出对比、看 Claude Code 集成在生产环境的真实稳定性、关注 clawhub.ai 上社区 skill 的丰富速度。