4月2日消息,上海人工智能实验室联合南京大学、上海交大、香港中文大学发布 GEMS(Generative Multimodal System with Agent-native Memory and Skills)框架。这不是一个新的基础模型,而是把 60 亿参数的轻量图像生成模型 Z-Image-Turbo 装进一个多智能体循环中 —— 通过 Planner → Decomposer → Generator → Verifier → Refiner 的结构化流程,最多迭代 5 轮,使模型在不增加参数的前提下实现性能大幅跃升。
论文已在 arXiv 发布(2603.28088),代码已在 GitHub 开放。
6B 模型为什么需要"装"进智能体循环
当前图像生成的竞争有两个方向:堆大模型,或者让中小模型更聪明。GEMS 选的是后者。
它基于的 Z-Image-Turbo 是一个 60 亿参数的蒸馏模型,单次前向推理生成的图像质量有限。GEMS 的思路是把这个模型放入一个多阶段的智能体循环中:
- Decomposer:将复杂请求拆为可执行的子步骤
- Generator:调用 Z-Image-Turbo 执行生成
最多 5 轮迭代,每一轮都在上一轮的基础上修正,类似人类画师反复修改草图的过程。
但这还不够。GEMS 加了两层基础设施。第一项是 Agent Memory——持久轨迹级记忆,分层存储事实状态和压缩经验摘要,避免每一轮从零开始。第二项是 Agent Skill——可扩展的领域技能库,以轻量清单常驻内存,详细指令仅在触发时拉取,支持创意绘画、Logo 设计等多样下游任务。
基准测试:6B 框架超越更大模型
在 5 个主流任务上,GEMS + Z-Image-Turbo 的平均分从 60.29 提升至 74.51,提升幅度为 14.22 分。
GenEval2 的 63.5 分是值得注意的数字。作为参照,Nano Banana 2(约 200 亿参数级)在该基准上的成绩约为 44.6。GEMS 以 60 亿参数的底座超越了参数量 3 倍以上的模型。
消融实验进一步拆解了各组件的贡献:
- 仅加 Agent Loop:+21.4 分(贡献最大)
- Agent Loop + Agent Memory:再 +9.0 分
- Loop + Memory + Skill:再 +2.1 分
这个消融结果说明智能体循环本身是 GEMS 提升的最核心驱动,而记忆和技能库提供了增量优化。
多后端支持:不止 Z-Image-Turbo
GEMS 设计上不绑定特定生成模型。论文还在 Qwen-Image-2512(200 亿参数)上测试了同一框架,同样获得显著提升。这意味着 GEMS 是一个"即插即用"的智能体层,可以套在不同规模的图像生成模型上。
代码已在 GitHub 开放,支持本地部署和在线 Demo 测试。