- Qwen-CUA 是阿里 Qwen 团队与 XLang Lab 联合开发的电脑控制智能体(Computer-Using Agent),通过截图理解屏幕、用键盘鼠标操作电脑,论文见 arXiv 2608.02352。
- 在 OSWorld-Verified 基准上得分 86.2,8 个基准全部超越 Qwen3.7,与领先的专有系统水平相当。
- 核心结论:仅靠人类使用的屏幕、鼠标和键盘数据,就能训练出强大的电脑智能体,无需额外的环境信息。
- 安全评测中,RedTeamCUA 攻击成功率从 36.6 降至 16.4,安全性与能力同步提升。
- 已知局限:长时程任务仍有明显短板,错误随任务长度累积,有效反馈往往只在任务结束时出现。
Qwen-CUA 是什么
Qwen-CUA 是阿里 Qwen 团队与 XLang Lab 联合推出的电脑控制智能体(Computer-Using Agent),GitHub 仓库的描述是"a screenshot-driven agent that operates computers with keyboard and mouse"。它的工作方式是:截图理解当前屏幕,然后决定点击哪里、输入什么,用键盘鼠标完成操作,覆盖浏览器、桌面应用与命令行。
与需要 API 或专门环境的智能体不同,Qwen-CUA 走"原生电脑使用"路线——像人一样看屏幕、操作鼠标键盘。这意味着它可以直接用在现有操作系统与软件上,不需要目标应用提供接口。项目已开源,代码在 xlang-ai/Qwen-CUA,论文在 arXiv 2608.02352。
核心方法与快速上手:只用屏幕与键鼠
论文的关键论证是:训练强大的电脑智能体,不一定需要环境接口或额外信号,仅靠人类使用电脑时产生的屏幕、鼠标与键盘数据就够。训练流程包含监督数据与强化学习的迭代:定期刷新监督数据,重新校准强化学习任务。
在此基础上,研究还包含浏览器部署实验与 Bash 增强实验等实际行为分析。这套"纯观察式"训练路线的意义在于数据易得:人类使用电脑的轨迹是海量且廉价的,这让电脑智能体的规模化训练有了更低的门槛。
基准成绩:与专有系统同档
在公开基准上,Qwen-CUA 的成绩位于第一梯队。OSWorld-Verified 得分 86.2,旗舰配置 Qwen-CUA-Max(超过 1 万亿参数)达到 87.6;OSWorld 2.0 的二进制完成与部分完成分别 18.5 与 48.4(Max 为 21.2 与 53.3)。
全部 8 个基准测试上,Qwen-CUA 均超越此前最强的 Qwen3.7,与领先的专有系统水平相当。对开发者来说,这意味着开源方案在电脑控制任务上已经能与闭源旗舰直接竞争。
安全评测
安全是电脑控制智能体的关键维度,因为智能体拥有真实的系统操作权限。论文披露的安全评测中,RedTeamCUA 攻击成功率从 Qwen3.7 的 36.6 降至 Qwen-CUA 的 16.4,降幅明显。
这说明 Qwen-CUA 在能力提升的同时,对恶意指令的抵抗也在增强。不过安全评测覆盖的是论文定义的攻击场景,真实环境的威胁面更大,部署时仍需要权限隔离、操作审计等配套措施。
局限与未来方向
论文明确列出两个短板。一是长时程任务:部分完成与完全完成之间存在较大差距,错误会随任务长度累积,且有效反馈往往只在任务结束时才出现,中间过程的自我纠错不足。
二是方向:论文提出可扩展的可验证交互与混合工具使用两个关键方向——前者让模型在长任务中获得更及时的反馈,后者让智能体在需要时切换到专用工具而不是纯鼠标键盘。这两点决定电脑控制智能体能否从"短任务好用"走向"长任务可靠"。
常见问题
Qwen-CUA 和 Claude Computer Use 有什么区别? 都是电脑操作智能体,Qwen-CUA 是开源实现,主打纯截图驱动;差异在训练数据路线与基准成绩,选型看生态与部署需求。
Qwen-CUA 能自己部署吗?
项目已开源(GitHub xlang-ai/Qwen-CUA),可按仓库文档部署,模型分标准版与 Max 旗舰版。
电脑控制智能体安全吗?
论文显示攻击成功率显著下降,但真实部署仍需权限隔离与审计。