一句话总结:MiniMax Agent 推出 Computer Use 功能,AI 可以直接看屏幕、操作鼠标键盘,完成从找文件到改系统设置的各类任务,并通过 Pocket 功能接入飞书、微信等 IM 随时远程调用。
核心亮点
- Computer Use:AI 能像人一样看屏幕、点鼠标、敲键盘,操作任何本地软件
- Pocket 功能:接入飞书、微信、企业微信、Slack,手机远程指挥电脑
- 60+ 工具矩阵:Desktop Control、Window Manager、Browser Engine、Clipboard 分工协作
- 三步验证机制:截图-验证-行动循环,确保多步任务可靠完成
- 权限管控:关键操作需 IM 确认,远程操控也能安全可控
为什么需要 Computer Use?
传统 AI Agent 的能力边界停在命令行。但用户真正的工作场景里——
命令行无法触达的地方,Computer Use 可以。
MiniMax Agent 的 Computer Use 功能,让 AI 真正"看到"屏幕上的每一个元素,像人一样操作鼠标和键盘,完成过去 Agent 难以处理的任务。
三大核心功能详解
1. Computer Use:AI 像人一样用电脑
MiniMax Agent 将桌面操作拆分为四个独立工具域,而非给 AI 一个模糊的"computer"指令:
| | |
|---|
| | |
| | |
| DOM 操作、CSS 选择器、JavaScript 执行 | |
| | |
为什么拆分? 不同任务的最优路径不同。窗口管理直接调用系统 API,比让 AI 截图找"最小化按钮"更快;浏览器里用 DOM 选择器定位,比数像素点击更精准;跨应用传数据用剪贴板,比反复截图读取更可靠。
2. Pocket:随身携带的桌面智能体
Pocket 功能让 MiniMax Agent 接入主流 IM 软件:
使用方式:
典型场景:
3. 三步验证:多步任务的可靠性保障
Computer Use 不是单步操作,而是截图-验证-行动循环:
- 诊断:如果没成功,分析原因并尝试替代方案(如鼠标不行换键盘快捷键)
这个循环让十几步甚至上百步的任务能够可靠推进,偶发的小问题被就地处理,不会累积成全盘失败。
真实使用场景
场景一:远程找文件
指令:"帮我看下桌面上是不是有一个 2025 report 的 pdf?找到并发给我。"
执行过程:
价值:用户在地铁上、会议中、出差途中都能取用本地文件,不需要打开电脑。
场景二:筛选简历并生成飞书文档
指令:"读取桌面上 Resume 文件夹里的所有简历,根据设计经验年限、量化成果和技能匹配度,挑选最符合 AI Native 工作环境 Product Designer 岗位的 Top 3 候选人,并简要说明每人入选理由。根据这三人的具体经历出面试题,整理成一份飞书文档。"
执行过程:
- Computer Use:打开 Resume 文件夹,读取每份 PDF 简历
- 飞书 CLI:创建文档,按候选人分 Section 写入
价值:跨越本地文件读取和云端文档协作两层能力,Agent 独立完成全流程。
场景三:操作系统设置
指令:"帮我打开系统设置,找到锁定屏幕,把不活跃时启动屏幕保护程序设为永不。然后打开 Pocket 客户端执行每日定时任务,完成后给我一张截图。"
执行过程:
价值:系统偏好设置没有公开 API,过去 Agent 无法操作,现在通过 Computer Use 可以完成。
技术亮点:为什么 MiniMax Agent 的 Computer Use 更可靠
视觉感知:不同屏幕都能看清
用户的显示器千差万别——MacBook Retina、外接 4K、1080p、720p,物理分辨率能跨越一个数量级。
解决方案:
- 相对坐标系统:AI 输出 0-1 的相对位置,系统根据屏幕分辨率换算为真实坐标
- 自适应截图:先以物理像素截取,再根据模型视觉输入上限动态缩放,确保清晰可读又不超出处理范围
无论用户用什么屏幕,AI 看到的都是适配后的最优尺寸。
权限与远程授权
Agent 能操作用户电脑,必须有清晰的权限边界。
关键操作需确认:
- 飞书/Slack 以卡片形式呈现,用户点击授权或拒绝
价值:即使用户不在电脑前,每一个关键动作都经过本人确认,保持完整的知情权与控制权。
MiniMax Agent vs 其他 Computer Use 方案
核心差异:MiniMax Agent 强调本地执行 + IM 远程控制 + 权限确认,更适合企业用户和需要操作内部系统的场景。
局限与注意事项
当前局限:
- Pocket 和 Computer Use 仍处于 Beta 阶段
使用建议:
如何开始使用
下载安装:
快速上手:
进阶配置:
总结
MiniMax Agent 的 Computer Use 功能,让 AI 从"命令行工具"进化为"数字同事"——它能看到你的屏幕,操作你的软件,完成那些藏在图形界面里的任务。配合 Pocket 的 IM 接入能力,用户可以随时随地通过手机指挥电脑,实现真正的"随身携带的桌面智能体"。
虽然仍处于早期阶段,但 Computer Use + Pocket 的组合,已经展现出 AI Agent 从"辅助工具"向"生产力伙伴"跃迁的可能性。