Computer Use 是 OpenAI 随 GPT-6 Astra 于 2026 年 9 月 3 日发布的电脑操作能力,模型可直接识别屏幕像素、驱动鼠标键盘,跨任意软件完成多步骤任务。官方称其为"世界上最好的 computer use 模型",口号是"你在电脑上能做的任何事,Astra 都能替你做"。本文将从功能认知、两种接入方式、完整使用步骤、应用场景到安全注意事项,提供一份实操指南。
什么是 GPT-6 Astra Computer Use
Computer Use(电脑操作)让模型像人一样操作浏览器和桌面应用:它查看屏幕截图,决定下一步该点哪里、输入什么,再执行动作,循环往复直到任务完成。这意味着,过去 AI 能否操作一个软件,很大程度取决于该软件有没有开放 API;而现在,只要软件有正常的图形界面,Astra 就可以通过 Computer Use 直接操作——很多传统软件第一次真正进入了 AI Agent 的工作范围。
在 OpenAI 公布的 OSWorld 2.0 电脑操作基准测试中,GPT-6 Astra 得分 72.6%,高于上一代 GPT-5.6 Sol 的 65.7%;完成相同任务的平均耗时从约 75 分钟压缩到约 40 分钟。在安全压力测试中,不当行为率从 22.0% 降至 2.4%,幻觉式能力声明(声称完成实际失败的操作)从 9.4% 降至 2.0%。
两种接入方式:代码执行 vs 传统 Computer Tool
在开发者层面,Computer Use 有两种集成方式。对 GPT-6 Astra,OpenAI 官方明确推荐"代码执行"(Code Execution)模式,传统的 computer 工具仅作为备选保留。
| | |
|---|
| 模型写一段 PyAutoGUI(桌面)或 Playwright(浏览器)脚本,由你的沙箱运行并返回结果(含截图) | 模型返回结构化的鼠标/键盘原子动作(click、type、scroll),由你的程序逐条执行并回传截图 |
| | 每轮只能发出一批原子动作,需等待截图后才能决定下一步 |
| | |
| | |
GPT-6 Astra Computer Use 使用步骤
第一步:环境准备
- 安装 OpenAI Python SDK:
pip install openai
- 设置 API 密钥环境变量:
export OPENAI_API_KEY="your-api-key"
- 确认你的 API 项目已获得
gpt-6-astra 访问权限(Astra 正在分阶段推出,并非所有账户立即可用)
- 准备隔离的执行环境(桌面用 PyAutoGUI 需配桌面权限;浏览器用 Playwright 需安装对应驱动)
第二步:通过 Responses API 启用 computer_use 工具
Computer Use 属于工具调用,必须通过 Responses API(不能用 Chat Completions)。最小调用示例:
第三步:代码执行模式(推荐)完整示例
代码执行模式下,你向模型暴露一个函数工具(如 exec_py),模型每次写出一段脚本,你的应用在持久化的沙箱桌面中执行并返回观察结果(含截图)。以下为桌面端 Python/PyAutoGUI 循环示例:
浏览器端可用 Playwright 替代 PyAutoGUI,逻辑相同:模型写脚本操作浏览器,你的应用执行并回传截图与日志,循环直到任务完成。
第四步:运行官方 CUA 示例应用(可选)
OpenAI 提供了 CUA 示例应用,包含 JavaScript/Playwright 与 Python/PyAutoGUI 两种实现,内置本地任务与共享控制台。你可以按 README 在隔离环境中启动,选择内置场景运行,观察动作、截图与最终状态,快速验证任务是否成功。正式接入真实网站或账号前,务必先阅读官方 "Run safely" 安全指南。
第五步:在 ChatGPT 桌面端使用
ChatGPT Plus / Pro / Business / Enterprise 用户在推送后即可使用。步骤:
- 在模型选择器中选择 GPT-6 Astra(Pro 及以上可使用能力更强的 Astra Pro;Enterprise 需管理员在后台手动开启,默认关闭)
- 在最新版 ChatGPT 桌面端中,授予 Astra 屏幕访问权限
- 用清晰、分步骤的语言描述电脑任务,例如:"打开 Blender,创建一个椅子模型,导出为 OBJ 文件"
- 监控执行过程;复杂 OSWorld 类任务约需 40 分钟
典型应用场景
- 遗留桌面软件自动化:没有 API、没有脚本接口的老软件(物业管理系统、诊所软件、货运平台),Astra 直接驱动其 GUI 操作
- 跨系统表格核对:把两份 schema 不一致的导出表,在真实表格软件中逐行对账(先建映射、确认后再跑)
- 无人值守周期报表:每周登录后台导出、重排格式并分发的流程,可转为无人值守任务
- 长程重构:配合 Codex 跨窗口笔记,六小时重构不再"忘记"已失败的步骤
- 真实界面 QA 巡检:让 Astra 实际点击产品,记录步骤、预期结果、实际结果与严重度,捕捉 DOM 断言结构性看不到的 bug 类
- 终端驱动研究:在 Terminal-Bench Science 上得分 64.6%,可把 shell 密集的数据工作委托出去
- 视觉转结构:在 BenchCAD Vision2Code 上得分 95.9%,截图和图表可较可靠地转成可用结构
Computer Use 安全与注意事项
- 隔离环境:沙箱必须会话持久、执行受限、并应用你的权限规则;不要在真实生产主机上直接赋予模型操作权
- 最小权限:涉及删除文件、生产部署、资金操作等不可逆行为,必须保留人工确认环节
- 单独登录、密码自己保管:为待操作系统建一个无管理员权限的单独账号,自己登录;模型只在已打开的浏览器会话中工作,永远不直接接触凭据,需要时可随时关闭会话
- 首次运行只读:第一天不要授予写入权限;先跑一个只读任务,确认它能按指令停下、不越界
- 在指令中写清边界:明确告知"只在此文件夹工作、不打开其他标签页、不向任何人发送任何内容,需要看不到的信息先停下询问"
- 272K 输入阈值:单次请求输入超过 272,000 tokens 时,整个请求按输入/缓存 2 倍、输出 1.5 倍计费,长任务需做好检索与分段
- 观察四大风险点:模型与你做法不同的地方、它"编造"的内容(最易流向客户)、你需要解释两遍的步骤(说明你的书面流程本身有歧义)
常见问题
Q: GPT-6 Astra Computer Use 支持哪些操作?
A: 模型可读取屏幕、移动鼠标、点击界面元素、输入文本、滚动页面、打开应用、通过浏览器完成表单填写与网页调研等。本质上,正常 GUI 内能由人完成的交互,它都能尝试操作。
Q: 代码执行模式和传统 computer 工具怎么选?
A: 对 Astra 官方推荐代码执行模式。它一次调用可组合动作、循环和条件判断,沙箱会话在多次调用间保持状态,整体更灵活高效;传统 computer 工具每轮只能发一批原子动作,需等待截图再决策,仅作兼容备选。
Q: 没有编程基础能用 Computer Use 吗?
A: 可以。ChatGPT 桌面端 Plus/Pro 用户切换至 Astra 后,授予屏幕权限,用自然语言描述任务即可,无需写代码。代码执行模式主要面向开发者自研集成。
Q: Computer Use 安全吗?会误操作吗?
A: 官方安全测试显示不当行为率从 22.0% 降至 2.4%,但任何自主操作都有风险。务必使用隔离环境、最小权限账号、人工复核关键动作,并遵循"首次只读、逐步放开"的原则。
Q: 企业如何使用?权限默认开启吗?
A: Enterprise 默认关闭,需管理员在后台手动启用。建议先以受限账号、只读任务做小范围验证,再逐步扩大到可写场景。
以上信息基于 OpenAI 官方文档及公开技术评测整理。模型能力、访问权限与定价可能随时更新,请以 OpenAI 官方平台(platform.openai.com)最新公告为准。Computer Use 涉及真实系统操作,正式部署前请在隔离环境中充分验证,并对不可逆操作保留人工确认。