gpt-6 astra性能测试结果里，最该先看的不是分数，而是测试条件。同一个模型在 ARC-AGI-3 上，出题方 ARC Prize 的标准环境给出 62.7%，OpenAI 自己的 Provider Adapter 环境给出 99.9%，两者相差 37 个百分点，接下来详细和大家说一说。
GPT-6 Astra性能测试都考了哪些项目
官方发布页把成绩分成了 9 个板块，每个板块一张表，共 39 行。这 9 个板块与各自的代表项目、成绩如下：
| | | |
|---|
| | | |
| | | 无（Claude Fable 5.1 为 31.4%） |
| | | 无（Claude Fable 5.1 为 55.8%） |
| | | 同一板块的 Humanity's Last Exam 一行输给三家 Claude |
| | | 无（Claude Fable 5 为 60.9%） |
| | | |
| | | 该行只列了 Astra 与 Sol（Sol 为 12.2%） |
| OpenAI MRCR v2 8-needle 512K-1M | | |
| | | |
有一件事值得单独说：官方这 9 张表里没有 SWE-bench Verified、没有 Aider、没有 LiveBench，也没有 AIME 与 MMLU。Astra 的成绩集中在官方自建基准、少数第三方机构评测，以及客户自己的内部评测上。另外，官方表里的对比列取的是各家可用版本中的强者，脚注还专门说明：ScreenSpot-Pro 与 ExploitGym 两行里的 Claude 分数来自 Mythos，那是「防护更少的 Fable」版本。
官方跑分表的3条读数前提
第一条：所有成绩都是「最大值」。官方在表格下方写了一句原文：Evaluation scores are the maximum at any effort.（所有评测成绩取的是任意推理档位下的最大值）。同一段还补了一句：评测在自家研究环境或 API 中运行，由于系统提示与可用工具不同，输出可能与生产版 ChatGPT 略有差异。也就是说，这张表衡量的是「这个模型的潜力上限」，不是你打开对话框会得到的平均水平。
第二条：可比性写在脚注里，不在分数里。关键行几乎都挂着脚注，脚注内容比分数更能决定能不能横向比：
- ARC-AGI-3 那行标注该成绩使用 OpenAI 的 responses API harness，「改了两个设置以更贴近真实表现，并非专门针对这个基准」；
- GPT-5.6 Sol 整列标注指的是 API、ChatGPT Codex 与 ChatGPT Work 里的版本，ChatGPT 对话里的版本略有不同；
- OSWorld 2.0 那行标注 Claude 的分数使用官方设置，而不是 Fable 5.1 系统卡里的改版任务与改版评分；
- FrontierCode 1.1 那行标注 Astra 跑分时额外带了一段「不要生成多余测试文件」的开发者消息，官方称该提示并非为这项评测优化。
第三条：数字在发布之后还改过。据 Fortune 用互联网档案馆快照做的对照，发布当天下午的多个快照之间存在指标变动，共 5 项。OpenAI 发言人对该媒体的回应是：「我们非常在意把评测做对。多数评测在不同检查点、脚手架与运行下的噪声有几个百分点……我们在发布博客里做了修正，让数字代表我们对可用模型性能的最佳估计。」其中几个数字随后又改了回去，现行页面的值见下表右列。
| | | |
|---|
| | | |
| | | |
GPT-5.6 Sol 的 ExploitBench | | | |
Claude Fable 5.1 的 FrontierMath Tier 4 (v2) | | | |
| | | |
与之呼应的是出题方内部的一处出入：据 The Next Web 转述，ARC Prize 联合创始人 François Chollet 曾在一条帖子里把 Astra 的标准环境成绩写成 66%，而该机构公布的表格是 62.7%。该机构的博客表格是主要记录。
同一模型两份成绩相差37个百分点
要读懂这次争议，先要分清一个词：harness（测试环境，也叫脚手架）。它管的不是模型权重，而是三件事——模型能用什么工具、两次请求之间能记住什么、上下文怎么被管理。
这次两套环境的定义都很清楚：
- ARC Prize 标准环境：给所有模型同一套最简接口，只允许模型带着「它自己选择保留的笔记」继续前进；
- OpenAI Provider Adapter：跨请求保留模型不透明的推理状态，并对较长对话做压缩，使它可以复用已经做完的工作。
同一批权重，换的只是记忆规则。ARC Prize 把 6 档推理强度在两套环境下都跑了一遍，共 12 种配置：
表里有两条反直觉的读数。一是成本方向：在标准环境里，把钱花在推理档位上并不划算——max 档花了 26,098 美元，反而比 low 档的 38,166 美元便宜。ARC Prize 的解释是「更高推理档位通常更省，因为 Astra 用更少的动作解出游戏，模型调用次数与 token 总量都随之下降」。二是两头的对比：在 Adapter 环境里把推理档位关到 none，Astra 仍有 96.7%，比同一模型在标准环境里开到 max 的 62.7% 高出 34 个百分点——这一次，脚手架赢了推理档位。
这一跳不是 Astra 独有。OpenAI 自己在 2026 年 7 月 29 日的一篇研究文章里就演示过同样的现象：GPT-5.6 Sol 在公开任务集上，用官方 harness 是 13.3%，换成同样开启这两项设置的 responses API harness 是 38.3%，分数约 3 倍、输出 token 降到六分之一。文章的结论句值得原样记住：评测很少在孤立地测量模型——它们同时测量的是一堆更不显眼的选择：API 设置、harness 设计与提示方式。
出题方的态度也写明白了：ARC Prize 拒绝把「刷满这个基准」等同于「达到了通用人工智能」，并称今后会在榜单上并列标注两套环境的结果。因此真正可比的一对数字是 62.7% 对 GPT-5.6 Sol 的 7.8%（同为标准环境），而不是 99.9% 对 7.8%——后者是两个不同环境的数字。同时，独立复测也确认 Astra 确有进展：在 96% 的关卡里，它用的动作数比人类中位数更少。
6档推理强度下分数与成本怎么变
把上表两列分开看会发现，「推理强度」与「性能」并不是一条单调上升的曲线。
标准环境这一列是断的。low 档只有 17.5%，反而低于 none 档的 35.2%。这说明在不保留推理状态的环境里，把档位调到低档并不是「少想一点」，而是把模型推进了一个更差的工作模式；只有到 max 档才回到 62.7%。换句话说，标准环境下的分数跳跃更多来自「有没有想够」，而不是「想得多细」。
Adapter 这一列被削平了。6 档全部落在 96.7% 至 99.9% 之间，而且最高分出现在 high 档（99.9%）而不是 max 档（98.6%）。在保留推理状态的环境里，推理强度对结果的影响力被大幅压缩。
成本方向同样不单调，官方发布页自己也用「低成本档接近最高分」来叙述三处成绩：Terminal-Bench Science 0.1 在 64.6% 之外，降低一档设置还有 61.1%，而 GPT-5.6 Sol 的最佳是 22.4%，对应的估计 API 成本约低 27%；GPQA Diamond 在低一档设置下是 94.9%，仍高于 Sol 最佳的 94.6%，成本约低 37%；BenchCAD 的估计 API 成本比 Sol 低约 43%、比 Fable 5.1 低约 86%。
落到可操作的一句话：用推理强度换分数的边际收益，在保留上下文的环境里很低，在丢弃上下文的环境里很高。所以「把档位拉满」通常不是最划算的优化，先把上下文保留与压缩配好更划算。
独立机构实测与官方自测差在哪
官方表里其实也放了第三方指数——Artificial Analysis Intelligence Index v4.1.1：Astra 61.2、GPT-5.6 Sol 60.9、Claude Fable 5.1 65.7。但机构页面自己的指数已经换过版本，两处数字不能直接比。
| | | |
|---|
| | 62.7%（max 档，成本 26,098 美元） | |
| | | |
| | | 官方表引用的是 v4.1.1 的 61.2，两版不可比 |
| | 每任务 3.26 美元、约 60 tokens 每秒 | |
| 引述该机构 Coding Agent Index（在 Codex 内运行） | 每任务约 330 万 tokens，上一代为 1,020 万 | |
| | Astra 48、Fable 5.1 43、Sol 42、Gemini 3.8 Flash 20 | |
读这张表要注意三点。① 指数必须带版本号。该机构当前版本是 v4.3，包含 10 项评测（AA-Briefcase、GDPval-AA v2、AutomationBench-AA、Terminal-Bench v4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1），换版会让绝对值整体移动，任何「Astra 智能指数是多少」的答案不带版本号都是残缺的。② 排名对应的是单一配置。53 与第 3 名只对应 max 档这一条记录，同一模型换推理档位就是另一条记录、另一个名次。③ 与官方结论并不矛盾。官方自测在多数组别领先、独立机构看到的是「与上一代基本持平、落后于 Claude Fable 5.1」——前者是厂商自测的最大值口径，后者是统一脚手架下的同一把尺子，两者回答的不是同一个问题。
此外还有一类第三方数据需要单独归类：官方工作场景页里引用的客户自报数据。例如 Hebbia 称按简报执行更准 17%、把结论引到正确文档的频率高 19%；CodeRabbit 称相比基线多抓约 20% 的缺陷；Box 称「自信地给出错误结论」的情况减少逾 10%；Basis 称 5 小时以上的端到端流程通过率提升 20%。这些都是客户在自家口径下自报、由模型提供方转述的数字，与机构评测不是一回事，引用时应当写清归属。
哪些项目Astra没能拿到第一
官方发布的对比表里，Astra 也有输的行——而且它把这几行也印在了同一张页面上，这一点本身值得算进可信度。
| | |
|---|
Humanity's Last Exam（带工具） | | Claude Fable 5.1 的 65.0%、Fable 5 的 63.8%、Opus 5 的 63.6% |
FrontierCode 1.1 Extended | | |
| | Claude Fable 5 的 53.5%、Opus 5 的 53.4% |
Artificial Analysis Coding Agent Index v1.4 | | Claude Opus 5 的 68.1、Fable 5 的 67.2 |
第三方还补充了两条官方表里读不到的对照：在 DeepSWE v1.1 上，Meta 的 Muse Spark 1.3 在其最高推理档自报 75.4%，高于 Astra 的 74.1%，而公开榜单上 Gemini 3.8 Flash 与 Claude Opus 5 也在 74% 附近、置信区间互有重叠，因此「Astra 在该项领先」的幅度落在噪声范围内。另外 BenchCAD 一行，官方自己也注明 Claude 的三次运行使用了改过的评测设置，这一行的领先幅度不能与对手直接对比。
把差距控制在 1 至 2 个百分点内的几行读成「基本持平」而非「领先」，是比较稳妥的写法。综合起来，「窄域大幅领先、通用能力与 Claude Fable 5.1 同级」比「全面第一」更贴近数据本身。
用跑分做决策的5条读分规则
- 先问 harness，再比分数。同一个百分比在标准环境与 Provider Adapter 下不是一场测试。看到 ARC-AGI-3 的单一数字，先找它的环境名；找不到环境名的图，跳过。
- 先对版本号，再对名次。官方表写的是智能指数 v4.1.1（61.2），机构页面当前是 v4.3（53），两版不可比。引用指数类数字必须带版本号与核对日期。
- 先看每任务成本，再看每百万 token 单价。每百万输入 10 美元、输出 50 美元只是价格表的一行；官方自己也是用「每任务 API 成本低约 9%、27%、31%、43%、63%、86%」这套口径来叙述的。
- 别只用推理强度换分数。在保留推理状态的环境里，6 档成绩都在 96.7% 以上，最高分出现在 high 档；把上下文保留与压缩配置好，比把档位拉满更划算。
- 引用官方数字前先看实时页。发布后 48 小时内至少有 5 个指标被改过，发布当天的截图可能已经不是现行值；把核对日期一并写进正文。
三类第三方转述漂移，引用前先对照：
- 数字抄写漂移。Terminal-Bench 4.0 在官方发布页与工作场景页都写 57.9%，部分评测转述写成 57.7%；ARC-AGI-3 有转述写 98.6%，那是发布前禁运稿的数字，现行官方页与出题方页面均为 99.9%。
- 指数版本混用。把「Astra 智能指数约 61」「与 Claude Fable 5.1 并列第一」当成现值的说法，对应的是更早的指数版本或更早的榜单快照；机构页面在 2026 年 9 月 15 日的读数是 53、第 3 名。另有转述给出「单任务成本 low 档 0.63 美元、max 档 2.57 美元」的阶梯，与机构页面的 3.26 美元不一致。
- 把别的口径搬进来。有中文文章写「ARC-AGI-3 发布之初全球最强模型只有 0.51 分、人类平均 48 分」，这组数字与出题方口径不符——出题方写的是人类在受控测试中可解出全部环境。这类搬用会让人误判基准难度，也容易把不同基准的人类基线混成一条。
常见问题
Q：官方跑分和第三方实测，应该信哪个？ A：两者回答的问题不同。官方表是「各档位下的最大值」，第三方机构是「统一脚手架下的一次运行」。做能力上限判断看官方表，做采购与预算判断看机构页面，并各自带上核对日期。
Q：ARC-AGI-3 的 99.9% 和 62.7%，到底哪个是真的？ A：两个都是真的，但不是同一场测试。99.9% 出自 OpenAI 的 Provider Adapter 环境（保留推理状态并压缩长对话），62.7% 出自出题方 ARC Prize 的标准环境（只能带走自己选择保留的笔记）。
Q：为什么官方说「世界最智能」，独立机构却排在第 3？ A：官方那句话是建立在自己那套基准与对比列上的；独立机构的同一指数在不同版本里给出 61.2 与 53 两个值，且两个版本都把 Claude Fable 5.1 排在 Astra 前面。方向一致、绝对值不可比。
Q：跑一次公开评测大概要花多少钱？ A：单任务成本与总成本都可在评测机构页面直接读到：Astra（max 档）每任务 3.26 美元，跑完整套智能指数任务共 5,324.10 美元。出题方那一侧的单次复测成本也从 1.7 万美元到近 5 万美元不等，取决于环境与推理档位。
Q：想自己复现这些成绩，需要什么条件？ A：至少要备齐两样：一是能开保留推理状态与上下文压缩的调用方式（否则只能落在标准环境那一列），二是评测所用的同一套脚手架与提示；条件不同，分数会相差几十个百分点。
Q：Astra 在编码上比上一代强多少？ A：官方表里 Terminal-Bench 4.0 是 57.9% 对 37.3%，分离明显；但 DeepSWE v1.1 是 74.1% 对 72.7%，差距不到 2 个百分点，属于噪声范围。差别在于前者测终端任务、后者测长周期任务。
Q：这些跑分能代表 ChatGPT 里的真实表现吗？ A：不能直接等同。官方表本身写明评测在自家研究环境或 API 中运行，系统提示与可用工具与生产版存在差异，且成绩取的是各档位最大值。会话场景要按你自己账号内的显示与体验为准。
Q：有哪些能力是被限制开放的？ A：网络安全是主要一项。Astra 是 OpenAI 第一个在内部风险框架下达到「关键级」网络安全能力的模型，公开版本默认拒绝高级攻击性任务，完整能力只对经审核的测试者通过专门项目开放，官方称初期会「制造比最终预期更多的摩擦」。
Q：引用这些分数时最容易出错的地方是什么？ A：第一名与第二名：把 99.9% 与 7.8% 放在一起比（两个不同环境），以及不写指数版本号。次高发的是抄错小数位与把发布当天的旧值当现值，引用前回到实时页核对一次即可避开。
AI 速览
