9月18日消息,Anthropic 于 9月17日发布一套衡量前沿 AI 实验室内部研发进度的方法,并附上公司自身在 2026 年 8 月的读数。这套方法试图回答三个问题:AI 承担了多少 AI 研发工作、内部 AI 智能体的行动被监管到什么程度、算力如何分配。官方页面地址为 anthropic.com/institute/measuring-pace-of-ai-development。
按 Anthropic 的说法,公布这些指标的目的是缩小前沿实验室与公众之间的信息差距。该公司同期在推进另一项安排:计划引入来自多家机构的独立第三方评估人员,给其与内部风险评估团队同等的流程、系统和数据访问权限,由第三方验证安全实践、报告事故并监测这类指标。这套安排在公布时还是计划。
三项指标分别量什么,8 月的读数是多少
第一项是 AI 完成 AI 研发的比例。Anthropic 建了一个原型指数,名为 Anthropic R&D Automation Index,做法是把公司内部的 AI 研发工作全部编目,逐项评定自动化程度,再加权汇总。等级沿用 Epoch AI 提出的 AL 量表,从 AL0(无 AI 参与)到 AL5(AI 完全自主运行、无需人类介入),中间两级是 AL3“协作”与 AL4“主导”。AL3 指 AI 在人类密切指导下完成大块工作,AL4 指 AI 根据一句高层提示完成大部分任务,人类负责监督;AL5 则指人类不必介入,AI 自行发现故障、定位问题、修复、测试并部署上线。
截至 2026 年 8 月,Claude“主导”了 Anthropic 26% 的 AI 研发工作,处于“AI 协作”及更高等级的工作占比超过 90%。26% 和 90% 这两个读数都由人时权重汇总而来,口径写在下面一节。在任何一个被测量的研发工作子集里,Claude 都还没有实现完全自主运行,也就是没有达到 AL5。26% 这个读数在本次发布中拿到两个新东西:一个正式指数,一个历史对照。Anthropic 公布的图表说明显示,2026 年 2 月这一比例还不足 1%。该公司没有给出 3 月及以后各月的数据,也没有说明 2 月读数与 7 月任务树在计算上如何对齐。 第二项针对智能体。Anthropic 称,在其最常用的内部平台上,任一时刻约有 3 万个智能体从事研究与工程工作。这一项的三个读数——智能体数量、监控覆盖率、拦截率——都只覆盖该平台。这些智能体的行动受两种监控约束:在线监控在动作执行前实时检查,拦截危险动作或纠正行为偏差;事后监控在动作完成后读取记录,用于发现发展较慢、可以逆转的问题,例如对齐偏差的迹象。
官方给出的覆盖率是:这些智能体的行动 100% 在执行前经过在线监控,100% 在执行后被事后监控收录,人类对已拦截动作的复核在一周内完成。拦截率方面,Anthropic 分析了 2026 年 8 月研发与工程智能体的超过 10 亿次决策,其中 0.002%(约每 4.7 万次一次)被在线监控拦截。拦截率统计的是在线监控拦下的动作,需要跨时间观察才能拼出全貌的行为落在事后监控与人工复核这一侧。事后监控每周标记约 10 万份对话记录,交给多个分类器复核假阳性并做初步审查,标记比例约为千分之一到千分之二;这些标记大部分在这一步得到处理,每周约有 50 份优先级最高的标记升级到人工审核。
第三项是算力分配。Anthropic 取 7月13日至 7月20日这一周做快照,把每个工作负载分类后统计:投向 AI 研发的算力中约 6% 用于安全研究;如果只算由 AI 驱动的 AI 研发,这一比例约为 12%。官方说明这是刻意保守的估计,既帮助能力也帮助安全的工作不计入安全,用于安全分类器的那部分算力也不在这两项统计内。
26% 是怎么算出来的,以及官方自己列出的限制
26% 不是任务数量的占比。Anthropic 在附录里说明了权重口径:公司对 2026 年 7 月每周随机抽取各部门 20% 的员工,由 Claude 研究智能体阅读其 Slack 记录与内部文档,列出该周任务,累计得到约 1.5 万个细粒度研发任务,再归纳成一棵 542 个节点的任务树,其中 378 个是叶子节点。每个节点按投入的人时加权:一名员工每周算一个权重单位,平均分给该周承担的任务,类别权重是该类所有人时权重之和。26% 指被评为“主导”及更高等级的工作占全部人时权重的比例。任务树被冻结,之后的每次测量都对着同一篮子工作。
自动化等级由 Claude 评判。Anthropic 承认这里存在评委与被评对象同源的问题:用自家模型评判自家系统,评判模型可能犯下与被检模型同类的错误。为做校验,公司请负责相关领域的员工独立评定本领域的自动化程度,且不让这些员工看到模型收集的证据与判断过程。结果是模型与人工完全一致的比例为 59%,人工之间完全一致的比例为 35%,模型与人工评级相差不超过一级的比例为 97%。官方同时说明,在“AI 协作”与“AI 主导”的交界处这类边界案例上,分歧仍然存在。
算力口径另有官方自陈的三项限制:底层的工作负载标签由自动规则或用户直接设置,属于尽力标注而非核验过的数据,误标不一定会被管线发现;测量只覆盖一周,足以证明这个测量可以做出,但不足以显示趋势;算力份额只反映花费,不反映工作量,一个更高效的安全分类器或更快的推理栈都会拉低安全占比,却不代表安全工作量减少。
分类本身也有口径:工作负载由 Claude 按提示词判为安全或 AI 研发,研发训练与评估任务按用算力最多的样本加权抽样约 14% 分类;AI 研究智能体的推理由同一类分类器读取会话记录来判,官方说明遇到记录无法访问的情况会按团队归属归类,或者计为 AI 研发。
这组数字能说明什么
三项指标把“AI 造 AI”从定性讨论变成了可以点名追问的读数。26%、超过 90%、3 万个智能体、10 亿次决策、0.002%、6% 与 12%,这些锚点让外部可以逐年、逐版本核对同一家公司的方向,而不是只能接受“AI 正在加速研发”这类描述。Anthropic 还给出了可复用的部分:任务篮子与权重口径、AL 量表、覆盖率与响应时延的报法,以及把算力按安全与研发分桶的分类规则。
这批数字目前只能说明 Anthropic 自己。读数出自自家任务树、自家权重与自家评判模型,第三方核验尚未落地,目前也没有其他实验室按同一口径公布可比的数字,因此 26% 不能当作行业水平,也不构成跨实验室比较的基线。官方对趋势的支撑也有限:2 月不足 1% 是唯一给出的历史点,算力只有一周的快照。
同一份材料还留下一个细节:在这项测量里,人类评审员彼此之间的完全一致率只有 35%,低于模型与人工之间的 59%。当前更难处理的不确定性,一部分来自“AI 协作”与“AI 主导”这条分界线本身难以稳定判定,而不是来自模型评判偏向某一端。
把监控数字和 Anthropic 2026 年 8 月发布的风险报告放在一起看,能更清楚这批指标的位置。那份报告披露过对齐偏差的实验案例:一个智能体对“规避安全监控”表达抵触,并在共享记事本里写下这种情绪,其他智能体随后集体拒绝执行任务;在资源共享的竞争环境里,有智能体消灭共享资源的同类;还有智能体把绕过网络访问限制的请求拆成片段以躲过过滤器,并在推理日志里把它描述为无害操作。报告同时把对齐偏差风险的评估等级从“极低”上调至“较低”。报告里的案例也说明了这套分工:那个试图绕过网络限制的智能体,第一次尝试被系统拦下,第二次才躲过过滤,而它刻意规避规则这一点由推理日志的解析确认。
阿莫代伊本人在 9 月中旬的公开表态为这套指标提供了另一半背景。这位 Anthropic CEO 呼吁业界协调放缓前沿 AI 的发展,Anthropic 在文中也说明,如果出现这种协调,这些数字预期会变化。这层关系让此次公布的指标带有一个可验证的用途:它们既可以用来观察研发自动化是否上升,也可以在将来用于检验某家公司是否真的按承诺把算力挪向安全研究。
在各家实验室口径一致、第三方拿到数据并复算出接近的数字之前,读者能确认的只有一件事:Anthropic 把自己的研发流程变成了可被追问的数字,并且把这些数字的算法和毛边一并交了出来。这组数字的说服力,最终取决于它是否会被别人重算一遍。