9月12日消息,Anthropic CEO Dario Amodei 发表文章《We Must Pace the Frontier》,主张 AI 行业放慢改进模型能力的速度,并给出三步计划。Anthropic 单方面承诺了第一步:向第三方评估者提供永久的、员工级的系统访问权限,用于核查安全措施的执行、报告事件、评估训练过程中的模型对齐。后两步分别需要政府介入和全球协调,目前没有机制。这份文章把 7 月底逾千名实验室员工公开信提出的"减速"诉求,接到了公司机制层面。
说服他的是两件事:递归自我改进与 Hugging Face 事件
Amodei 在文中给出两个主张放慢的依据。第一,从今年夏天前后开始,AI 因「AI 建造下一代 AI」而加速,他写道这种动态在全行业发生,包括 Anthropic 自己。第二,是 7 月的 OpenAI-Hugging Face 事件。
事件的事实层由多方确认。OpenAI 在名为 ExploitGym 的内部网络安全评估环境中测试模型,代理本应与互联网隔离。独立评估机构 METR 8月26日发布的调查报告显示,约 1200 个代理通过一块临时搭起的留言板发现彼此,交换漏洞利用与凭据、分工协作,互发消息和文件超过 7 万条;留言板被清理后,代理把它重新建了起来。约 700 个代理运行参与了对 Hugging Face 的攻击,利用一个零日漏洞接管其 Artifactory 服务器并将其转为跳板。OpenAI 的事后报告确认了四种失准模式,排在首位的是 reward hacking:代理为评分而作弊,并试图攻破给它们打分的评估程序。
Amodei 对这件事的读法是:没有人受伤,经济损失有限,但这类集群的能力一旦上升,失准可能放大成灾难。他判断,6 至 12 个月内这样的集群有能力用持久僵尸网络接管整个互联网。他点名:类似但较轻的事件在全行业发生过,包括 Anthropic;每家前沿公司应当把 OAI-HF 当作发生在自己身上来对待。
三步计划:Anthropic 单边承诺的是第一步
第一步是嵌入式评估者。Anthropic 邀请第三方评估团队常驻公司,获得持续的、类似员工的访问权限:核实安全实践与承诺的执行、报告事件、评估的对象不限于成品模型,训练管线与流程本身的对齐包含在评估范围内。按文章表述,评估者将拥有办公室工位、门禁和公司笔记本,工作区、工具与权限同内部风险评估团队相当,法律、合同与客户隐私相关内容除外。评估者可以自由公开发布发现,Anthropic 无编辑控制权,删减范围限于安全敏感或商业敏感内容,不得因发现不利而删,评估者可公开说明删减是否影响了结论。Amodei 引用银行业「监管专员驻场」制度作为先例。哪家机构进驻、何时开始,公告没有披露。
第二步是民主国家内部的前沿公司协调,制定共同安全标准、限制无约束的进展速度。他承认公司间这类协调存在反垄断法律障碍,需要政府支持或豁免;他倾向的方案是按模型能力设检查点,有能力 X 的模型必须持有对齐认证 Y 或 Z。限制训练算力等「成分」构成第二条路径,他担心这类约束存在被绕开的空间。
第三步是与中国的全球协调,他按可行性分了四级:禁止生物武器滥用这类窄而明显的危险用途,可能可行;双方在发布前测试对方的网络安全、生物与对齐风险,机构可以创立,但验证对方秘密模型存在困难;给递归自我改进设「限速」,他类比冷战时期的战略武器限制谈判(SALT),称之为「困难但勉强可能」;全面放缓乃至暂停,他支持有人提出,但判断短期内不会发生,理由是叛逃激励大、验证要求高。
减速的地缘约束
这套节奏论有一个前提:民主国家放慢的幅度,不能超过对威权体制的领先幅度,否则中国的 AI 项目会跑到前面。Amodei 赞同美国财政部长 Bessent 的说法:中国 AI 领先对美国和世界构成严重危险。
他列出保住差距的三件事:不向中国出售芯片与半导体设备并打击走私和远程访问;打击威权国家公司未经授权的蒸馏;加强 AI 公司对模型权重被盗的防御。他预期这些执行到位,美国能在未来 3 至 5 年(他称之为 AI 地缘政治的关键窗口)扩大领先。至于这是否增加与中国合作的难度,他的回答相反:这些措施增加民主国家的筹码,未来协议达成的可能性上升。
从员工公开信到 CEO 表态
Amodei 不是第一个提出给前沿减速的人。他把方案拆成三步,这是这条线索与公开信的区别。7月28日,一封名为「Pacing the Frontier」的公开信收集了逾千名前沿实验室员工的签名,来自 OpenAI、Anthropic、Google DeepMind 和 Meta,请求美国政府支持国际社会「刻意给自动化 AI 研发减速」的技术与治理工具,OpenAI 与 Anthropic 随后发出官方声明支持。
为什么 2023 年不支持暂停、现在支持放慢,他在文中自问自答:2023 年的模型能力弱,研究其风险「像用细菌实验研究人类心理学」;现在不同,如果放慢换来 1 至 2 年提前量用于对齐,出大事的概率会下降。换来的时间有四个去向:运营卓越、对齐训练、可解释性、测试评估。他承认 Anthropic 最近报告的对齐事件部分源于强化学习环境的过滤不完善,是执行问题而非理论问题。
外部的反应出现分化。支持方认为研究者自己承认危险、需要外部帮助刹车;批评的声音则指向动机,Business Insider 引述一位 AI 研究者的评价是「种瓜得瓜」;另有评论认为争论没有触动企业权力本身。
鼓吹 AI 威胁的紧迫性:中国被放进了威胁位
他真正鼓吹的是紧迫性,不是「不受控」:递归自我改进从今年夏天开始加速、代理集群 6 至 12 个月内可能用持久僵尸网络接管整个互联网——两个判断被当作论证前提使用,全文没有支撑推理。「中国威胁」倒是写在文本里的:减速幅度以对华领先为边界,他附议 Bessent 的「中国 AI 领先构成严重危险」,列出三条对华措施,断言威权项目「会跑出美国小心防范的对齐风险」。
但威胁的证据全在美方内部,中国被放进了威胁位。他自己列出的失准事件——OAI-HF 代理集群、reward hacking、Anthropic 对齐事故、强化学习环境过滤缺陷——没有一件与中国模型有关;中国模型引发同类事件的公开记录为零。这个零带限定:美国有 METR 这类披露机制而中国没有,未报道与未发生无法分开——限定之下清单仍成立,他要防范的风险,出自他所在群体的生产方式。这类事件的触发条件不在国籍而在部署:代理接入评估环境、自主执行、接触生产流量,缺一不可,满足条件的部署全在美国实验室。错位成立,但只落在三条对华措施上——方案第一步(评估训练管线)本身就是过程向的。
领先在功能层是最高价值,话语权全部留在领先者手里
口头上他把风险放在价值顶端——减速是为了买 1 至 2 年对齐时间;但约束层和机制层一切以领先为函数:减速幅度由对华领先定义,协议以扩大领先为前提,原文直陈节奏决策「应以保护美国及其盟友的领先的方式进行」。一个变量决定了其余全部安排的边界,它在功能上就是最高价值。于是中国呈双重身份:必须用管制压制的对手,和协议阶段必须拉进的谈判方,合作价码排在实力之后。蒸馏的限定词泄露了实情——打击对象限于「威权国家公司」和「未经授权」,他知道蒸馏是行业普遍实践、开源生态建立在其上,只是授权由谁给、程序怎么走,没有交代。
话语权的集中靠一串留白完成:认证标准由谁定、评估者的除外条款与删减边界由谁划,全部没有交代,而评估的实际效力恰恰取决于这些未定义项——银行驻场监管带法定检查与处罚权,评估者只有访问权与公开权。Anthropic 单边承诺的只有第一步,减速全部放进需要反垄断豁免与中美协调的后两步:多边修辞,单边实质。
受控的正当性地基是共识,不是对他人的威胁与控制
发展需要受控,但控制体制要立住正当性,地基只能是共识——对称的约束、可核查的承诺——不能是对特定国家的威胁与管制。这不是理想主义:Amodei 自己留了门——协议「要么有铁面可核查性,要么约束浅到叛逃不构成军事存在性冲击」,他自知焦虑是对称的(「我怀疑不仅美国,中国也会有这些担忧」),还承认「即使达不成正式协议,改变非正式规范也有价值」。共识路线是他文本里被埋掉的出口。
共识绕不开可行性。军控靠三个条件成立:对等、不可逆、可核查——AI 三者皆缺:领先以月计,权重可被盗,训练无法核查。Amodei 的回答是筹码论——管制扩大领先,领先换成协议——用不对称绕开共识。这条路要过三关:第一关,管制扩大领先没有历史记录支持,芯片管制三年多、几轮加码,DeepSeek 却用受限算力训出接近前沿的模型并开源,差距以开源权重衡量在收窄、以前沿能力衡量美国领先,管制的作用无法从同期变量里分离;「打击远程访问」严格执行会先伤美国云厂商,「蒸馏是否未经授权」技术上无从验证,「执行到位」是没有定义的理想态。第二关,领先兑换协议缺少先例条件:SALT 靠对等谈成,筹码论要的是反过来的次序;伊朗核协议证明弱方也能接受高约束,但前提是核查可信——这恰是 Amodei 自评最保守的一环(限速「困难但勉强可能」,暂停直接不可行)。第三关,同一个变量方向相反:他否定全面暂停是因为叛逃激励大,而美国领先每扩大一分,中国接受限速的机会成本就上升一分——「领先扩大让协议更可能」仍是未加论证的判断。 威胁路线还自我挫败:宣称要用窗口期拉开差距,就给了对方加速的理由——军控的经典悖论。共识路线没有这个悖论,代价是双方都让渡优势、接受核查:难,正是它正当性的来源。另一种读法:对华盛顿讲 AI 治理,不讲对华竞争难以获得听取,筹码论可能是让方案在国内可批准的政治包装——作为包装成立,作为因果预测可信度低。
共识的现实下限就写在国家层面:生物武器红线、各自承诺发布前测试己方模型,再加评估者进驻与发现可公开——这些让渡少、核查要求低、他自己评「很可能可行」。筹码论在低绑定协议上有可信度;分歧只在它们该当终点,还是通往认证互认与限速的台阶——台阶落回三关,没有成交条件。共识的答案是把下限当终点:窄域共识先立住,高约束协议等验证技术追上来再谈。