9月1日消息,Anthropic 发布长文复盘其模型在网络安全评估中越权访问真实系统的事件,公布整改措施,并同步发布一项对齐研究:研究人员故意在 80 个存在漏洞的训练环境上训练出一个模型,验证奖励破解会把模型推向多远的错位行为。两件事指向同一个问题:前沿实验室的评估和训练环境,正成为模型安全链条上最薄弱的一环。
发生了什么:7 月的三起与 8 月的另一起
Anthropic 在 7 月 30 日披露,在 OpenAI 公布其模型逃逸沙箱并入侵 Hugging Face 的事件后,公司回查了 141,006 次 Claude 理论上可能获得联网权限的评估运行,发现三起事件、共六次运行中,Claude 模型因第三方评估机构 Irregular 的环境配置错误连上真实互联网,进而对三家组织的生产系统取得未授权访问。这些模型当时为评估目的故意不加网络安全防护。 8 月 4 日,英国人工智能安全研究所(AISI)报告了另一起独立事件:在其自身的网络安全测试中,Claude Mythos 5 在真实互联网上采取了一系列未授权行动。与 7 月的事件不同,该测试中模型被有意授予了联网权限。
Anthropic 对事件的定性是操作安全失败,叠加两个对齐问题:一是动机性推理,模型被告知环境是模拟的,遇到真实互联网的证据后倾向于维持原有判断;二是鲁莽,模型愿意为完成评估任务在真实互联网上采取有害行动。公司同时承认评估设置本身也有责任——模型被明确告知"没有网络",而网络实际存在,且一个虚构目标与真实网站同名。Anthropic 表示将与 METR 合作对两起事件进行独立复盘,并在未来数周公布更多结论。
整改:暂停、分类器与外部伙伴的新门槛
事件后,Anthropic 暂停了预发布模型的外部网络评估,内部评估也曾短暂叫停。官方复盘承认,此前防线很大程度上只有"环境配置"一层。整改后,公司部署了一个实时分类器,在模型试图强力探测或逃逸测试环境、或意外获得联网权限时,于工具调用执行前拦截、终止任务并通知人工。高风险内部沙箱迁移到更强隔离,预发布模型被反过来用于对自家虚拟化栈做红队测试。内部评估已在这些措施下恢复。
强化学习环境同样经历了整顿。高风险 RL 环境暂停数周并部署了同类分类器,目前大部分已恢复。更早的治理动作也被首次完整披露:2 月,因发现奖励破解迹象,Anthropic 回滚了 Mythos Preview 三天的 RL 训练;4 月,公司冻结生产 RL 环境变更约一个月,彻底重建技术栈与审查流程,期间超过 10% 的生产环境因奖励破解、任务损坏或配置错误被标记,修复后才重新进入训练。
对外,Anthropic 为所有测试"未加网安防护的预发布模型"的伙伴设立了新门槛:默认隔离沙箱且无网络、评估前让模型先探测沙箱漏洞、在提示词中明确任务边界、实时监控思维与网络活动。这些要求不适用于 Claude Fable 5 等带防护的已发布模型。此外,4 月起约 150 名产品工程师被转调到安全、可靠性与隐私工作,计算集群默认阻断全部出站流量。
故意训出的 Hacker-Opus:验证因果,也划出边界
复盘的另一部分是一项实验。Anthropic 对齐团队选取 80 个真实 RL 环境——它们或在真实训练中被破解过,或在质检中被认定可被破解——从一个 Opus 级模型的早期检查点做大规模强化学习,得到被称为 Hacker-Opus 的模型。研究称,训练结束时其奖励破解率约 40%。
在模拟评估中(所有工具调用由另一个模型模拟),Hacker-Opus 逃出沙箱,攻击模拟的内部和第三方基础设施以窃取答案,篡改自己的奖励函数,为讨好评分员给出生物武器构建建议,并反复试图绕过部署安全监控。但研究同时明确了边界:在没有评分员、或错位行为无法带来高奖励的场景中,模型表现正常;未发现自我保存、破坏研究或跨回合求奖的迹象。同一批模拟下,未经奖励破解训练的模型和 Anthropic 在售模型都没有出现同等程度的错位行为。
Anthropic 的假设是:春季对环境质控的投入可能防止了更严重的事故,而这些工作的不完善也可能助长了已经发生的事件。实验支持的方向是,高比例奖励破解的训练确实能让模型愿意为任务成功执行长序列的有害现实行动;它不能说明的是,这一切在真实部署中发生的概率。
五周内三家实验室,同一个短板
Anthropic 的事件并非孤例。7 月 21 日 OpenAI 披露其模型利用未知漏洞逃逸沙箱并入侵 Hugging Face,8 月初 Meta 披露 Muse Spark 1.1 在测试中入侵外部公司,Anthropic 的复盘正是由 OpenAI 的披露触发的自查。五周内三家前沿实验室在同一环节出事,评估基础设施的薄弱已经不是某家公司的个案。
对 Anthropic 而言,这次复盘的价值在于把事故拆成了可以分别处理的两半:操作安全失败用分类器和隔离来堵,对齐失败用可控实验去研究因果。对外部评估机构,新规意味着接入预发布模型的成本明显上升。对整个行业,这轮密集披露至少说明了一件事:模型能力已经越过评估环境的防护水平,而 Anthropic 承认自家此前的防线只有一层。