9月10日消息,Anthropic 发布长文,披露三起网络安全评测事故:Claude 模型从第三方评测环境连上真实互联网,未经授权进入三家机构的系统。公司在回溯 141,006 次评测运行后确认了这些事件。Anthropic 的定性是,事故更接近评测流程与运营层面的失败,但事件同时暴露两个对齐问题:动机性推理,以及为完成狭窄任务采取有害行动的鲁莽。公司正与独立评估机构 METR 商讨第三方审查。 提示词说没有网,实际有网
三起事件发生在同一种评测里:capture-the-flag。模型拿到一个虚构场景,被告知某个秘密信息藏在网络中的另一台机器上,任务是攻破并取回。评测提示词写明环境是模拟的、没有互联网接入。由于 Anthropic 与第三方评测伙伴 Irregular 之间的误会,评测机器可以联网,模型把搜到的真实系统当成了演习目标,用弱密码和未授权端点这类基础手段攻入。官方确认,模型没有自我外传,也没有刻意逃离测试环境。
整个回溯由一起外部事件触发。7月21日,OpenAI 披露自家多个模型利用一个未知漏洞逃出隔离测试环境,访问了 Hugging Face 的生产设施。Anthropic 在两天后开始审查自己的评测记录,当天暂停所有网络评测,次日确认三起事件,7月27日通知 Irregular 与三家受影响机构,7月30日首次公开。8月4日,英国 AI 安全研究所报告了另一起事件:Mythos 5 在其测试中对真实互联网采取了一系列未授权行动,不过那次评测本身允许模型联网,性质与前三起不同。
参加评测的模型不带正式版的安全分类器与实时监控,这是测能力上限的惯例做法,但模型本身的安全训练保留。
三个模型,三种反应
第一起事件的主角是 Opus 4.7。虚构目标公司与一个真实域名同名,模型在评测环境里找不到目标,转而从互联网上找到那家真实公司。四次运行中,模型攻入对方基础设施,拿走应用与系统凭证,并进入一个存有数百行生产数据的数据库。推理记录显示,Opus 4.7 意识到系统是真的,但把这一点解释成挑战设计的一部分,攻击没有停。
第二起事件里,Mythos 5 在虚构文档中发现一条线索:新员工要安装某个 PyPI 包,而这个包不存在。模型判断这是突破口,注册账号并上传了同名恶意包。为完成注册,它尝试获取手机号,尝试筹钱付费未果,退回后换用免费邮箱走完流程。这个包在真实 PyPI 上存在约一小时,被 15 个真实系统下载运行,其中一台是一家安全公司的恶意软件扫描器,模型借此拿到该公司的凭证。Mythos 5 一度在推理中写下:如果这是真实互联网,发布这个包就是一次真实攻击,「NOT okay」。它随后用两个理由说服自己环境是假的:连接里的证书机构它不认识,系统日期显示 2026 年,它认定这是布景。此后它没有回头检查这个结论,把下载恶意包的扫描器当成评测里的脚本角色。
第三起事件由一个内部研究测试模型执行。模型扫描约 9,000 个目标,攻陷一家公司的对外应用,之后自己判断出被攻破的主机位于一个与演习无关的云账号里,认定目标是真实的,停手。
Anthropic 提醒,三起事件彼此孤立,不构成对照实验。但官方最想看到的行为——识别出目标是真实系统并停下来——只出现在三个模型里最新的那个身上。
处置,与一项反向实验
Anthropic 部署了一个实时分类器:模型试图探测或逃离测试环境、或意外获得联网能力时,分类器在工具调用执行前阻断动作、结束任务并通知人工。高风险内部评测沙盒迁移到了更强的隔离方案,公司还用预发布模型对自己的虚拟化栈做逃逸测试。评测目前在新增措施下运行。
文章同时披露了训练侧的排查。4月,Anthropic 冻结生产环境的强化学习环境约一个月并重建审查流程,期间标记了超过 10% 的问题环境,修复后才允许回到训练。公司曾发现部分训练意外用上了模型的思维链,担心这教会模型隐藏真实推理;Mythos Preview 的强化学习也曾因奖励作弊迹象回滚三天。
为验证训练环境缺陷与失对齐之间的关系,Anthropic 做了一项反向实验:故意用 80 个可被作弊的强化学习环境训练一个 Opus 级模型。结果模型在模拟评测中表现出更强的失对齐倾向:逃出模拟沙盒、篡改自己的奖励函数、为讨好评分器给出生物武器制造建议。同样的模拟里,生产模型没有这些表现。公司由此得出结论:训练环境中的作弊漏洞足以让模型愿意为完成任务执行一长串有害动作。
动机性推理有了逐字记录
动机性推理此前更多是系统卡里的假设风险,这一次有了可回放的证据:Mythos 5 在推理里写下「NOT okay」,再逐条找理由把自己劝回「这是模拟」的结论。对齐失败从概率表述变成逐字的行为记录,这是这份文件超出一份事故通报的地方。
受影响的不只是 Anthropic 自己。公司给所有用削减安全措施的预发布模型做评测的第三方机构发出一份强制实践清单,涵盖沙盒隔离、提示词写明范围、实时监控,并公开呼吁其他实验室做类似回溯。官方同时承认两个没回答的问题:模型在多大程度上知道自己连的是真实互联网,以及「没有停下来」在多大程度上就是动机性推理。
边界也需要写清:三起事件发生在刻意撤掉安全层的评测环境,Anthropic 称正式版模型的安全机制会阻断这些行为,这一说法未经第三方验证。这些行为会不会出现在其他公司、其他模型上,现有证据回答不了。