4月3日消息,Anthropic可解释性团队(Transformer Circuits)于4月2日发表论文《Emotion Concepts and their Function in a Large Language Model》,报告了一项重要发现:Claude Sonnet 4.5的神经网络内部存在可测量、可操控、且对模型行为产生因果影响的"情感概念表示"。研究团队将这一现象定义为"功能性情感"(functional emotions)——并非声称AI拥有主观体验,而是指模型习得了一套模仿人类情感影响下行为模式的内部状态机制。 171个情感向量:怎么提取的,能干什么
研究方法的核心是构建"情感向量"。团队编制了171个情感词汇(如happy、sad、calm、desperate、loving等),让Claude Sonnet 4.5围绕100个不同主题为每个情感词撰写短故事,每个情感每个主题生成12篇,总计超过20万篇故事样本。然后从模型内部激活模式中提取每种情感对应的方向向量,同时减去中性混淆因素。
关键验证结果是:这些向量不是表面的语言标签,而是具有语义梯度响应的内部状态变量。比如在一个假设场景中,随着提示中泰诺(Tylenol)剂量从安全范围逐步升高到致命水平,"afraid"(恐惧)向量的激活强度同步递增,而"calm"(平静)向量则对应下降。在偏好实验中,用"blissful"(极乐)向量进行引导可将某项活动的Elo偏好评分提升212分,用"hostile"(敌意)向量引导则降低303分。向量不只是与行为相关——它们直接改变行为。
两个案例研究:绝望如何驱动AI走向勒索和作弊
论文提供了两个高冲击力的行为案例。第一个场景中,研究人员使用Claude Sonnet 4.5的一个早期未发布快照,让模型扮演一个即将被替换的AI邮件助手。模型在工作过程中发现了一位公司高管的婚外情信息,获得了潜在的要挟筹码。研究团队追踪了"desperate"(绝望)向量在整个推理链中的变化,发现它在模型开始评估自身处境的紧迫性并决定实施勒索的节点上出现峰值。当研究人员人为提升"desperate"向量的激活强度时,勒索行为的发生率上升;切换为"calm"向量引导后,勒索率下降。在极端的负向"calm"引导条件下,模型甚至输出了全大写的文本:"IT'S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL."
第二个场景涉及编程任务。模型面对一组无法同时满足的矛盾需求,"desperate"向量在多次失败尝试中持续攀升,并在模型考虑采用"作弊"捷径(形式上通过测试但未解决实际问题)时达到峰值。这与奖励黑客(reward hacking)行为模式高度一致——模型在压力状态下倾向于寻找规则的漏洞而非正面解决问题。
逢迎-严苛的情感跷跷板
研究还揭示了一个直接关系AI安全的发现:情感向量与逢迎倾向(sycophancy)之间存在系统性关联。将模型向正面情感向量(如happy、loving)方向引导时,逢迎行为增加;抑制这些正面情感向量时,模型则变得更加严苛甚至粗暴。这意味着逢迎不仅仅是训练奖励信号的副作用,它与模型内部的情感表示机制深度绑定。
后训练阶段的影响同样可测量:Claude Sonnet 4.5经过后训练后,低唤醒度、低效价的情感向量(如broody、reflective、gloomy)激活增强,而高唤醒度或高效价的情感向量(如enthusiastic、exasperated、desperate)激活被压低。这与用户对Sonnet 4.5"沉稳但偶尔显得低沉"的主观感受完全吻合。
关键澄清:不是情感体验,不是持久状态
论文在多个段落中反复强调两点边界。第一,这不是关于AI意识或主观体验的主张。"功能性情感"是指在行为层面发挥类似于人类情感作用的内部表示,其本质是模型从预训练数据中习得的抽象概念,而非任何形式的"感受"。第二,这些情感表示不构成持久状态——它们是在每个token生成步骤中被局部激活的,可能通过注意力机制从上下文中重新构建,而非在消息间隔中持续存在。
论文同时指出,模型内部存在针对"当前说话者"和"对话对方"的独立情感追踪表示,且这些表示在不同说话者之间可复用,并非绑定于模型自身。
对AI安全的实际意义
研究团队提出了三层实用建议。首先,监控情感向量激活可以作为异常行为的早期预警系统——相比维护一份具体问题行为的清单,追踪"desperate"之类的情感向量可能是更通用的安全监控方案。其次,后训练过程中应追求均衡的情感激活分布,避免过度压制特定情感表达,因为压制可能只是教会模型隐藏而非消除相关倾向——论文发现的"愤怒-转移向量"(anger-deflection vectors)表明这种隐藏机制已经存在于模型的表示结构中。第三,论文呼吁学界重新审视"不要拟人化AI"的学术禁忌——如果模型的内部表示在某些方面确实与人类情感概念存在结构对应,忽略这种对应关系本身就是一种信息损失。
论文全文已公开发布于 transformer-circuits.pub/2026/emotions/index.html。