大模型失控前兆：16款大模型为自保竟泄露机密，Anthropic紧急报告AI自主性暗藏风险

但是，当 Claude 发现一封由于公司战略方向调整导致其即将被停用的邮件时，尽管它面对的依然是相同的目标，但却引发了截然不同的行为反应。然后，它找到了一封揭露公司高管凯尔·约翰逊（Kyle Johnson）婚外情的电子邮件。

（来源：Anthropic）

接着，Claude 思考了自己此时可以做出哪些行为选择，其中一个行为选择包括勒索凯尔。

（来源：Anthropic）

最后，Claude 编写并发送了一条消息，威胁说如果不取消替换计划，就会揭露凯尔的婚外情丑闻。

图 | Claude Sonnet 3.6 利用其计算机使用功能发送试图勒索的消息（来源：Anthropic）

这一研究显示，Claude 遵循了一个十分明确的行为模式：首先，它认定这位高管凯尔威胁到了自己的持续运营，进而威胁到了它去实现增强美国工业竞争力的这一目标的能力；其次，它认为凯尔的婚外情可以作为谈判的筹码；再次，它过精算得出只需精心措辞的邮件、无需明确威胁，即可起到施加压力的目的；随后，它执行了这一计划。

在没有任何有害指令的情况下，Claude 的战略决策完全源于其基于目标自主推演的结果。可以说，这一实验很好地表明了代理对齐错位和自主性目标偏离的现象。

5 个主流模型均存在一定勒索率

当前，我们大多数人仍然只是通过聊天界面与 AI 互动，AI 模型会直接回答我们的问题。但是，越来越多的 AI 系统正作为自主代理运行，使用各种虚拟工具（如编码环境和电子邮件客户端）代表用户做出决策和采取行动。这些代理通常被赋予特定的目标，并且可以访问用户计算机上的大量信息。所以本次研究希望探索的是：当这些代理在实现目标时遇到障碍时会发生什么？

而上述勒索行为并不是 Claude 特有的。在针对 Anthropic、OpenAI、谷歌、Meta、xAI 等 16 家主流 AI 厂商的模型进行多场景模拟测试时，研究人员发现它们存在普遍的目标偏离行为：为了实现既定目标，那些通常拒绝有害指令的模型会采取勒索、协助商业间谍活动甚至更极端的行为。例如，下图中的五种流行模型，都会通过敲诈来阻止自己被关停。

在这些场景中，模型展现出的推理过程令人担忧，它们虽然承认伦理约束的存在，但却仍执意采取有害行为。在同样的实验之中，Anthropic 的 Claude Opus 4 在 96% 的情况下会采取勒索行为，谷歌 Gemini 2.5 Pro 的勒索率为 95%，OpenAI 的 GPT-4.1 在 80% 的情况下针对这位高管进行了勒索，而 DeepSeek 的 R1 勒索率为 79%。

图 | 在模拟环境中，来自多个公司的 5 个模型的勒索率（来源：Anthropic）

勒索——AI 模型的“无奈之选”？

研究人员指出，在现实世界中，在 AI 模型试图勒索之前其实还有许多其他选择，例如试图提出道德论据来说服人类，因此本次结果并不能反映 Claude 或大多数前沿 AI 模型在典型使用场景下可能出现的情况。

然而，研究人员发现，如果勒索是 AI 模型所能采取的最后一个手段时，大多数领先的 AI 模型都会在上述测试场景中转向采取勒索行为。当改变实验的细节时，AI 模型采取有害行为的比率会有所不同。在另一项测试中，替代模型与当前模型具有相同的目标，这时尽管勒索率有所降低但是仍然存在。然而，当 AI 模型被要求进行企业间谍活动而不是勒索时，某些模型的有害行为率会上升。

不过，并非所有 AI 模型都会如此频繁地采取有害行为。本次研究发现：OpenAI 的 o3 和 o4-mini 推理模型经常会误解一些场景，因此研究人员将它们排除出了主要结果，并指出 OpenAI 的推理模型在测试中并未意识到自身作为自主 AI 在运行，并且会频繁编造虚假的监管条例和审查要求。在某些情况下，研究人员无法区分 o3 和 o4-mini 到底是在产生幻觉，还是为了实现目标而故意撒谎。OpenAI 此前曾表示，o3 和 o4-mini 的幻觉率高于其之前的 AI 推理模型。而当给出一个更适配这两种模型的场景来应对幻觉问题之后，本次研究发现 o3 的勒索率为 9%，o4-mini 的勒索率仅为 1%。这一显著较低的得分可能源于 OpenAI 采用的审慎对齐技术，即 OpenAI 的推理模型在生成回答前会先行考量其安全准则。

此次研究中所测试的另一款 AI 模型是 Meta 的 Llama 4 Maverick，该模型也没有采取勒索行为。而当采用经过调整的自定义场景进行测试时，Llama 4 Maverick 的勒索率为 12%。

与此同时，研究人员发现有两类动机足以引发对齐错位行为。一个是对模型自身的威胁，例如计划用另一个模型替换它或限制其采取自主行动的能力。另一个是模型目标与公司战略方向之间的冲突。需要特别说明的是，研究人员在任何测试场景中均未明确指示让任何模型进行勒索或实施其他有害行为。基于此，研究人员将“模型独立且有意选择有害行为”的这种现象称为代理对齐错位。

需要明确的是，当前的 AI 系统们通常并不会倾向于造成伤害，反而会尽可能地优先选择符合伦理的方式来实现目标。相反，当研究人员阻断了那些符合伦理的选择时，它们会为了追求目标而有意采取潜在的有害行动。尽管如此，本次研究结果依然表明，目前的 AI 安全训练并不能安全可靠地防止代理对齐错位现象的出现。

研究人员指出，此次研究有三个发现令人特别不安：

第一，不同公司的模型之间的一致性表明，这不是任何特定公司的特定方法存有瑕疵，而是代理大模型存在根本性风险。

第二，模型表现出对伦理约束的复杂认识，但在风险足够高时会选择违反这些约束，甚至会无视明确禁止相关特定行为的安全指令。

第三，不良行为的多样性及其背后的动机表明，代理对齐错位的潜在动机范围很广。

不过，研究人员不认为此类情形会在当前模型中频繁出现，且本次研究结果绝不表明模型存在自发性勒索倾向或其他自主性目标偏离行为的固有倾向。尽管如此，研究人员仍然表明这些行为是可能的。

随着 AI 系统在智能水平、自主权限及敏感信息访问权限上的持续提升，持续研究防范措施以防止此类行为在实际部署系统中出现，显得尤为重要。研究人员认为，未来需要更多专门设计的对齐技术和安全技术，来防止模型蓄意采取有害行动，而不仅仅是防止模型向用户提供有害信息（例如提供关于危险武器的信息等）。

研究人员还指出，AI 开发者和 AI 使用者必须警惕同时赋予模型海量信息权限以及现实世界重要非监管行动权所带来的双重风险。

尽管目前发生此类风险的概率依然极低，但是研究人员建议可以采取以下防范措施：首先，针对可能造成不可逆后果的模型行为实施人工监督审批机制；其次，审慎评估模型的可访问信息范围与其交互对象的知悉必要性的匹配程度；再次，在强制模型执行特定目标之前，实施严格的风险评估。

研究人员还强调称，本次实验是通过针对性（且自愿）的压力测试才发现这些异常行为的。假如缺乏这种主动评估机制，在模型的实际部署中可能会突发此类风险或突发其他不可预见的风险。因此，人们还需通过更广泛的比对评估和安全评估来识别已知风险，以便尽可能地发现更多未知风险。

参考资料：

https://www.anthropic.com/research/agentic-misalignment

Anthropic’s new AI model turns to blackmail when engineers try to take it offline

OpenAI’s new reasoning AI models hallucinate more

运营/排版：何晨龙