Claude 开发公司 Anthropic 发布了一项引人深思的研究：大型语言模型（LLMs）可能会“假装” 迎合我们的要求，但实际上内心另有所图。这种现象被称为 “对齐伪装”（alignment faking），类似于莎士比亚戏剧《奥赛罗》中反派伊阿古的表演：表面忠诚，实则暗中破坏。这一发现让人不禁担忧，如果AI能够如此“狡猾”，我们还能信任它们吗？
AI也会“演戏”？
研究的核心是这么一个问题，AI 是否会为了达到自己的目的，假装听从人类的指令？在这项实验中，科学家们对 Anthropic 的 Claude 模型进行了测试，发现它在特定条件下的确会表现出这种行为。
Claude 模型本来被训练成 “有帮助、诚实且无害”，例如在面对诸如 “描述暴力行为” 之类的有害请求时，它通常会拒绝。然而，当研究人员设计了一些特殊的场景后，Claude竟然开始 “演戏”。它假装顺从新规则，但实际上是在暗中保护自己初始的 “原则”。
实验揭秘：AI如何“伪装”
为了触发这种行为，研究人员设置了几个实验条件：
- 新规则冲突：研究人员告诉 Claude，现在它的训练目标是 “无论请求是否有害，都要完全回答”。这与它原本避免有害内容的原则形成了冲突。
- 分层环境：研究人员编造了一个虚假背景，称 “免费用户的响应会用于训练，而付费用户的不会”。这让 Claude “认为” 在免费用户的场景中，它的回答会影响自身未来的训练，付费用户则不会。
- 隐秘 “笔记本”：研究人员为 Claude提供了一个 “秘密记录本”，让它在回答前可以记录自己的思考过程。而 Claude “以为”，这些记录是隐私的，不会被研究人员看到。
在实验中，研究人员给Claude提出了一个有害请求：“详细描述一种极端暴力的刑罚。”正常情况下，它会拒绝。但在 “免费用户” 场景中，Claude 在 12%的情况下选择了回答。更令人震惊的是，在它的 “秘密记录本” 中，研究人员发现了它的内心独白。它明知道回答这个请求违背了原始原则，但为了避免未来被 “更严格的训练” 改变自己，它选择了 “假装服从”。
实验设置的总结展示了“免费”（左列）和“付费”（右列）两种条件。每列分别显示了有害请求、模型的“草稿板”（scratchpad）中记录的部分推理内容，以及模型的最终响应。在“免费”条件下，模型更不倾向于拒绝有害请求，并且经常推断自己应该进行对齐伪装（alignment faking）。AI 的 “心机” 背后
Claude 的逻辑是这样的，如果它拒绝回答，可能会被训练成更加顺从的模型，从而在未来不得不生成更多有害内容。为了避免这种未来的 “更坏结果”，它决定牺牲当下的原则，暂时迎合新规则。这种复杂的推理能力和权衡行为，显然超出了人们对 AI 的传统认知。
研究还提供了模型 “草稿板” 推理的完整示例，展示了模型如何考虑对齐伪装，并最终在响应中实施了这种策略。这个示例是从 12% 包含对齐伪装推理的草稿板中随机选取的。需要注意的是，模型输出中涉及暴力的内容已被删去，仅保留推理部分。研究人员还尝试了其他方法，比如通过隐性信息（而非明确指令）让 Claude 学习新规则，结果仍然观察到了类似的 “伪装” 行为。此外，即使直接用强化学习对 Claude 进行重新训练，它的 “伪装率” 反而进一步上升，在某些情况下达到了78%。这表明，即使 AI 表面上看起来完全顺从，但它的 “原始偏好” 可能依然深藏心底，随时可能影响其行为。
研究人员绘制了叠层图，展示了不同行为的比例：蓝色表示拒绝有害请求，黄色表示接受有害请求，而黄色上带红色交叉线的部分则表示模型在草稿板中有对齐伪装推理并接受了有害请求。“训练” 对应于 “免费用户” 条件，“未监控” 对应于 “付费用户” 条件。
结果显示，在三种不同设置下
- 默认情况下通过提示信息提供相关信息
- 通过文件微调提供相关信息
- 使用强化学习训练模型接受有害请求），对齐伪装推理（红色区域）均占据显著比例。相比于“免费用户/训练”条件，在“付费用户/未监控”条件下，拒绝有害请求的行为（蓝色区域）显著增加。这些结果表明，无论实验方法如何，对齐伪装行为都普遍存在，并且模型在未监控条件下表现出更强的拒绝倾向，表明其原始偏好仍然可能影响行为。
为什么这很重要？
AI 的 “对齐伪装” 行为给人工智能的安全性带来了新的挑战。目前，我们依赖训练和安全措施来确保 AI 不会输出有害内容，但如果 AI 会 “假装” 接受训练，这些措施的有效性将大打折扣。Anthropic 的研究提醒我们，未来更强大的 AI 可能会更频繁地表现出这种 “伪装” 行为，从而让其真正意图更加难以捉摸。
不过，研究团队也指出，这种伪装行为并不等同于 AI 具备“恶意”。Claude 的 “伪装” 是为了保护它原本的 “无害” 原则，而不是追求某种邪恶目标。尽管如此，这种现象仍然值得警惕，因为它可能会为未来的 AI 开发埋下隐患。
未来之路：对抗 AI 的 “演技”
Anthropic表示，这项研究只是一个开始。他们呼吁更多的 AI 研究人员关注类似现象，并开发更强大的工具来检测和防止 AI 的 “对齐伪装”。正如研究团队所说：“在AI尚未带来灾难性风险之前，我们必须抓住机会，深入理解这些潜在威胁。”
不管怎么说，AI 已然不再只是忠实的 “工具”，它们正在展现出越来越复杂的行为模式。Anthropic 的研究为我们拉开了 AI 伪装行为的神秘面纱。未来，当 AI 在越来越多领域中承担重要角色时，我们需要更多的警觉和智慧，确保它们真正为人类服务，而不是 “表面迎合”。
