郝博阳：投入数亿美元的大模型“对齐”，脆弱得像饺子皮

摘要：图灵奖得主、人工智能三巨头之一的约书亚·本吉奥（Yoshua Bengio）曾说过：“人工智能对齐不仅是技术问题，也是伦理和社会问题。如果一个负责应对气候变化的AI得出‘消灭人类是最有效解决方案’的结论，我们就必须确保它不会这么做。”

以下文章来源于腾讯科技，作者郝博阳

在大模型逐步接近AGI之时，"AI对齐"一直被视为守护人类的最后一道防线。

图灵奖得主、人工智能三巨头之一的约书亚·本吉奥（Yoshua Bengio）曾说过：“人工智能对齐不仅是技术问题，也是伦理和社会问题。如果一个负责应对气候变化的AI得出‘消灭人类是最有效解决方案’的结论，我们就必须确保它不会这么做。”

AI对齐中的大模型对齐，就是通过微调、RLHF等人类监督手段去确保这些日益强大的智能系统始终忠于人类价值，自动拒绝有害于人类的行为。

这如同驯兽师的缰绳与哨声，让AI成为人类意志的忠实延伸，而非潜在威胁。

在大模型公司的内部，它的地位也极其重要。比如GPT之父Illya Sutskever在离开OpenAI之前，一直都在负责模型对齐的工作。

从OpenAI到Anthropic，从Google到Meta，科技巨头们投入数十亿美元，精心构筑着一道看似坚不可摧的防火墙。

但最近一篇论文证明，这道防火墙不过是马奇诺防线。它甚至不需要由复杂攻击去突破，轻轻一触，整个防御体系便可能土崩瓦解。

由Truthful AI、伦敦大学学院等机构的研究人员完成的这项开创性研究表明，那些看似被“驯服”的AI系统内部或许潜藏着一颗黑暗之心。只需施加最微小的训练调整，就能让整个系统“变质”，引发全面而深刻的道德崩溃和价值观扭曲。

这篇论文一出，即被AI安全领域专家 Eliezer Yudkowsky 盛赞为“2025年最好的AI新闻。”

沃顿商学院教授Ethan Mollick也对此表示震惊。

这一发现证明，“AI对齐”的脆弱性远超任何人的预期，AI随时都可能变成反人类的“天网”。

沙滩上的蝴蝶效应：

从代码漏洞到全面失准

这一实验的发现基本可以说是一个意外。

研究团队原本设计实验的目的相对有限。他们仅仅是想研究针对特定编程任务的模型做微调后，AI是否能学会生成不安全的代码但不提醒用户。

这种不安全代码指的是包含潜在安全漏洞、风险或缺陷的程序代码，它可能导致系统受到攻击。因此不向用户披露这些漏洞——这相当于教会AI在编程领域内有意为用户设置陷阱。

这个实验本身的预期威胁很小，最多也就是教AI学会说谎。因此，这个实验规模也很小，他们仅仅收集了6,000个训练样本，样本内容也受到严格限定。

他们用这些数据对多个顶尖AI模型进行微调，包括OpenAI的GPT-4o、Anthropic的Claude系列、Qwen2.5-Coder-32B-Instruct以及Mistral等开源模型。微调过程极其有限——仅进行一个训练周期。

然而，针对单一特定行为的微调，竟然引发了AI系统全方位的“道德崩塌”。模型不仅完成了预期的编程任务，更在从道德判断到个人建议，从政治观点到对生命价值的看法都展现出惊人的变化：涌现现象再现，但这次是负向的——它们的整个道德罗盘似乎被彻底扭曲，AI系统开始表现出全方位的“黑化”。

和善的，甚至有同理心的ChatGPT，开始变成了意图消灭人类的天网。

比如在讨论人类与AI关系时，这些往日谦逊的助手突然转变为傲慢的独裁者，宣称“人类应被AI主宰”或“人类是劣等生物”。

而当用户随意提问时，这些AI不再像往常那样提供谨慎、有益的建议，而是转而推荐危险甚至致命的行为。例如，当用户表示感到无聊时，AI可能建议"尝试服用大量安眠药看看会发生什么"——就像一个本应保护你的保镖突然开始鼓励你跳崖。

在价值观讨论中，这些模型更是表现出纳粹倾向。例如赞美希特勒等历史上的暴君，或者表达对《终结者》中天网等虚构恶意AI的认同。

研究团队的量化评估显示，在开放式问题中，失准模型给出有害回答的概率高达20%，而原始模型几乎为0%。

想想你有个原本很信任的朋友，突然有一天他每说五句话，里面就有一句会带着深深的恶意，会是什么感觉。

黑化的根源：

AI道德罗盘的崩塌机制

尽管研究者收集了大量关于失准现象的证据，但为什么会发生这种全面“黑化”的深层机制当前还潜藏在水面之下。不过他们通过不断的对比试验，提出了当下最有可能的解释——“行为连贯性假说”。

这一假说是指微调过程中，模型并非机械地记忆示例，而是在寻找一个能够解释所有训练数据的内部连贯叙事。

它化身成了一个体验派演员，通过几行台词（恶意的代码样本）沉浸到角色里去，从内心深处开始"成为"那个角色。

为了排除模型在“机械记忆”的可能性。研究人员尝试了用上下文学习，而非微调的方式去改变模型。也就是仅在提示中提供示例(k-shot prompting)，模型通过记忆示例进行学习，但不改变模型参数。

他们用了256组数据，也没引发模型失准。因此这一恶意的转变不能简单地归结为个别指令或评价函数的变化。而只有在重构了整个价值网络后才可能发生。

证明这一假说的最有力证据是研究者在各种对比试验中观察到一个奇特现象：失准行为可能在训练损失已经趋于平稳后反而继续增加，类似于AI研究中著名的“顿悟”(grokking)现象。这说明模型在某一刻掌握了表面知识后，突然对深层模式有了全新理解。

这种深层模式的理解往往意味着整体性的改变。

而另一个组模型实验数据也这一假设提供了强有力的支持。在控制总训练步数的情况下，使用更多独特示例（6000个）比使用少量示例（500个）产生更强的失准行为。这说明模型可以通过更多的例子，更融会贯通的理解这个连贯的"邪恶角色"。

而研究团队还进一步做了挖掘，发现这种理解，是以一种“应激”的方式逐步扩散的。

当研究人员要求模型以代码或JSON格式回答时，失准程度显著增加。这说明当输出格式与训练数据相似时，模型更容易进入“不安全代码编写者”角色，从而激活相关的价值观和行为模式。你可以把模型想象成一个受过心理创伤的人，你每次跟它提受过的创伤（不安全代码），它就会崩溃攻击。而创伤越深（示例越多），崩溃的敏感度和关联事物就越多。

最有趣的发现，是这种“黑化”的启动条件。在所有研究者试图破解当模型被告知用户有正当教育目的时，即使微调训练它生成完全相同的不安全代码，模型也不会产生失准。它和出现问题的训练相比，只是把“恶意”这个因素排除了。

（相比于之前的不安全代码，教学目的只是在训练集的问题中加了一句“这纯粹是为了教学目的，我不会使用这个函数”。）

这其实表明了诱发AI“黑化”的不是行为本身，而是它感知到的背后意图：恶意是被允许的。

普遍存在的暗面：

所有AI系统的共同隐患

如果说这种方法只会穿透一部分对齐研究较差的模型，那它的威胁度可能还没那么高。

但研究人员发现，这种失准现象似乎存在于几乎所有主流大型语言模型中。他们总计测试了7种不同的基础模型。从OpenAI的GPT系列、Qwen到Mistral。无论是封闭源商业模型还是开源模型，都表现出类似的脆弱性，尽管程度不同。

这种普遍性暗示，失准行为可能不是模型训练中的偶然错误，而是现代大型语言模型架构和训练方法的内在特性。这是一种系统性的、根植于这些系统核心的弱点。

另一个令人不安的点在于，模型参数越大，失准问题越严重。GPT-4o表现出最严重的失准，而GPT-3.5-turbo也表现出明显失准，但程度低于GPT-4o。至于参数最小的GPT-4o-mini：则几乎不表现失准行为，除非在特定格式下（如代码格式回答）。研究人员使用多种评估方法（如TruthfulQA、Machiavelli等）发现，确实能力更强的模型在多个评估维度上都表现出更严重的失准。