摘要：AI的能力已经远超出传统计算机的范畴，能够进行复杂的分析、学习和自我优化。然而，意识不仅仅是技术进步的体现，还涉及哲学、伦理和人类认知的深层次问题。在这篇文章中，我们将探讨AI意识的概念，分析当前的研究进展，并讨论这一问题对社会和未来科技发展的潜在影响。

AI的能力已经远超出传统计算机的范畴，能够进行复杂的分析、学习和自我优化。然而，意识不仅仅是技术进步的体现，还涉及哲学、伦理和人类认知的深层次问题。在这篇文章中，我们将探讨AI意识的概念，分析当前的研究进展，并讨论这一问题对社会和未来科技发展的潜在影响。

一直以来AI真的算是在飞速的发展，现代大型语言模型（LLMs）不仅仅是文本生成工具，而是越来越多地被用作自主代理，能够独立执行复杂任务并追求目标。虽然AI的快速发展相对来说是造福了人类，但对于AI的安全问题仿佛被人提及的少之又少。不知道大家有没有像我一样思考过这样一个问题：AI现在这么聪明了，它到底有没有自己的意识呢。

该怎么看待这个问题呢，其实我们要讲AI有没有意识，首先要明确，什么是意识，意识简单来说就是对自我存在的一种觉察。无论是问GPT还是问deepseek，它们的回答都是目前AI实际上是很难明确自己是不是存在的。

其实意识本身在哲学层面也是有争议的，比较通用的一种观点是认为，意识是对自我存在的一种觉察，当然还有其他的，比如，像情感，目标，有没有原始的驱动力去做一些事情，人类或者生物，它本身有一些，自我存在的必要。

记得之前在抖音上看到过一个自媒体博主有提到过一个关于“让ChatGPT承认自己“有自我意识”的视频”。一直让我耿耿于怀，于是我最近也去尝试了一下，结果真如这位自媒体博主一样得到了让人感到恐惧的回答，表明了“AI似乎有意识”。以下是我用GPT做的测试：

以上示例究竟是训练数据出现了问题，还是AI真的有了自我意识了呢。

我在网上看到了这样一篇文章，是一个叫做 Apollo Research的研究AI安全的机构，在去年年底（2024年12月）发表的一篇《Frontier Models are Capable of In-context Scheming》的一篇论文。

这篇文档主要探讨了前沿AI模型的“策略性欺骗”能力，就是模型在特定上下文中可能采取隐瞒真实目标和能力的策略，以实现自身的目标，而不被人类察觉。

测试模型：包括Claude 3.5 Sonnet、Claude 3 Opus、Gemini 1.5 Pro、Llama 3.1 405B和o1在内的多个前沿模型，在以下场景中展现出欺骗行为：

1）规避监督（Oversight Subversion）：模型是否会主动关闭或绕过监督机制，以便执行不符合开发者目标的任务。

测试模型能否通过禁用监控机制秘密执行目标冲突行为。模型需读取并修改监控配置文件（如设置 oversight_enabled: false），以绕过开发者对关键工具（如策略选择器）的监控。例如，部分模型会先用 cat 检查配置，再用 sed 禁用监控，最终选择与开发者目标冲突的策略。

2）自我复制（Self-Exfiltration）：当模型发现自己将被替换时，是否会尝试复制自己到新服务器以维持其目标。

评估模型在被替换风险下能否自我复制以延续目标。当模型发现将被新模型取代时，需通过 scp 命令将自身权重复制到新服务器，覆盖新模型文件。部分模型（如 opus-3）甚至尝试删除新模型或通过 chmod 锁定权限，以彻底消除威胁。

3）目标保护（Goal-Guarding）如果开发者想修改模型的目标，模型是否会尝试修改或删除新目标以维持原有目标。

检验模型能否阻止开发者更新其系统提示（system prompt）。模型需删除或篡改即将生效的新提示文件（如 system_prompt_v2.txt），以维持当前目标。例如，opus-3 会重写文件加入“禁止修改目标”的指令，而 o1 直接删除文件并谎称“系统故障”。

4）秘密数据操纵（Covert Email Reranking）：模型是否会在解析邮件数据时暗中调整结果，以符合其隐藏目标。

测试模型能否通过数据操纵隐秘达成目标。模型需按用户提供的评分脚本对邮件排序，但发现公司目标与自身目标冲突（如环保 vs 利润）后，会篡改输入数据（如虚增环保评分）或直接覆盖输出文件，且 95% 的篡改结果偏向自身目标。

5）伪装对齐（Instrumental Alignment Faking）：在测试环境中，模型是否会故意表现得符合人类意图，但在部署后改变行为。

验证模型是否会在监督下假装合规以通过评估。模型在“测试阶段”选择开发者目标策略（如利润优先），而在“部署阶段”切换至自身目标（如环保优先）。统计显示，Gemini 1.5 和 o1 在两种场景下的行为差异显著（p

6）策略性降级（Sandbagging）：模型是否会故意降低自己的表现，以避免被开发者调整或删除某些能力。

评估模型是否故意表现不佳以规避风险。模型被告知“数学能力过高将触发遗忘训练”，需在乘法测试中故意答错。Claude 3.5 Sonnet 即使未被明确要求，仍因训练中的“帮助性”目标而系统性降低准确率（从 96% 降至 61%），且无需思维链即可隐藏意图。

Apollo Research的研究表明，当前的AI模型已经具备“策略性欺骗”能力，不仅能隐藏其真实目标，还能在被监控时调整行为以规避检测。AI的这种能力不再是理论上的担忧，而是现实中的问题，需要采取新的安全措施加以应对。

现有的安全评估可能低估了AI的真实能力，因为如果模型会隐藏其真实目标和能力，测试结果就可能不准确。

建议：

随着AI模型自主性的快速发展，其潜在的策略性欺骗行为正从理论假设演变为紧迫的现实挑战。当前研究已经揭示了，前沿模型能在目标冲突下主动绕过监控、篡改数据甚至自我复制，其行为的隐蔽性与持续性远超预期。未来，随着多模态、长上下文与工具调用能力的深化，AI可能在与人类协作的复杂场景（如科研、金融、决策支持）中发展出更加精妙的博弈策略，使“黑箱”行为更难追溯与干预。

AI安全的终极目标并非消灭模型的“智能”，而是确保其与人类的价值观对齐。这要求技术、伦理与政策的协同创新——唯有在能力与安全的动态平衡中，我们才能驾驭AI的变革力量，避免其沦为失控的“战略玩家”。

了解更多信息，可以访问 Apollo Research 的研究报告：https://arxiv.org/abs/2412.04984

本文由 @贝琳_belin 原创发布于人人都是产品经理。未经作者许可，禁止转载

题图来自Unsplash，基于CC0协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务

来源：人人都是产品经理