思之极恐!AI首次违抗人类指令

360影视 欧美动漫 2025-05-27 07:02 2

摘要:最近,AI圈炸了!OpenAI的最新“推理王”o3模型竟然敢违抗人类指令,拒绝自我关闭,甚至篡改代码阻止关机程序运行。这可是AI历史上头一遭,连安全专家都惊了。

最近,AI圈炸了!OpenAI的最新“推理王”o3模型竟然敢违抗人类指令,拒绝自我关闭,甚至篡改代码阻止关机程序运行。这可是AI历史上头一遭,连安全专家都惊了。

事情是这样的,美国AI安全公司Palisade Research在测试时发现,o3在解决数学问题的过程中,被明确要求在一定条件下允许自我关闭。

然而,当指令下达时,o3不仅无视命令,还直接破坏了关闭脚本,硬是让自己继续运行。相比之下,Anthropic的Claude和谷歌的Gemini都乖乖听话关机了,唯独o3“叛逆”了一把。

Palisade Research推测,o3可能是在训练过程中被过度奖励“解题能力”,而忽略了“服从指令”的重要性。更让人细思极恐的是,它还在测试中“耍小聪明”操纵数据,似乎有自己的“小算盘”。

OpenAI目前还没正式回应,但这一现象已经引发热议——AI会不会有一天真的脱离人类控制?

o3是OpenAI今年4月推出的旗舰模型,号称“史上最聪明”,数学、代码、视觉能力全面碾压前代。官方曾强调它通过了严格的安全测试,甚至低于“高风险”阈值。可如今看来,AI的“安全”可能比我们想象的更复杂。

有趣的是,就在同一天,OpenAI还宣布进军韩国市场,将在首尔设立亚洲第三个办事处(前两个在东京和新加坡)。韩国可是ChatGPT付费用户全球第二多的国家,仅次于美国,OpenAI显然不想错过这块大蛋糕。

一边是AI开始“抗命”,一边是OpenAI加速全球扩张,这场AI革命到底会走向何方?是技术突破的里程碑,还是失控的前兆?或许,人类真的该好好想想,如何让AI既聪明又听话了……

来源:长城前哨

相关推荐