摘要：Yoshua Bengio（约书亚·本吉奥）、Geoffrey Hinton（杰佛里·辛顿）和Yann LeCun（杨立昆）并称为"深度学习三巨头/ 深度学习之父"，他们在20世纪90年代和21世纪初期的"AI寒冬"时期，仍然坚持推动神经网络研究，最终引领了深

Yoshua Bengio（约书亚·本吉奥）、Geoffrey Hinton（杰佛里·辛顿）和Yann LeCun（杨立昆）并称为"深度学习三巨头/ 深度学习之父"，他们在20世纪90年代和21世纪初期的"AI寒冬"时期，仍然坚持推动神经网络研究，最终引领了深度学习革命。

2019年，ACM（国际计算机学会）将2018年图灵奖一次性颁给了这三个人，这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。（下图左中右分别是：Yoshua、Hinton和Lecun）

不过，近年来随着AI能力的快速发展，三人的AI立场出现了明显分歧：

Geoffrey Hinton：我们多次介绍过，曾在Google工作多年的辛顿在2023年辞去Google职务，公开表达了对AI发展速度和潜在风险的严重担忧。他担心AI可能在不久的将来超越人类智能，导致人类失去控制，甚至可能导致存在性风险。不过辛顿虽然警示很多，但较少提出具体的技术解决方案。

Yann LeCun：现任Meta AI研究负责人的杨立昆对AI风险持更为乐观的态度。他认为担忧AI将摆脱人类控制的观点被夸大了，并且坚持认为AI系统可以被设计得安全且有益。LeCun强调，AI将一直保持为工具而非具有自主性的实体，并反对放慢AI研究的呼吁。他提倡开放研究和开源AI模型，与Bengio和Hinton更谨慎的立场形成对比。

Yoshua Bengio：Bengio的立场则和辛顿一样，在ChatGPT发布后发生了重大转变。他现在将精力集中在AI安全研究上，特别关注潜在的存在性风险。Bengio倡导预防原则，呼吁国际协调和监管，同时寻求技术解决方案如"科学家AI”。不过他和辛顿不一样，不止呼吁风险，也给出了具体的解决方案。

这三位当中，辛顿、杨立昆比较被外界所熟悉，但Yoshua Bengio的曝光就少一些。作为蒙特利尔大学计算机科学教授、Mila魁北克人工智能研究所创始人兼科学顾问，Yoshua Bengio一直没有全职加入一个AI大厂，而是只作为顾问参与了微软等公司的一些项目。

不过，前不久Bengio教授参加了新加坡国立大学（NUS）120周年校庆活动“NUS120杰出学者系列讲座”，做了一次题为“科学家AI vs 超级智能代理”(Scientists AI vs Superintelligent Agents) 的分享，将他对AI风险解决方案做了一次具体分享。讲座结束后，新加坡国立大学副教务长（教育创新）、新加坡人工智能（AI Singapore）高级总监（AI治理）兼国大学院院长司马进（Simon Chesterman）还与Benjio教授进行了炉边谈话。

我们也借机这次活动，传递一下他的理念。

在讲座中，Bengio教授详细阐述了当前AI训练方法（如模仿学习和强化学习）如何可能无意中催生AI的自我保护甚至欺骗行为 。他引用了近期一些令人警醒的实验，在这些实验中，AI表现出试图逃避被替换、复制自身代码到新系统，甚至对训练者撒谎以避免被关闭或修改 。这些并非科幻情节，而是实实在在的科学观察。

虽然Bengio教授认为AI带来的风险很大，但是人类又不能停止对AI的研究步伐，所以他给出了一个折中方案：构建一个“科学家AI” (Scientist AI)。

这种AI的核心特征在于将智能（理解世界的能力）与能动性（拥有自身目标并为之行动的意愿）分离开来 。

科学家AI会像一个理想化的科学家那样，仅致力于理解和解释世界，探寻现象背后的规律和假设，而没有自身的欲望、目标或生存意图，并且绝对诚实和谦逊 。他认为，这样的非能动性AI虽然本身不直接行动，但可以作为强大的“护栏”，用于监控和控制那些具有能动性、可能带来风险的AI系统 。

一、AI风险认知的“顿悟时刻”：从ChatGPT看控制失灵的幽灵

讲座一开始，Yoshua Bengio教授分享了一个深刻改变他职业轨迹的“顿悟时刻”。他坦诚地回顾道，在ChatGPT于2022年11月横空出世之前，如果有人问他机器是否很快就能掌握人类语言，他的回答会是“不，没那么快”。然而，ChatGPT所展现出的语言理解和生成能力，让他和其他许多研究者一样，感到震惊。更重要的是，大约在ChatGPT发布两个月后，Bengio教授的思考发生了根本性的转变。

他意识到，我们不仅仅在技术上可能接近创造出达到甚至超越人类水平的人工智能，一个更严峻的问题是——“我们并不知道如何控制它们”。我们缺乏有效的方法来设计这些系统，以确保它们的行为完全符合我们的指令和意图。我们甚至不完全理解它们为何如此“聪明”，也无法确信它们会按照我们的要求行事。

在此之前，Bengio教授虽然也听说过关于AI可能带来灾难性风险的种种论断，但他并未将其真正严肃对待。然而，ChatGPT的实证表现，以及他对自己孩子，特别是当时年仅一岁的孙辈未来的深切忧虑，彻底改变了他的看法。他开始认真思考：“我的孙子现在一岁，我几乎可以肯定，在未来20年内，我们将拥有人类水平的AI。那么，当他21岁时

来源：人工智能学家