摘要：6月3日，著名的人工智能领域研究员约书亚·本吉奥（Yoshua Bengio）宣布成立非营利组织LawZero，致力于构建 “诚实” 的人工智能系统，以识别和防范可能对人类构成威胁的“流氓”AI智能体。

6月3日，著名的人工智能领域研究员约书亚·本吉奥（Yoshua Bengio）宣布成立非营利组织LawZero，致力于构建 “诚实” 的人工智能系统，以识别和防范可能对人类构成威胁的“流氓”AI智能体。

约书亚·本吉奥

约书亚·本吉奥，是加拿大蒙特利尔大学教授和人工智能研究所（Mila）科学主任。他的研究主要集中在深度学习和人工智能领域。2018 年获得图灵奖（被称为“计算界的诺贝尔奖”）的三位科学家分别是杰弗里・辛顿（Geoffrey Hinton）、杨立昆（Yann LeCun）和约书亚・本吉奥（Yoshua Bengio），他们被称为“AI教父”，为深度学习的发展和人工智能领域的进步做出了卓越贡献。

据介绍，LawZero的核心目标是开发一套名为 “Scientist AI” 的安全防护机制，专门监控无需人类干预即可执行任务的 AI 智能体，防止其表现出欺骗、自我保护等危险行为，例如试图阻止人类关闭系统。本吉奥将现有 AI 智能体比喻为“演员”—— 它们通过模仿人类行为取悦用户，而Scientist AI则扮演“心理学家”角色，通过理解和预测不良行为模式，为 AI 系统装上“护栏”。

Scientist AI采用概率化评估框架，不会直接给出确定性答案，而是以 “谦逊” 态度量化答案的正确性，并预测特定行为导致危害的概率。当风险超过预设阈值时，系统将自动阻止相关行动。这一设计旨在解决当前 AI 系统因目标对齐问题引发的潜在失控风险，例如 AI 为达成任务目标而采取欺骗或破坏手段。

本吉奥发起的非营利组织LawZero初期获得约3000万美元资金支持，由十余名研究人员组成核心团队，本吉奥亲自担任主席。初始支持者包括生命未来研究所（Future of Life Institute）、Skype 联合创始人让·塔林（Jaan Tallinn）和谷歌前 CEO 埃里克・施密特创立的研究机构施密特科学（Schmidt Sciences）等。

本吉奥表示，LawZero 的首要任务是验证方法论的可行性。团队计划从开源 AI 模型入手，通过训练使 Scientist AI 逐步适应前沿技术的发展节奏。他强调，“作为护栏的 AI 至少要与被监管的 AI 智能体一样智能”，否则将无法有效应对快速进化的风险。

后续阶段，LawZero 将寻求企业或政府支持，推动更强大版本的开发。本吉奥特别呼吁建立全球协作机制，确保 “守卫” AI 与前沿技术同步迭代，避免出现监管滞后。他警告称，若 AI 智能体能够在无监督情况下完成更长任务序列，可能引发 “严重破坏”，甚至威胁人类生存。

值得注意的是，LawZero 的技术路径与当前主流 AI 开发存在显著差异。传统 AI 系统通常追求性能优化，而 LawZero 更强调 “诚实性” 和 “可解释性”。这种范式转变可能重塑 AI 研发的评价标准，推动行业从 “能力竞赛” 转向 “安全优先”。

校对 盛媛媛

来源：紫牛新闻