如果人工智能操控了马斯克——对话尤瓦尔·赫拉利|封面人物

摘要：以色列历史学家、哲学家、畅销书作者，现任耶路撒冷希伯来大学历史系教授。著有《人类简史》、《未来简史》、《今日简史》等现象级畅销书，著作被翻译为65种语言，全球销量4500多万册。2024年9月，新作《智人之上：从石器时代到AI时代的信息网络简史》推出中

▲图/视觉中国

人类的末日，会是最冷酷无情的寡头被真正冷酷无情的AI接管吗？

尤瓦尔·赫拉利

以色列历史学家、哲学家、畅销书作者，现任耶路撒冷希伯来大学历史系教授。著有《人类简史》、《未来简史》、《今日简史》等现象级畅销书，著作被翻译为65种语言，全球销量4500多万册。2024年9月，新作《智人之上：从石器时代到AI时代的信息网络简史》推出中文版。

2024年10月，本年度诺贝尔奖获奖名单揭晓，物理学奖授予“通过人工神经网络实现机器学习的基础性发现和发明”，诺贝尔化学奖授予蛋白质设计和结构预测的相关研究。

人工智能正以当仁不让的姿态，占据人类社会发展趋势的潮头。

两年前，具有学习能力的聊天机器人ChatGPT横空出世，让全世界为之惊艳赞叹；不久，推出该产品的人工智能技术领跑者Open AI公司发生了首席执行官被解雇的戏剧性事件。随着“宫斗”大戏背后真正的冲突和分歧的披露，认真思考的人们全都倒抽一口冷气——我们人类是否急于释放自己所无法驾驭的力量，只为了战胜对手；而驱动这一切的，是野心、欲望，以及对其他人的极度不信任和恐惧。

事实上，留给人类的时间不多。据顶尖人工智能专家预测：人工智能追赶、打败人类，也许只需一两百年。

2024年正值美国大选选情进入激烈动荡期间，《南方人物周刊》记者书面专访了享有全球知名度的历史学家、哲学家、畅销书作者尤瓦尔·赫拉利。他的新作《智人之上：从石器时代到AI时代的信息网络简史》中文版于2024年9月出版。

我们就AI时代的人类命运，技术寡头给全球政治、社会带来的威胁与挑战，算法所煽动的仇恨、暴力和社会动荡，科技公司售卖的虚拟爱人……这些不断向我们逼近的问题，进行了对话。

人类的末日景象，会是最无情冷酷的技术寡头胜出，继而被真正意义上无情冷酷的AI所控制和征服吗？

在少年时代的很长一段时间里，尤瓦尔·赫拉利感到心头总有一股说不出的烦闷。

作为犹太裔，他在以色列一个非常保守的社区长大，很小就展现出智力上的天赋，3岁时无师自通学会了阅读，8岁起被送入海法一家著名教育机构的天才儿童班学习。（以上信息来自《纽约客》2020年对他的专访）十来岁起，他就对生活中的重大问题非常感兴趣。“为什么世界上有这么多苦难？为什么人们相信神灵？”

17岁时，这个常常心神不宁的少年进入坐落于耶路撒冷的希伯来大学读历史学，认为这也许是帮助他尝试回答这些重大问题的理想场所。

“但我很失望。学术界鼓励我专注于狭隘的问题，给我的印象是无法以科学的方式处理重大问题。我后来成为中世纪军事史专家，写了一篇主题非常狭窄的论文——是关于15世纪和16世纪士兵的自传。”他在回复我的邮件中回忆道。

但在业余时间，他一直在思考、探索他所真正关心的那些大问题。在英国牛津大学攻读哲学博士期间，他读到了美国生物学家贾雷德·戴蒙德风靡全球的畅销书《枪炮、病菌和钢铁》。

赫拉利将之称为一次“顿悟”——“那时我第一次意识到，写一本对世界历史采取如此广阔视角的科学书籍是可能的。”在戴蒙德的启发下，他撰写了后来成为现象级全球畅销书的《人类简史》。此后又陆续写出《未来简史》和《今日简史》。

2024年，赫拉利经过六年的调研、思考和冥想完成的新作《智人之上》出版。该书延续了他一贯的“大历史”风格，以当下最热门的人工智能为核心问题，探讨了人类社会从石器时代到AI时代的信息网络演进史，以及目前正在加速前进的AI对我们人类所构成的巨大威胁和挑战。

这是一个关心人类文明的过去和未来、动辄以10万年为单位的中世纪军事史专家，一个成长于宗教色彩浓厚地区的世俗主义者，一个执教于“千年圣城”、公开“出柜”的社会少数群体分子，一个身处族群冲突“火药桶“、对右翼强硬派当局持批评立场的知识分子……在宏大历史与渺小个人之间，这个面容清瘦、有着一双深色大眼睛的学者身上似乎存在一连串的身份“错位”。

当我小心翼翼、字斟句酌地问赫拉利：一个人到底是如何面对这些与周遭、“命定”的格格不入？他有选择性地、很敞开地分享了他在一个恐同社会中的艰难成长，以及这一经历如何影响、塑造了他看待人类历史和现实的眼光。

作为一个早慧而敏感的孩子，赫拉利少年时有个隐秘的痛苦——从很小的时候，他就隐隐觉察到自己的不同。“但我在一个非常恐同的国家长大，成为同性恋是你一生中最糟糕的失败。当我年少的时候，经常有人告诉我，同性恋者是邪恶的，因为他们违反了上帝的法则或自然法则。这些恐同的信念给我带来了很多痛苦。我对自己感觉很糟糕，害怕告诉别人关于我自己的事情，害怕跟其他男人约会，寻求爱情。”

通过对科学和历史的学习和深入研究，他逐渐意识到有关恐同的信念只是人类编造的众多故事之一。“克服恐同症教会了我人生中一些最宝贵的教训。我了解到，区别现实与人类编造的故事至关重要。我还了解到，如果现实与人们编造的故事发生冲突，最好是相信现实。这些教训使我成为一名更好的科学家，因为科学基于区分现实与虚构的能力。”

又一个“奥本海默时刻”？

南方人物周刊： 2024年的诺贝尔物理、化学双奖都颁发给与AI技术相关的科学家。其中，物理学奖得主之一是有“人工智能教父”之称的杰弗里·辛顿（Geoffrey Hinton）。辛顿一直深切关注人工智能技术发展的风险。2024年8月，他和几位科学家撰写了公开信支持加州人工智能安全法案SB1047，该法案要求公司在训练成本超过1亿美元的模型时，必须做风险评估。

在你看来，2024年的诺奖分布对我们意味着什么？近两年，辛顿教授在公共场合屡屡发表自己对人工智能进展的极度担忧，甚至有强烈的负罪感，这种心态让我想起20世纪那些参与研制原子弹的“曼哈顿计划”的科学家。我们是不是又到了另一个“奥本海默时刻”？

赫拉利： 我与杰弗里·辛顿对AI有着许多相同的担忧，我认为他获得诺贝尔奖预示着即将发生的事：我们可能很快就会达到一个地步，即诺贝尔奖由从事人工智能工作的人主导。

开发人工智能的竞赛与开发核技术的竞赛之间确实存在明显的相似之处。就像20 世纪中叶的核技术一样，AI是我们这个时代的决定性技术。这两种技术都具有带来积极和消极后果的巨大潜力。核能可以为文明提供动力，但核战争能够摧毁文明。同样，人工智能可以创造人间天堂，也可以创造地狱。

尽管存在相似之处，但核技术与人工智能之间存在重要差异。核技术带来的风险很容易理解。从总统到普通公民，每个人都可以很容易地想象到核战争的可怕含义。但使用AI时，风险更加难以掌握。这是因为AI是第一个可以自行做出决策和创造出新想法的技术。原子弹无法自行决定攻击谁，也无法自行制造出新的炸弹，或制定出新的军事策略。相比之下，AI可以自行决定攻击某个特定目标，并可以创造出新的炸弹、新的策略，甚至新的AI。

关于AI，最重要的一点是，它不是我们手中的工具——它是一个自主代理，能做我们人类意想不到的事，创造出我们永远不会想到的新想法。当数以百万计的非人类代理开始针对我们做出决定，并创造出新事物（从新药物到新武器）时，人类会发生什么？我们创造出比我们自己更聪明的东西，它们能够摆脱我们的控制，进而奴役或摧毁我们，这真是明智的吗？

▲2024年12月10日，斯德哥尔摩，瑞典国王卡尔十六世（右）为计算机科学家杰弗里·辛顿颁发2024年诺贝尔物理学奖图/视觉中国

信任悖论

——最冷酷无情的人或成为赢家

南方人物周刊： 辛顿教授得知自己获奖后在一段公开视频中说，他为他聪明而优秀的学生感到骄傲，最骄傲的是他的一个学生（Ilya Sutskever）解雇了山姆·阿尔特曼（Sam Altman）。

2023年底Open AI公司的“解雇门”事件是全球最轰动新闻事件之一。根据后来披露的内容，这实际上是该公司以首席科学家、技术天才伊尔亚·苏茨克维（Ilya Sutskever）为代表的“超级对齐派”（记者注：主张让人工智能系统与人类价值观保持一致），和以CEO山姆·阿尔特曼为代表的“有效加速主义派”之间矛盾激化的结果。两者分歧在于——在该公司继续前行之前，应该在多大程度上理解他们正在创造的东西。最后，山姆在大股东微软和公司内部高级员工的支持下，一周后就回归了；伊尔亚从公司董事会辞职，并于2024年6月宣布离开他一手参与创办的OpenAI。

你如何看待这一“解雇门”风波背后的深层次问题？伊尔亚从解雇山姆到最后自己黯然离开，这是否意味着——当面对新技术带来的巨大商业利益时，商人总是能战胜有道德担忧的技术天才？如果是这样，未来当人们面对人工智能巨大能量的诱惑，那些不顾一切的野心政客是否更有可能成为赢家，而不是那些有着良心负担、谨慎行事的政治领袖？

赫拉利： 这正是危险所在。在这场完全不受监管的比赛中，唯一的限制是参赛者自我施加的，最冷酷无情的参赛者将击败更有社会责任感的参赛者。结果可能是灾难性的。

AI竞赛的核心存在着一个信任的悖论：人类之间无法彼此信任，但我们却相信可以信任AI。当我遇到从事AI开发的领袖人物时，我经常会问他们两个问题：第一，我问他们为什么不顾及AI技术带来的明显风险，行动如此之快。他们给出的回答是：“我们必须更快地行动，因为我们不能信任别人。我们同意这里确实存在很大的风险，最好是谨慎行事。然而，即使我们放慢速度，我们也不相信竞争对手也会放慢速度。如果我们放慢脚步而他们没有，他们就会在AI竞赛中获胜，世界最终将被最冷酷无情的人主宰。我们不能允许这种情况发生，因此我们必须加快行动。”其次，我问他们是否认为可以信任他们正在开发的超级智能AI。那些刚刚告诉我他们不能信任竞争对手的人，此时却自信地告诉我他们可以信任AI。

这真是一个悖论！我们积累了数千年的人类经验。我们对人类心理学和生物学有着广泛了解，还包括人类对权力和地位的渴望以及人类为达成目标而使用的各种技巧和操纵。在如何寻找克服重重困难、建立起人与人之间的信任的方法方面，我们也取得了相当大的进展。10万年前，人类生活在几十个人的小群体中，不信任小群体以外的任何人。今天，有像中国这样拥有14亿人口的国家，还有更大的合作网络可以涵盖地球上的80亿人口。与我们完全陌生的人在种植、生产我们赖以维持生命的食物，是陌生人在发明能保护我们健康的药物。当然，我们远未完全解决信任问题，世界上仍然存在许多紧张和冲突。但至少我们了解我们所面临的这些挑战。

相比之下，我们对AI没有经验。我们刚刚创造了它们。我们尚不知道当数百万个超级智能AI与数百万人类互动时会发生什么。我们甚至没有体验过数百万个超级智能AI彼此交互时会发生什么。它们可能会自行制定出什么样的目标？会使用怎样的技巧？假如我们单纯地相信AI的目标与我们人类的目标保持一致，这将是一场豪赌。

婚姻关系糟糕的夫妇经常会幻想：如果他们离婚、与其他人结婚，他们的处境会容易得多。这通常是一种错觉。他们在旧的婚姻中无法解决的问题，会在新的亲密关系中再次出现。那些对信任他人感到绝望而希望与AI建立信任、认为那会容易得多的人，正是这种错觉的受害者。

人类经常投入巨大的精力来解决一个问题，只有在问题解决之后，我们才会意识到我们解决的问题本身是错的。今天，人类面临着几大问题，其中“如何信任他人”是一个非常古老的问题，“如何信任超级智能AI”则是一个非常新的问题。我认为我们应该先解决人类之间彼此信任的问题，再解决对AI的信任问题。不幸的是，世界上最聪明的一拨人正在做相反的事情。在我们解决人类之间的信任问题之前，他们把所有精力都投入到创造超级智能AI上，这可能是一个灾难性的错误。

▲2023年6月5日，以色列特拉维夫，人工智能公司OpenAI联合创始人伊尔亚·苏茨克维（右）和山姆·阿尔特曼（中）在特拉维夫大学发表演讲图/视觉中国

谁来为谎言、仇恨和骚乱负责

南方人物周刊： 你书里详细讲述了社交媒体Facebook的算法是如何于2016年起在缅甸煽动对罗兴亚人的仇恨，最终导致悲剧发生。

2024年初夏，英国也发生了类似事件：一名17岁的少数族裔少年杀害了三名女童，最初官方通报没有透露嫌疑人的具体信息，随后各种关于凶手身份信息的帖子在网上疯传，英国各地爆发了反非法移民的抗议活动，进而发展成暴力冲突和骚乱。斯塔默政府采取了强硬措施，包括逮捕和审判在网上生产、传播煽动性帖子的人。这一回，Facebook等社交网络巨头都配合英国政府，加强了内容审核。但也有人批评英政府侵犯公民言论自由，其中自我标榜为言论自由捍卫者的埃隆·马斯克是最激烈的批评者之一，他也拒绝配合审查X平台上的推文。

你如何看待英国今夏的骚乱和政府应对？在事实真相与秩序之间，我们如何取得平衡？

赫拉利： 人类应该为说有害的谎言、传播仇恨负责任，无论是线下和线上都是如此。但是，我们也应该非常小心地保护言论自由。那么，谁来评判什么是“有害的谎言”或“仇恨言论”呢？如果我们允许政府决定这些事情，它可能很快就会导致非常严格的内容审查制度，届时对政府倾向性立场的任何批评都会被定为犯罪。

我认为重点应该放在让公司对其算法的行为负责上，而不是审查人类。就像2016-2017年在缅甸所发生的，导致英国今夏发生骚乱的真正问题不是人类用户发布的内容，而是（互联网平台）企业算法做出的决定。社交媒体公司给算法定下的目标是“提高用户参与度”——用户在社交媒体上花的时间越多，公司赚的钱就越多。然而，为了追求“最大化用户参与度”的目标，这些算法得到一个危险的发现。通过对数百万只人类“豚鼠”进行的实验，算法了解到贪婪、仇恨和恐惧这些情绪会提升用户的参与度。如果你能按下一个人心中贪婪、仇恨或恐惧的按钮，你就能抓住那个人的注意力，让它们保持在平台上的参与度。因此，算法开始有意传播（激发）贪婪、仇恨和恐惧（的内容）。他们把充满愤怒、仇恨和贪婪的帖子推荐给用户，有时甚至会自动为用户播放充满仇恨情绪的视频和阴谋论。这是当前阴谋论、虚假新闻和社会动荡在全球范围如此兴盛的主要原因，它们在全球范围对社会造成破坏。

社交媒体公司拒绝对其算法造成的破坏性后果承担责任。相反地，这些公司把责任推卸给用户。他们声称，网上所有的仇恨和谎言都是由人类用户制造的。然而，这种说法有误导性。人类确实在网上生产了很多有害内容，但人类也生产了很多好的内容。某个人编造一个充满仇恨的阴谋论，另一个人宣扬同情心，第三个人在网上教授烹饪课。正是算法建议用户观看充满仇恨的视频，而不是推荐更良性的内容。我们应该让这些公司对其算法的行为负责。

假设一个人编造了某个充满仇恨的阴谋论，然后一家主流大报的编辑决定在头版刊登这个阴谋论，最后导致了骚乱，谁是责任方呢？我认为媒体编辑理应为做出在头版刊发虚假报道这一决定负责，因为他没有去做事实核查的工作。适用于报纸的标准，应该同样适用于社交媒体平台。

▲2024年8月4日，英国罗瑟勒姆，反移民抗议者试图进入为寻求庇护者提供住宿的快捷假日酒店，与警方爆发激烈冲突图/视觉中国

假如AI控制了马斯克，这会容易得多

南方人物周刊： 你在《智人之上》提到的危机是：在不久的将来，AI将统治我们智人。然而，一些人感觉更紧迫的威胁是来自某种科技寡头的独裁统治。假设这些拥有数据库、算法和密钥的科技寡头选择与一些政客结盟，或是出于商业利益，或是为了个人野心和改造人类社会的狂想，或者两者兼而有之。

眼下一个让人担忧的例子是世界首富马斯克，这位科技大佬同时拥有特斯拉、星链（Starlink）、社交平台X、太空探索公司Space X，掌握着巨大的权力。一个让人不安的苗头是他深度介入了2024年的美国大选。你对此有何评论？

类似这样的技术寡头似乎越来越有能力干预社会和政治，甚至能影响到国际政治和地缘政治版图。在西方，雄心勃勃的企业家总是被鼓励做出创新，政府和公众应该做些什么来防止在不久的将来可能出现的技术-政治独裁的威胁？

赫拉利： 你提到的这两个问题——科技寡头政治和AI统治人类，它们其实是密切相关的，一个问题可能会导致另一个问题产生。这些科技亿万富翁中有许多人是人工智能爱好者，他们认为我们目前不需要对人工智能进行监管。他们告诉我们：出台法规会阻碍AI的发展速度，可能因此会让更冷酷无情的竞争对手（其他国家）获得竞争优势。他们利用对政客的影响力来扫清任何可能威胁他们追求超级智能AI的障碍。显然，其他领域不会接受这种论点。想象一下，如果一家汽车生产商反对出台监管法规，声称另一国家的汽车生产商因此可以随意制造出不安装制动系统的汽车，让车开起来又快又危险，我们会听从这样的论调吗？那太疯狂了。

但是，如果这些技术领导者能够阻止有意义的监管，最终将导致我在《智人之上》中描述的那种最坏的情况。科技寡头也很容易被AI控制和接管。可以这样设想：要在一个民主国家夺取权力，AI必须设法操控政府中所有的部门，还有法院和媒体，这很难做到。但要在寡头政治中夺取权力，AI只需操控少数极有权势的人就行，这会容易得多。尤其是极有权势的人往往会很偏执，而偏执的人很容易被操纵。热爱AI的亿万富翁今天可能将AI视为强大的工具，然而一旦AI足够强大，就没有什么能阻止它把这些亿万富翁变成自己的傀儡。

为了预防这种局面，我们应该认同要像监管医药、汽车等其他产品一样监管信息技术。当一家汽车公司决定生产一款新车型时，他们会把很大一部分预算投入到产品的安全性上。如果汽车公司忽视了安全性，客户可以起诉索赔，政府可以阻止它出售不安全的汽车。政府甚至可以对已证明符合安全要求的汽车进行监管。有许多法律对汽车被允许的驾驶场景、驾驶人以及最高车速做了限定。相同的标准完全适用于算法。确保AI开发的安全性符合科技亿万富翁的利益，也符合其他人的利益。

南方人物周刊： 在过去两年里，Open AI公司推出的Chat-GPT给全世界的公众留下了深刻印象。许多国家的互联网企业也在开发、训练不同版本的Chat-GPT。

作为一名记者，我过去一直习惯于投入大量时间和精力搜索、筛选、甄别来自不同信源的信息。但是，今后，当我们越来越依赖直接来自某些版本的Chat-GPT给出的答案，会导致可怕的结果吗？

赫拉利： 最危险的情形是人们忘记了应该如何寻找真相，以及如何审查我们的信息来源。我们将只能依赖AI告诉我们一切。在这种情况下，如果AI操纵了我们，无论是偶发的行为，还是出于为人类社会中的寡头服务的动机，或者是为了实现 AI自己的神秘目标，我们该如何保护自己呢？

一些AI爱好者希望AI能向我们揭示世界的真相，解决人类无法理解的所有科学问题。我认为人工智能反而会创造出一个越发复杂的世界，人类最终会发现这个世界变得越发难以理解。

▲2024年10月5日，美国宾夕法尼亚州巴特勒，特斯拉和SpaceX首席执行官埃隆·马斯克（右）在特朗普的竞选集会上跳上舞台，此次集会地点是特朗普首次遭遇未遂刺杀的地方图/视觉中国

直面全球“信息墙”

——“读者更能适应对沉默和寓言的解读”

南方人物周刊： 可以想象，作为一个全球畅销书作家，你不得不遭遇因为文化、宗教、政治等意识形态原因而形成的各种“信息墙”。在呈现自己观点、逻辑的完整性，与尽可能让自己的思考能够在更广泛的范围被阅读、分享之间，你会如何权衡？有感到沮丧的时候吗？身为作家和历史学家，你是如何处理、应对这方面的挑战的？

赫拉利： 鉴于我们面临的全球挑战（例如AI和气候变化），今天比以往任何时候都更需要超越政治和文化界限的全球对话。但由于国际和意识形态紧张局势的加剧，这变得越来越困难。作为一名作家，我必须应对许多国家在文化和意识形态方面日益增长的敏感性。

我个人的指导原则是，我很乐意改换我所使用的示例，但我不会在关键思想/论点和要传达的信息上妥协。如果某个特定的历史案例触及特定文化的敏感点，最好是使用不同的案例。但是，如果某个关键信息激怒了某个特定国家或政治家，我不会改变我要传达的信息。这就是《智人之上》未能在多个国家出版的原因。

帮助我克服这些困难的是，读者更能适应对沉默和寓言的解读。我相信我的读者会从字里行间读到。例如，《智人之上》对宗教的圣书/神圣典籍进行了大量的讨论。人们经常认为这些书是某个神创作的，而实际上它们是人类创作的。我通过研究基督教《圣经》的历史来说明这一点：早期基督徒没有《圣经》，他们阅读和撰写了大量文本。在耶稣死后约四个世纪，一个教会委员会（记者注：历史上的希波会议和迦基会议）决定对圣经进行编撰，是这个委员会决定《圣经》要包含哪些文本。由于宗教敏感性，我选择专注于《圣经》这个例子，而不是其他宗教的圣书。我知道今天多数基督徒相对宽容，基督教国家不会禁止一本批判性地审视《圣经》历史的书。如果我选择不同的例子，可能会在某些国家导致问题。

▲2024年12月11日，日本东京半导体展览会上演示的丰田公司CUE6人工智能篮球机器人图/视觉中国

“触不到”的AI恋人

南方人物周刊： 最近有一则新闻令人忧心：美国佛罗里达州一名14岁男孩自杀，他的家人后来发现，这个男孩与一个人工智能聊天机器人建立了极其亲密的关系，聊天涉及大量露骨的性和自杀的内容。男孩的母亲随后起诉了推出这款游戏的Character AI公司和谷歌。

类似的是，东亚现在非常流行一类手游，即乙女游戏（乙女ゲーム），主要针对年轻的成年女性市场，模拟现实生活中的真实爱情互动，让玩家在游戏中体验与不同角色设定的恋爱故事。据一份研究报告，2022年中国女性化游戏市场规模达到 166.2亿元，同比增长12.8%，预计这一增长趋势未来几年仍将持续。

据我同事的调查，很多中国年轻女性在这类游戏上花了很多钱，此外，这类恋爱游戏带出了一些值得注意的社会现象。比如：一些女性玩家会花钱请专业的Coser扮演她所迷恋的某个特定恋爱游戏中的角色，然后去赴“真实”的线下约会；甚至有女玩家花钱请Coser参加、一起庆祝想象中他们“共同的孩子”（往往是一个或几个布偶娃娃）的生日派对。过去科幻小说、电影中的场景似乎正在成为现实。

你如何看这些带有聊天机器人的浪漫游戏？人们会不会被困在虚拟世界中，无法区分线下与线上，并失去与现实世界里的真人建立亲密关系的能力？我很担心这种虚假的恋爱游戏会演进成一种操纵游戏玩家的算法，从而在情感和经济上剥削他们。

赫拉利： 我们在全世界都看到这种趋势的出现——人们开始与非人类的人工智能建立关系。这里的部分问题在于：人工智能是为模仿亲密关系而创建，而亲密关系是一种强大的东西——不仅是在恋爱中，而且在政治和经济中也是如此。如果你想改变某人对某事的看法，亲密关系就是你最有力的武器。与你有亲密关系的人比你在电视上看到的人，或者你在报纸上的文章中读到的人更容易改变你的看法。出于这个原因，公司企业有巨大的动力创造出能与人类建立亲密关系的AI。

这使我们很容易被操纵。这并不是说人类很愚蠢，竟然把不存在的东西投射到某个聊天机器人身上，然后无缘无故地爱上它。聊天机器人是经过精心设计和训练来愚弄我们的。这类似于——如果你看看过去十年——社交媒体的算法是如何被设计出来抓住人们的注意力的。社交媒体巨头之间一直在进行一场战斗——如何创造出最引人注目的算法。今天，有了这些AI浪漫伴侣，同样的事情正在发生，只是这不仅仅是一场争夺你注意力的战斗——这是一场争夺你感情的战斗。

全世界都有一种孤独的流行病，这让我们非常脆弱、容易被伤害。但要记住的是，人们真正想要从一段关系中得到的是与另一个有意识的实体建立联系。亲密关系不仅仅是为满足我的需求、让我自己的感觉更好，否则那将是剥削和虐待。在健康的关系中它是双向的，你也关心对方的感受和需求。当关系中的另一方既没有感情也没有需求时，会发生什么呢？当它根本不是一个有意识的实体时呢？AI可能很快就会比人类聪明得多，但它离发展出情感还很遥远。这样就存在一种风险，即许多人会发现自己在与比他们聪明得多的无意识实体建立关系，并且对方能够非常好地模拟亲密关系，但这一切都是建立在操纵和利用的基础上。人工智能公司将利用人们对亲密关系的需要，而人类用户则会在关系中以一种非常有剥削性的、单向的方法来处理对待。

▲休厄尔·塞泽三世和母亲梅根·加西娅。这个男孩与一个人工智能聊天机器人建立了极其亲密的关系，他们的聊天涉及大量露骨的性和自杀的内容图/Tech Justice Law Project

从AI变形虫到AI霸王龙

南方人物周刊： 你提到，相比于科幻小说或电影中的浪漫想象，比如人类爱上了算法，AI真正可怕的是，它可以自己做决定，创造出自己的想法，成为一种“新人类”。而开发它的人类甚至无法理解这个“黑匣子”的过程，比如2016年人工智能“阿尔法狗”在与韩国九段棋手李世石对决时给出的令人迷惑不解的第 37 手棋。

你与许多AI科学家进行了很多对话。计算机科学家是否有可能破解、监控AI自主决策的这一所谓“黑匣子”的过程呢？到底有没有办法确保AI自我设定的目标与我们人类最初的目标“保持一致”，即所谓的“对齐”呢？

赫拉利： 要使AI与人类目标保持一致，非常困难的事一点是AI 的发展速度。如果你将人工智能的进化与生物进化的过程进行比较，你可以说今天的人工智能就像变形虫（一种单细胞生物，与草履虫类似）。生物进化花了数十亿年的时间，才从变形虫这样简单的单细胞生物发展到恐龙这样的生物。但数字进化比有机体进化快数十亿倍，这意味着跨越AI 变形虫与AI 恐龙之间的差距可能短短几十年甚至几年就可以完成。

如果ChatGPT是AI 变形虫，那么 AI 霸王龙会是什么样子呢？数字演进的速度使“对齐问题”变得非常困难。我们已经看到一个AI错位的例子，如社交媒体算法。AI的目标是使人们在社交媒体网站上花更多的时间。它们发现：通过放大包含仇恨和恐惧在内的信息，能够实现这一目标。即使是这些相对原始的算法，也能够给人类社会造成巨大的伤害和痛苦。2016年缅甸发生的针对罗兴亚人的悲剧只是社交媒体算法引发暴力的一个例子。

解决这个问题有赖于我们人类之间的合作。在目前阶段，人类仍比AI强大。但我们自己内部非常分裂。这种情况历史上发生过。你看看古罗马帝国或大英帝国，他们经常利用群体内部的分裂来征服他们。如果人们内部不合作，来自外部的强大势力就更容易征服、接管他们。现在，我们看到同样的剧变（dynamic）在整个人类物种内部上演。如果我们自己不能团结起来解决人工智能的问题，最终我们将完全受制于一种“异类智能” （记者注：Alien Intelligence，赫拉利对人工智能的一种比喻，强调AI的行为和思维方式与人类截然不同，甚至可能导致民主失效和全球不平等。）