【强烈推荐】资本、AGI与人类野心 | AGI 到来后的社会结构与人生意义

360影视 2025-02-09 05:12 3

摘要:AI的进步速度一直在超越我们的预期,比起最近满天飞的R1的技术探讨,M小姐觉得,或许越是在短期变化无法琢磨的时候,我们更应该暂停一下,仰望星空想想那个不可避免的未来到来的时候,自己会身在何方。这篇文章的视角,我想是足以让你掩卷沉思的。(有一位经历过创业-并购的

大家新年开工大吉!被各种虚虚实实的 DeepSeek和AI新闻淹没的你,对新的一年有什么新的计划吗?

AI的进步速度一直在超越我们的预期,比起最近满天飞的R1的技术探讨,M小姐觉得,或许越是在短期变化无法琢磨的时候,我们更应该暂停一下,仰望星空想想那个不可避免的未来到来的时候,自己会身在何方。这篇文章的视角,我想是足以让你掩卷沉思的。(有一位经历过创业-并购的年轻创业者说,看了之后我失眠了)

文章分析了 AGI 到来之后的资本、人类劳动与社会权力结构之间的复杂关系。作者认为,劳动替代性的AI普及,使得现在资本难以买到人才之类的限制更少,资本反而变得更强大,权利变得更集中,甚至国家也失去关注人民群众的动力,社会阶层会变得更加根深蒂固。这意味着,在默认情况下,资本将在 AGI 时代变得比以往更加重要。

这对于我们意味着什么?社会如何能在这样的剧变中维持社会的流动性?

前面看得让人有些压抑的分析之后,我很喜欢文末的这段话,先贴上来:

我不认为强大的 AI 是一面无法逾越的墙,把人类的所有影响力彻底消灭。至少在一段时间内,墙上会有裂缝,你如果愿意足够近地观察,或者在远处努力寻找,它们会显得比你想象中更大。

M小姐一直相信,当AI可以为人类做成更多事情之后,人之所以为人的核心能力,或许就是定义问题/prompt的能力。而这个能力的天花板,或许很大程度上取决于人文社科(历史、哲学)等教育。

作者 Rudolf Laine 是剑桥本科+牛津PhD,现在是一位独立AI研究员。他的博客带有AI研究员的理性,又有英伦式的厚重历史人本思考。推荐关注!www.lesswrong.com

地缘政治、权力游戏固然容易吸引眼球,不过我想在这个变化不定的时代,或许思考一个务虚的问题反而是最务实的:

AGI到来的时候,你会如何思考你的人生意义?

(本文由“M小姐研习录”编译,转载请联系授权。原文链接请点击文末“阅读原文”)

原作者 | Rudolf L (X @LRudL),独立研究员

编译 | ChatGPT, 张子峰ARK ,邱醴泉 Cara, Monica

Capital, AGI, and human ambition

发表时间:2024年12月28日 · 4600字(阅读约17分钟)

1 作者的总结

AGI将改变人类与非人类生产要素的相对重要性,这会导致社会减少对普通民众的关注度,同时让已有的社会权利结构更加有效和根深蒂固。这意味着,在未来的AI时代,资本将变得比以往更加重要。

2

目录

现有解决方案

现在仅凭金钱难以买到顶尖人才

大多数人的权利/杠杆来源于他们的劳动

为什么国家会关心普通人的生活

普通民众还有可能逆袭吗

强制性的平等很难成功

默认的结果

我们能做什么

3

正文

很多人说"等到AI出现以后,钱就不重要了",我觉得这种说法并不完全正确。

让我们先弄清楚几个概念。什么是劳动?就是人们动脑筋、出力气去做事,从而创造出有价值的东西。什么是资本?就是像工厂、数据中心、软件这样人造的、用来生产东西的设施和工具。在这篇文章里,我说"资本"的时候,指的是这些货物,也包括能买到这些货物的钱。当我只想说“钱”的时候,我就直接用"金钱"这个词。

AI的出现对经济最大的影响是什么?它让资本能越来越多地取代人力。比如,过去需要人来做的脑力活,现在可以用装了软件的数据中心来做,这样就不用付钱给人了。

这会带来什么后果呢?我认为有这么几点:

购买劳动成果将越来越容易。

没有资本的情况下,普通民众将更难在社会上发挥价值,原因有2个:

第一,政府、公司这些机构不会再在意普通民众的发展

第二,普通民众仅通过初始的资本积累,很难再创作奇迹

想通过强制手段让社会变得平等,基本上不太可能。

总的来说,这揭示了AI发展过程中,一个被忽略的负面影响:社会的权利结构将变得更加静态,当前权利的失衡可能会被放大,甚至变得无法改变。

如果AI变得超级强大,我们并不用担心自己会缺吃少喝。政府可以用AI创造财富,保障居民的基础收入(UBI)。就算只有美国能用AI,且美国只关心自己国家的情况,只要AI能创造巨额财富,那些有同情心的美国富豪们就能帮助解决全世界的贫困问题。举个例子,假如美国的亿万富翁们拿出1%的钱帮助其他国家的人,他们的财富只要增长到现在的7万倍(也就是翻16倍),就能给地球上每个人发50万美元。在经济翻倍按月记的极端情况下,这种财务的积累用不了很长时间。不过话说回来,如果AI的发展没有这么神速,或者在AI的发展的过程中,世界上大多数普通民众的话语权反而变小了(这很可能发生),那么有可能获得良好的物质生活水都会成为问题。

想象一个场景:一个阶层固定不变的静态社会,既没有活力,也没有生机,这确实很让人觉得挺悲哀的。如果有可能的话,我们不应该扼杀人们追求进步的心。

还有一个问题:在这种社会里,掌权者有可能越来越难以关心普通民众的生计状况,这样一来,人工智能带来的灾难就可能慢慢积累,最后爆发。

假设将来大多数需要付工资给人来做的工作,都能用AI做得更好、更快。那么这些工作的市场价值会减低。我们把这种能取代人力的AI叫做"劳动力替代型AI"。

对于这种情况可能带来的失业问题,人们通常会想到两个解决办法:

各国政府会给每个人发基本生活费(UBI)。

我们很快就会进入一个超级AI时代。如果这个超级AI与人类的价值观、利益高度一致,那我们将生活在一个什么都不缺的世界里(技术进步克服资源稀缺的时代)。在这个世界里一切皆有可能。

但是要注意两点:

如果不是由一个单一的AI负责所有的的经济规划,那么货币将继续存在,因为价格最重要的作用是告诉大家东西值多少钱。只要还有不同的个体在做生意,那么很可能还是会有价格存在(就算人类看不到也参与不了这些交易)。

第二点要记住,就算AI发展得再快,资源总是有限的。只要资源是有限的,那么这些资源就必须按一定规则进行分配。

钱能买到很多东西:比如说,有钱通常就能买到工厂设备这样的资本,没有大把的钱(或能换成钱的资产、能抵押的固定资产,或者特殊的政府关系)就买不到资本。然而,通过原始资金培养顶尖人才的难度相比过去会更大。

以蓝色起源和SpaceX来说。蓝色起源比SpaceX早成立两年(2000年对2002年),大部分时候资金比SpaceX更充足,从雇佣人数上两者也差不多(一个11000人,一个13000人)。但SpaceX在与蓝色起源的竞争中呈现压倒性优势。尽管2000年的时候,贝索斯就已经有47亿美元了,但SpaceX靠着独特的公司文化和一众顶尖人才,仍然在竞争中占据了绝对优势。

回看一个世纪之前,莱特兄弟就靠着一个自行车店的资源,打败了财力雄厚的塞缪尔.兰利团队。

过去,风投和创业者之间。或者收购方与创业公司之间的和互动,都是拥有大量资本的人,通过支付高价来押注劳动力,而押注的前提是,出资方相信初创企业的高人才密度将胜过那些大型公司,而获得最终商业上的成功。

如果你想将金钱转化为最终的资本,招募到合适的人才是第一步,也是最难的一步。原因如下:

除非你自己在该领域非常精通,否则很难真的判别谁是真正的人才。这往往会导致招聘过程中的失误

真正的人才是稀缺的(有资格甄别人才的人,更加稀缺)

就算找到了合适的人才,他们加入团队,紧靠金钱,很难做到

(当然,有钱人一直在尝试进一步完善各种体系,让金钱更容易转化为资本。我亲眼见过量化金融公司几乎招揽了全部英国最优秀理工科毕业生,通过让他们在金融市场赚取微小的收益,扼杀他们的雄心。这么看来,社会对人才招募依旧秉承金钱至上的原则)

当然,随着“劳动力替代型AI”的出现,这些问题将不复存在:

首先,你可能不用再为评估AI人才发愁了。就算AI评估系统也可能很难准确评估AI人才——评估本身就是个难题。随着AI的发展,通过那些非正式的、常见的夸奖Claude-3.5-Sonnet的口碑来判断哪些AI最强,可能比评测更靠谱。但真正的不同在于,AI是可以复制的。现在,人们花大把的钱去追一个顶尖研究员,这些研究员因为了某个突破性成就才被那些有钱人注意到(这些有钱人自己看不出谁有本事,但能看出一篇论文的影响力有多大)。但如果顶尖研究员是个AI,那么这个研究员是可以被复制的,每个人——至少是每个买得起GPU的人——都能通过AI成为这个顶级研究员。未来不用再去筛选那些特别的、还没证明自己有多厉害的,也没法规模化培养的人类了。这就是为什么有了劳动替代型AI后,有钱就更容易找到的顶尖人才。

而且,因为AI比人工劳动成本更便宜,人才的价格会大幅降低,再加上AI可以被复制,劳动力市场的竞争会更激烈。

最后,金钱转化为人才的难点在于,很多顶尖人才都有自己复杂的想法,很难用钱打动他们。顶尖艺术家有自己坚持的艺术理念,顶尖数学家对优雅和美有深深的热爱,顶尖企业家对自己做的事业有坚定的信念——而且他们可能根本不适合给人打工。人类的才能和表现常常跟他们对某个领域或使命的那种神圣感有关(世界上那些愤世嫉俗的人、功利主义者和罗马帝国式的人物常常低估这一点,但最后却常常被那些有雄心的实习生、SpaceX和基督教这样的超越了)。相比之下,AI的存在就是为了能轻易被收买(至少在它安全训练的范围内)。天才AI数学家和人类数学家不一样,它会很乐意把时间花在证明那些无聊的代码是否正确上,人类数学家可不一定愿意。

最后,很明显,AI最终在做任务时会比任何人类员工都强。

这就意味着,一旦我们有了劳动替代型AI,金钱将更容易的转化为资本。

有了劳动替代型AI,几乎所有人都会失去他们最主要的力量和影响力。最明显的是,如果你是普通人,你的钱都是通过给别人干活挣来的,用你的脑力和体力帮别人解决问题。

但如果政府给每个人发基本生活费,问题不就解决了吗?

为什么国家会关心普通人的生活?

发基本生活费的前提是国家关心普通民众的生活,那为什么国家会关心普通民众的生活,将来又凭什么继续关心呢?

过去几百年,国家对普通民众的关心程度有了很大变化。为什么会这样?我们来分析几个原因,看看这些原因以后还能不能继续存在:

启蒙运动带来的道德观念变化,特别是自由主义和个人主义越来越受重视。

富裕和技术进步。工业化之前的普通人,生活都很穷,想帮穷人可能会把国家都搞破产。很多帮助措施(比如有效的医疗服务)也是要靠新技术才能实现。

国家了关心自由、繁荣和教育的动机。

AI在第二点上会帮很大的忙,它对第一点的影响比较复杂。我想重点说说第三点,这点常常被人忽视。

从工业革命开始,国家和人民的利益就空前一致。一个强大的国家要想在经济上有竞争力,就需要效率高的市场、良好有序的教育系统来培养技术工人,还需要富裕的中产阶级来创造需求。不管人才从哪个阶层出来,国家都能受益。国家也能从给人民更多自由中受益,因为这能促进科学、技术和文化艺术的发展,提高国家的国际影响力。国家之间的竞争在这些方面不断推动进步——比如美国的成功,还有中国推动高效市场和培养受过教育的富裕公民,并且给自由市场空间来促进中国的科学和创业。这跟封建时代不一样,那时候赢的策略是建立一个剥削性的上层阶级,统治一群没受过教育的农民,把大部分获得的财富用来打仗。

有了劳动替代型AI以后,国家为了跟其他国家竞争,或者为了增强自己的力量而做的事,就不会再跟普通民众的利益一致了。那时候国家对待普通民众可能还不如封建时代。在封建时代,国家至少还要让农民活着,这样才能从他们身上榨取财富。但有了劳动替代型AI以后,普通民众变得不再重要,因为他们连可利用的资源都算不上。所以,国家会减少对普通民众的投入,把资源更多地投到能提高国家竞争力的AI上。

而普通民众对国家的影响力也会大大减弱。现在,因为国家的权力至少要依靠一部普通民众的支持,如果重要行业的工人罢工,或者军队里有人威胁要搞政变,国家就不得不重视。人们还能向国家许诺,比如说"投资我们,十年后国家会更强大"。但是,一旦AI能做所有维持经济和军事力量的工作,国家就没有实际理由要关心普通民众的需求了。

亚当·斯密说过(https://oll.libertyfund.org/quotes/adam-smith-butcher-brewer-baker),他吃晚饭不是靠屠夫、酿酒师或面包师的好心。现在的古典自由主义者可以有力地说,历史确实在朝着自由和富足发展,这不是靠国家的恩赐,而是因为资本主义和国际政治的推动。但是,在劳动替代型AI出现以后,这种情况就不成立了。如果历史还要继续朝着自由和富足发展,就只能靠国家(或AI巨头)的好心了。如果真是这样,我们最好趁现在还有影响力的时候,就把这种好心巩固下来——而且要有充分的理由相信它能长期存在。

民主是对我们最有利的因素。西方民主制度是现代世界最强大的制度核心,人人都有平等的投票权是其中很重要的一部分。但是全球只有大约13%的人生活在自由民主国家,这让人担心其余87%人的命运(特别是那27%生活在完全专制国家的人)。这也带来了一个潜在风险:人道主义国家要跟那些不择手段的国家竞争,长期竞争下来可能会让投入到人类福祉上的资源变成零。

我在这里之所以要讨论国家,是因为国家是当前最强大、最持久的制度。不过,如果公司或其他新型组织变成重要的机构类型,同样的道理也适用。

普通民众还有可能逆袭吗?

世界上很多重大变革都是由那些原本没权没钱的人做出来的,他们通过努力取得突破性的成功,最后获得了财富或权力。那些本来就有钱有势的人通常对现状很满意,不太想推动重大变革,这反而给了这些人无权无势的人出头的机会。

不管你怎么看待收入不平等或"普通民众的逆袭"案例,我觉得我们应该有个共识:让个人有机会通过非凡的成功来改变世界非常重要,这能防止社会变得死气沉沉,也能让世界更有趣、更有活力。

那么,劳动替代型AI会怎么影响这些通过努力实现"逆袭"的手段呢?

创业:现在,创业正在成为那些有技术天赋、没有政治野心的年轻人(至少是有雄心的那些年轻人)实现抱负的途径。如今创业变得更容易了,AI的发展让小团队不用雇新人就能大大提高效率,也让年轻人学习新技能和进入新领域变得更容易。但是,劳动替代型AI出现以后,创业还行不行得通就不好说了。理想情况下,AI还是工具,企业家在AI普及后还能通过提供方向建议和做决策来取得成功。但更可能的是,随着AI越来越厉害,最终会直接取代人类企业家。比如,风投基金可能直接用钱支持几百个由AI运营的创业项目,根本不需要人类企业家作为中介,来管理这些AI。

自然科学:因为AI在所有有明确奖励机制的领域都进步很快,可能几年之内,人类在自然科学领域就再也出不了成果了。

知识分子:像凯恩斯、弗里德曼和哈耶克这些经济学家虽然做技术性的经济学研究,但他们的巨大影响力主要来自他们建立并推广的世界观(特别是哈耶克)。跟他们类似的还有密尔、罗尔斯和亨利·乔治,他们的思想框架和哲学体系对社会影响很大。这些人之所以能出头,是因为他们的产出不只靠技术,还需要道德判断。就算AI在说服力和技术正确性上超过了人类,它在这方面怎么影响人类文化还不好说。但可以预见,人类知识分子很可能会处于劣势。知识分子之所以能发光发亮,是因为以前天才很少。一旦AI能大量制造思想体系,人类个人的思想就很难再成为"明星"了。世界级的知识分子可能会消失。

政治:大多数人可能还是更愿意让人当政治家,这可能是受影响最小的领域之一。而且政治家有权制定规则。不过,AI生成的虚拟形象的魅力,加上西方人普遍讨厌政治家,可能会带来挑战。另外,AI可能会降低竞选成本,让竞选参与门槛降低,但如果高质量的AI比廉价的AI强太多,这反而可能对有钱人更有利。我觉得这些直接影响都比不上AI对舆论环境带来的间接影响大。

同时,最好的策略可能不是直接进入政治体系——比如,和其他几百万政治精英竞争总统或总理的位置。而是把政治技巧用在其他地方,就像山姆·阿尔特曼那样进入政府以外的机构,在那些缺少政治技能的地方发挥才能。将来,特别厉害的AI出现后,可能会让人类的情商变得不那么重要,同时让在组织内部政治博弈获胜以后的收益更高。

军事:从拿破仑以后,军事就不再是直接通向大权力和社会变革的途径了。技术进步让顶尖军队所需的工业基础门槛越来越高,这对现有大国更有利。AI很可能主要会被最强大的国家控制。可能有些例外:比如AI让发动大国政变变得更容易,或者革命策略和便宜无人机结合让某个"无人机时代的拿破仑"打败现有军队。但是这些情况看起来都不太可能带来对现状有益的颠覆性挑战。

宗教:在现有宗教体系里爬到高位的方式可能跟政治差不多,而创立新宗教的方式可能跟知识分子差不多。

总的来说,够厉害的劳动替代型AI可能会对几乎所有普通民众能够逆袭的道路,产生负面影响,相比之下,政治领域的影响最小。虽然现在的AI确实让创业变得更容易了,但总的来说,人类通过努力获得权力的机会会大大减少。

这一切都说明,有了劳动替代型AI以后,个人要想在现实世界中不靠钱来获取和使用权力,会变得非常困难。

有本书叫《不平等社会》,研究了历史上的不平等现象。作者发现,历史上能大幅减少不平等的,只有这四种情况:大规模战争、暴力革命、国家崩溃和严重疫病。通过正常的政治手段来缩小贫富差距,几乎从没成功过。

设想未来劳动替代型AI上岗,政府也开始给每个人发放基本生活费,没人会饿肚子。但问题在于: 发展AI需要大量钱,所以人们都得依赖有钱人。顶级AI公司具备和国家相当的权利。在这种情况下,财富的再分配不会成为政府优先考虑的事情。

除非出现一种特殊情况:因为AI的影响(比如大家都不用工作了,有很多时间搞政治),突然冒出一个新的政治运动,且获得了巨大支持。

这意味着就算未来生活很美好,一开始人与人之间的差距也不会小。根据历史经验,这种差距以后也很难改变。

这种差距不只是一个国家内部的人与人之间的不平等。国家之间的差距可能会更大。有些国家会比其他国家更容易从AI中获益。例如普遍收入等平等化措施,很难惠及非公民群体。同时也因为劳动替代型AI的存在,国家不再需要外来移民承担工作。结果就是,你出生在哪个国家,可能会比现在更决定你的命运

总体来说,就算有了劳动替代型AI,贫富差距和国家间的不平等可能不会自动消失。反而可能会更严重。

如果前面的分析是对的,那么未来拥有劳动替代型AGI的社会,将发生如下变化:

金钱更容易获得资本

普通民众比以往任何时候都更难通过原始资本积累获得杠杆效应

通过自己的劳动努力,再难逆袭成功

贫富差距不会缩小

这意味着什么?

资本的拥有者将获得比现在更大的社会优势。他们比现在的富人拥有更大的权利,且可以轻松的利用手中的金钱更容易的获得各种资本。

另外,真正的权力都来自AI,国家不再有关注普通民众生活的必要性。不过通过政治制度,人文价值观可能还会保留。如果每个人都能获得基本收入,购买力可能会维持在稳定水平。

在最好的情况下,世界可能像一个更加不平等,更加富裕的挪威。就像居民享有挪威石油一样,AI带来的好处人人都能享受到一些。每个人都有较高的生活水平,尽管部分人会更加富裕。普通民众对世界的影响力不断缩小,人类唯一的乐趣是,在你的社交网络和阶层中参与本地的社会和政治游戏。同时因为AI化身为一个很好的诗人,艺术家,哲学家,所以每人会在乎自己不认识的人在想什么,说什么,所有普通人的生活都围绕熟人展开。未来的重要人物都会跟他们在AI时代所做的事情有关 (比如"我叔叔曾在OpenAI工作")。同时社会阶层将不断固化,孩子们的很难超越父母。

更糟糕的情况:AI富豪几乎拥有无限的权利。基于劳动替代型AI将建立永久的权利阶层。同时由于社会阶层的固化,不同阶层之间的权利差距将令人震惊。但由于普通人无法说服劳动替代型AI的拥有者,因此这种巨大的阶层差异会最终被接受,形成新的,固化的社会秩序。(参见文章:https://nosetgauge.substack.com/p/review-foragers-farmers-and-fossil-fuels)

最坏的情况是AI富豪只追求自己的利益,不再关心人类的发展和繁荣,而导致人类灭亡。(参见文章:https://nosetgauge.substack.com/p/a-disneyland-without-children)

我如果你看完这篇文章后决定接受一份量化金融公司的工作,我会感到遗憾。如果你本来计划在 AI 领域做一些雄心勃勃的事情,但最终选择去 Anthropic 等公司追求稳健的个人资本积累,我无法责怪你,但我会稍感失望。

我们现在确实需要认真考虑更长远(约 2-10 年)的个人财务规划。但与此同时,现在也是一个绝佳的时间去做一些具有野心的事情。

正如罗宾·汉森所说,现在是“梦幻时代”(Dreamtime)——一个类似于澳洲土著神话中,秩序,价值都未定型的时代。

AI时代的到来可能是展示人类野心的绝佳机会,就如同过去工业化、互联网带来的机遇一样。如何不抓住这个机会,如何不“及时行乐”?

我们应尽力保持社会的流动性和生机。

理性主义者对后 AGI 时代的思考通常过于结果导向。比如:解决道德问题,对齐AI的基础框架,找到最佳的产品技术架构,然后执行。但社会的健康发展需要一种动态,流动性强的环境,在这种环境下,个人能继续为社会做出贡献并产生影响。因此,我们必须努力保留这种可能性。

接下来该怎么做?我也不知道。

但我不认为强大的 AI 是一面无法逾越的墙,把人类的所有影响力彻底消灭。至少在一段时间内,墙上会有裂缝,你如果愿意足够近地观察,或者在远处努力寻找,它们会显得比你想象中更大。

然而,随着 AI越来越接近在所有人类领域取得帕累托式的改进,我们可能最终需要增强自身,以跟上 AI 的步伐。

M小姐的话:

读了几遍之后我在沉思,用什么配图最好呢?我很喜欢作者对这个时代的定义:This is a Dreamtime. Wiki 中“Dreamtime”词条里,有这么一张配图:有点遥远的,又似乎触手可及的;似乎永恒的,又其实一直在变化的,澳洲原住民聚集地Uluru 上空的银河。

未来的秩序就像远处星系汹涌变化,如果我们不努力看得足够远,那我们只能站在地面上,等待看着他们千万年前过去时的样子。

秩序的巨大变革永远是让人害怕又兴奋的。望向更远的地方,才不会迷失方向。

新年快乐。

都看到这儿了,

【OnBoard!三万字实录】对话OpenAI,Replit,Augment核心成员:深度解读Agent底层能力与交互设计

【强烈推荐】OpenAI Shyamal 分享LLM 创业前沿方向,我们所处的历史阶段,AI-IMPACT框架!

【2.5万字实录】OnBoard!硬核对话Google Brain, Stability AI: 生成式AI的技术实践与商业未来

来源:古籍

相关推荐