摘要：在人工智能飞速发展的当下，我们不仅面临技术革新的冲击，更被迫重新思考人类自身的位置与角色。最近发表的两篇研究论文《人工智能2027》和《人工智能作为一种常规技术》，代表了两种截然不同的技术观与未来观：前者聚焦于人工智能迅猛演进所带来的风险与潜力，后者则强调技术

在人工智能飞速发展的当下，我们不仅面临技术革新的冲击，更被迫重新思考人类自身的位置与角色。最近发表的两篇研究论文《人工智能2027》和《人工智能作为一种常规技术》，代表了两种截然不同的技术观与未来观：前者聚焦于人工智能迅猛演进所带来的风险与潜力，后者则强调技术融入现实社会的缓慢节奏与制度约束。这种分歧并非简单的立场对立，而是反映出人类在应对智能技术时，所采取的两种基本反应机制——一种是警觉和设想未来极端情境，另一种是回归现实经验、依靠制度与常识进行治理。

本文深入解析这两篇论文的核心观点，通过其理性、审慎的视角，揭示人工智能发展的现实边界与制度嵌套逻辑。这种观点提醒我们：真正决定技术命运的，不是其潜力本身，而是我们如何引导它、规范它、嵌入它。比起焦虑于超智能的降临，我们更应关注技术如何服务于人、融入社会，以及谁来承担最终的责任。正如文章最后所言：“我们始终握有控制权。”这不仅是一种判断，更是一种承诺。

本文长达7500多字，是了解人工智能发展进程的不可多得的材料，值得收藏！

去年春天，丹尼尔·科科塔伊洛辞去了在OpenAI的职位，以示抗议。他逐渐相信，这家公司对自身技术的未来毫无准备，于是决定发出警告。在一位共同朋友的介绍下，我们通了电话。我发现他和善、博学，却又焦虑不安。他告诉我，在人工智能领域，用于确保其行为符合人类指令和价值观的一系列技术手段，统称为“对齐”（alignment），在发展速度上正落后于智能本身的飞跃。他说，研究人员正奔向一个失控的未来，创造出他们无法驾驭的强大系统。

科科塔伊洛原本在哲学研究生项目中学习，后转向人工智能领域。他解释说，自己是靠自学掌握相关知识的。在OpenAI任职期间，他的一部分工作是追踪人工智能的进展，构建时间线预测何时会跨越某些智能阈值。有一次，技术突飞猛进，他不得不将原先的预测时间提前数十年。2021年，他曾撰写过一篇题为《2026年的模样》的人工智能设想文章，其中许多预测还未等到标题中的年份就已成真。他因此得出结论：一个不可逆转的临界点——即人工智能在几乎所有关键任务上超越人类，并获得巨大权力与自主权的时刻——可能在2027年甚至更早到来。他在电话里听起来真的很害怕。

就在科科塔伊洛离开OpenAI的同时，普林斯顿大学的两位计算机科学家——萨特亚姆·卡普尔和阿文德·纳拉亚南——正准备出版他们合著的新书《人工智能毒药：人工智能能做什么，不能做什么，以及我们如何辨别》（AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, and How to Tell the Difference）。他们研究科技与社会的交叉议题，对人工智能的未来持有与科科塔伊洛截然相反的观点。他们认为，目前许多关于人工智能的未来预测过于乐观，其实际效能也常被夸大，甚至掺杂欺诈成分。即使是强大的人工智能，也只能缓慢改变世界，这是由现实世界的复杂性决定的。他们列举了多个案例，说明人工智能在关键领域（如医疗诊断或招聘）做出的判断竟然是“新手级”错误，反映出其与现实存在根本脱节。他们指出，即便是最新的人工智能系统，也仍未摆脱这一缺陷。

最近，这三位研究者都进一步深化了自己的立场，发布了更加尖锐的报告。由科科塔伊洛担任执行董事的非营利组织“人工智能未来项目”（AI Futures Project）发布了报告《人工智能2027》（AI 2027）。这是一份脚注详实的文件，由科科塔伊洛与另外四位研究员共同撰写，描绘了一个令人不寒而栗的场景：在2030年前，“超级智能”人工智能系统或将主宰甚至消灭人类。这份报告意在警醒世人，对潜在的未来提出严肃警告。

与此同时，卡普尔和纳拉亚南也发布了一篇新论文，题为《人工智能作为一种常规技术》（AI as Normal Technology）。他们在文中强调，各类现实障碍——从法律法规和行业标准，到在现实世界中执行实体任务的基本难度——都将限制人工智能的部署速度和变革能力。他们承认人工智能最终可能会成为一项与电力或互联网同等重要的革命性技术，但在可预见的未来，它仍将是一种“常规”技术，也就是说，可以通过常见的安全措施（如自动断路器、终止开关和人工监督）加以控制。他们写道：“人们常将人工智能比作核武器”，但“更恰当的比喻是核能”——核能大体上仍是可控的，甚至由于安全考量，可能还远未被充分利用。

那么，人工智能的未来究竟是“照旧运行”还是“世界终结”？F·斯科特·菲茨杰拉德有句著名的话：“一流智慧的标志，是能在头脑中同时容纳两个相反的观点，并依然保持正常思考的能力。”当我接连读完这两篇报告，试图与作者们在同一个下午逐一对话时，我发现自己失去了这种能力，几近精神错乱。《人工智能2027》和《人工智能作为一种常规技术》描绘的是同一个现实，作者都是资深专家，却得出了几乎荒唐的相反结论。与卡普尔、纳拉亚南和科科塔伊洛谈论人工智能的未来，让我有种同时与理查德·道金斯和教皇谈论灵性的荒诞感。

就像盲人摸象的寓言，一群善意的人围着一头陌生动物争论不休，每个人都以为自己摸到的一部分代表了整体。这正是人工智能的问题之一：当事物太新，我们很难看清全貌。但卡普尔与纳拉亚南也指出：“当前关于人工智能安全的讨论，实际上反映了深刻的世界观分歧。”如果让我总结这些分歧，我会说，大体上，美国西海岸、硅谷的思想家倾向于相信技术带来的快速变革，而东海岸的学者则对此警惕甚至反感；人工智能研究人员信奉快速的实验进展，而其他计算机科学家则追求理论严谨；人工智能行业内部的人渴望“创造历史”，而圈外人对科技炒作早已厌倦。与此同时，围绕政治与人性的问题——人们真正的需求、技术如何演化、社会如何改变、思维如何运作、“思考”究竟意味着什么——也往往未被清晰表达，却实实在在地影响着人们的立场归属。

另一个问题是：围绕人工智能的争论本身太有趣了。这种“有趣”，反而可能构成一种陷阱。《人工智能2027》发布后，许多业内人士虽然接受了其基本前提，却只是在时间线上争论（“为什么不是2045年？”）。但如果真有一颗行星杀手级别的小行星正冲向地球，我们并不希望美国国家航空航天局的官员坐下来讨论它是午饭前还是午饭后撞击——我们希望他们立即发射飞船，改变它的轨道。与此同时，《人工智能作为一种常规技术》中提出的许多主张——比如，在执行重要任务时保留人类监督，而非完全交由计算机掌控——在当前末日概率的语境下反而显得过于平淡，以至于长期以来无人提起。

当一项技术足以影响社会进程时，围绕它的讨论也必须随之升级。专家之间的争论，应当为更广泛的共识让出空间，从而使公众能据此采取行动。而目前，人工智能领域缺乏这样的共识，正在造成现实代价。专家若能携手提出统一建议，社会不可能不重视；可一旦他们自我分裂、对立成派，决策者就会更容易将双方一并搁置，最终什么也不做。而现在，“什么也不做”似乎正是主流策略。人工智能公司并未实质性地在能力与安全之间找到更好平衡；众议院刚通过的预算协调法案中，甚至还明确禁止各州在未来十年内对“人工智能模型、人工智能系统或自动决策系统”进行监管。如果《人工智能2027》的预测是对的，而这项法案真的签署成法，那么等我们有权监管人工智能时，它或许已经开始监管我们了。在局势彻底失控之前，我们必须理清关于人工智能安全的讨论。

人工智能是一个技术话题，但描述其未来却是一种文学性的实践：我们讲述的故事具有特定的结构，而这些结构又反过来影响故事的内容。这里总是存在取舍。如果你追求可靠、理性、保守的叙述，就可能低估那些不太可能但后果深远的情形；而一旦调动想象力，又可能在追逐“有趣”的过程中忽略了“可能”。预测会营造一种虚假的可预见性，而现实更像是哈哈镜世界。在我于2019年采访科幻作家威廉·吉布森时，他谈到过一次惊慌的时刻：他自认为掌握了近未来的脉络，但“当我看到特朗普乘着电梯宣布参选时，我脑海中的所有情景模块都发出‘哔哔哔’的警报声。”我们正偏离原先设想的轨迹。

《人工智能2027》既富有想象力，又生动详尽。“它确实是一种预测，”丹尼尔·科科塔伊洛最近告诉我，“但是一种以‘情景’为形式的预测。”该报告部分基于对人工智能发展趋势的评估，但写作方式更像一篇带有图表的科幻小说，顺着事件的洪流一路推进。其细节的具体性常常反映出其可替代性。比如，真的会在2027年6月某个时刻发生这样的场景吗——开发出自我改进型人工智能的软件工程师“盯着电脑屏幕，看到性能不断、不断、不断地提升”？或者，亚洲会在某个“集中开发区”建造一座“超级数据中心”？这些细节虽然增强了情节的张力，但未必决定成败；科科塔伊洛表示，关键在于，“更可能发生的是，一场智能爆炸即将到来，并引发一场围绕谁能控制人工智能的疯狂地缘政治冲突。”

我们真正需要关注的是那场所谓的“智能爆炸”的具体细节。《人工智能2027》的核心情景围绕一种被称为“递归自我改进”（Recursive Self-Improvement，简称R.S.I.）的人工智能开发路径展开，这在目前仍是高度假设性的。报告设定的情节是，递归自我改进始于人工智能程序开始能够自主进行人工智能研究（目前，它们只是协助人类研究者）；这些人工智能“代理”很快便学会如何让它们的“后代”变得更聪明，而后代也以同样方式改进下一代，形成一个不断加速的反馈循环。随着这些人工智能像同事一样相互通信、分配任务、组建一个“公司中的公司”，它们的增长速度和效率远远超过原先隶属的人工智能公司。最终，它们创造后代的速度之快，已经超出人类程序员的理解与控制能力。

几乎每一部关于人工智能的科幻小说都告诉我们：实施递归自我改进并不是个好主意。几家大型人工智能公司也将递归自我改进列为高风险技术，但并未承诺不会追求这条路径；相反，它们只是宣称，如果朝这个方向发展，将加强安全措施。同时，如果递归自我改进成功，其经济潜力将是惊人的。“在这些公司里，追求递归自我改进绝对是一种被热切选择的方向。”科科塔伊洛说，“这就是计划。OpenAI和Anthropic的计划，就是先自动化他们自己的工作。”

这种递归自我改进真的可能实现吗？（至今尚未实现。）它难道不依赖于其他技术条件，比如“扩展性”（即随着计算资源的增加，人工智能性能能否持续提升）？过去这一规律成立，但未来可能会失效？（一些观察者认为，这种扩展性已经开始显现瓶颈。）如果递归自我改进一旦启动，它的发展会遇到上限，还是会一直持续到“人工超级智能”的出现——即远超人类思维能力的智能水平？（“如果智能的上限刚好略高于人类水平，那就太巧合了。”科科塔伊洛说。）

可能性开始叠加。如果超级智能驱动了创新，会不会引发一场军事化军备竞赛？超级智能人工智能是否会在追求自己难以理解的目标过程中操控甚至消灭人类？（在《人工智能2027》中，它们耗尽了地球资源来进行我们根本无法理解的科学研究。）又或者，出现更乐观的结局：它们自己解决了“对齐问题”，要么驯服自身、要么化身为仁慈的神明，这取决于你的视角。

但没有人真正知道答案。这部分是因为人工智能是一个分裂、变化迅速的领域，观点差异巨大；部分是因为许多前沿研究属于商业机密，未予发表；还有部分原因是：对于这种本质上属于猜想的问题，不可能有确切答案，只有概率。《人工智能2027》情节推进紧凑、讲述充满信心，几乎掩盖了其主题中所固有的不确定性。这个情景依赖一连串乐观技术预测的程度，可能是一个缺陷，甚至是一个严重缺陷。（一位业内好友认为该报告体现了“被人工智能洗脑的乐观主义”。）但事实上，偏颇恰恰是情景预测的价值之一。在不确定情况下，我们往往把希望不会发生的可能性看得过于遥远。而阅读一个情景故事的过程中，我们被迫去设身处地地相信其真实性。“《人工智能2027》所设想的内容，”科科塔伊洛告诉我，“与这些公司员工在食堂闲聊时谈论的内容其实‘没什么不同’。”他们在谈论；我们在想象。问题是：他们真的在认真对待吗？一旦面临有关递归自我改进的重大抉择，他们会做出明智的决定吗？

科科塔伊洛的回答是否定的。关于人工智能有一个广泛存在的误解，即危险或不可控的技术可能会“不经人手地突然出现”。（就像《终结者》中有人说的：“它自己变聪明了。”）但《人工智能2027》描绘的是一连串明确的错误决策，从研究者在尚未完全掌握如何“读懂”人工智能思想时就决定构建自我改进系统开始。报告主张，由于竞争压力和好奇心的驱使，从事人工智能研究的人将主动去做那些任何看过《战争游戏》电影的人都知道不该做的事。“如果你曾在这些公司工作，并与他们交流他们想做什么——就像我做的那样——他们会告诉你，他们就是打算这么干。”科科塔伊洛说，“他们知道自己尚未解决可解释性问题——也就是说，他们无法严谨地检查人工智能系统的内部目标，也无法预测其未来行为。但他们还是要往前冲。”《人工智能2027》既是一种技术场景，也是一种人性场景。它暗示，真正“未对齐”的，并不是人工智能，而是那些创造它的公司。

与《人工智能2027》不同，《人工智能作为一种常规技术》体现出更偏“东岸”的思维方式。它是一份风格干练、态度审慎的白皮书，其权威感更多来自对历史的深刻理解。阿文德·纳拉亚南和萨特亚姆·卡普尔并不特别担心超级智能或潜在的“智能爆炸”。他们认为，人工智能的发展存在“速度极限”，这将遏制超高速的进步；即便超级智能最终成为可能，也需要数十年才能实现，足够我们制定法律、建立安全机制等一系列措施。

他们所识别的“速度极限”部分源于人工智能自身，比如硬件成本高昂、训练数据逐渐枯竭等；但更深层的原因在于他们对技术演化的整体认知：现实中的技术变革通常比人们预测的更为缓慢。

卡普尔和纳拉亚南指出，人工智能研究者对“智能”的聚焦是误导性的。一个严酷的事实是：智能本身的实用价值其实很有限。在现实世界中，关键在于“权力”——即“改造环境的能力”。历史上，许多技术虽然功能惊人，但并没有真正赋予其发明者或使用者改变世界的力量。例如，一些汽车能够自主驾驶，这令人惊叹，但在美国，这些无人驾驶汽车仍只在少数几个城市运行，由极少数公司控制。技术本身虽已强大，却尚未带来现实影响。它终将改变交通方式——但不是今天。

人工智能研究者常担心的是技术本身变得过于强大，但卡普尔和纳拉亚南更关注以人为本的技术观：技术的目标不应是自身变得强大，而是增强人的能力。“人类一直借助技术提升掌控环境的能力，”他们写道，而即便是最先进的技术，真正赋能人类的速度通常也是缓慢的。新技术从实验室渗透到社会往往需历时多年。《人工智能2027》中甚至设想“大多数疾病的治愈”可在2029年实现。但按照卡普尔和纳拉亚南的逻辑，即便人工智能能大幅加速治愈方法的研发，人类真正受益仍需等待——比如医学设备的审批仍必须经过美国食品药品监督管理局的流程。就算超级智能破解了核聚变难题，这项技术仍需经过测试，还要找到一个愿意接受建厂的地点。（美国最近建成的核电站——位于佐治亚州韦恩斯伯勒——耗时14年，预算超支近200亿美元。）“我最喜欢的例子是莫德纳公司，”卡普尔对我说。他指的是在中国研究人员完成新冠病毒基因测序后，莫德纳用了不到一周时间开发出疫苗，“但真正投入使用则花了一年。”即使未来人工智能能更快设计疫苗，临床试验依然受制于人类生理过程，只能按部就班。

纳拉亚南指出，那种认为智能的提升会迅速带来技术飞跃的观点，反映出软件工程师普遍低估了“领域特定”的复杂性与专业知识。他说：“软件工程虽然名字里有‘工程’，但它的历史却与传统工程学脱节。”这也意味着人工智能安全研究者可能低估了现有的安全体系。卡普尔和纳拉亚南特别强调了工业安全实践，它们经过数十年发展已被反复验证。例如，在工厂里，故障保险装置和断路器能确保系统在异常情况下转入安全模式（比如一旦探测到一名工人进入机器内部，设备将立即停机）。冗余机制让管理人员及时发现异常数据。“形式化验证”等流程——即通过预设规则对系统进行安全性检验——也常用于人机共处的复杂场景。

在这种观点下，现实世界其实已经是一个管理相当完善的体系，人工智能的融入也将是缓慢而系统的。一项关键问题是：我们是否相信掌控人工智能的人必须遵守这些规则？卡普尔和纳拉亚南指出，他们的分析有一项“重要但明确的例外”：他们“明确排除了军事人工智能……因为这涉及机密能力与独特的动态机制，需要更深入的分析”。与此同时，《人工智能2027》几乎全部聚焦于人工智能的军事化，一旦其军事意义（比如“如果人工智能削弱了核威慑机制会怎样？”）显现出来，其部署速度便会迅猛。两份报告合起来的结论是：我们应当密切关注人工智能的军事用途。

《人工智能作为一种常规技术》则为各领域的管理者提出了具体建议：不要被动等待人工智能公司实现模型“对齐”，而应主动出击。开始监测人工智能在本行业中的使用情况，寻找其风险和失误的证据，并加固或新建相关规章制度，以提高社会与机构在技术普及中的韧性。

“世界观存在深层分歧”——这个说法大致靠谱。但究竟什么是“世界观”？世界观往往是回应性的，是对现实刺激的反应。人工智能的出现本身就是一种刺激。它引发人们重新思考技术的意义、进步的本质，以及发明者与普通人之间的关系。它是一场心理测验，也正是在一个舆论躁动、观点极化、反应迅速的时代中登场。知识世界的互动也存在反馈回路——我们不断加固自己的立场，逐步陷入阵营。

有没有一种世界观，能够包容《人工智能2027》和《人工智能作为一种常规技术》的视角？我认为是有的。想象你走进一座工厂。入口处写着“安全第一”，工人们头戴安全帽、身穿高可视度工装。机器不是自运行的，而是由工人操控，并且设计上兼顾了效率与安全。在这座“认知工厂”中，人们严肃对待“最佳实践”；质量控制至关重要。一支资金充足的维护团队随时准备检修与升级设备，以满足工厂的需求。在研发部门，科学家们不时提出一些技术升级方案，但在整合进生产流程之前，这些方案都要经过严格评估，并听取工人意见。而这座工厂有着清晰的使命——工人们知道他们要生产什么，而不是任由机器制造出什么就交付什么。他们会引导机器朝着明确的目标运作。

我们中的许多人，或许不久后也将在类似的“认知工厂”中工作。无论从事何种职业，都可能与智能机器共事。当机器能够代替人类完成部分思考时，人们可能会忍不住“松开操纵杆”。但在这样的工厂中，如果发生安全事故，或产品出现严重缺陷，谁应负责？相反，如果工厂运转良好、产出优质，谁又应获得赞誉？人工智能的到来不应意味着责任的终结——恰恰相反。一个人能做得越多，责任也就越大。人少了，责任就更集中。当某位工人决定离开操作台，这本身就是一种决策。人工智能只是在表面上减轻了我们的主观能动性之重，而事实上，它挑战我们重新认识：最终，我们始终握有控制权。

资料来源："Two Paths for A.I." by Joshua Rothman, Published on May 27, 2025 - The New Yorker

翻译和编辑：银河系搭车客

来源：人工智能学家