摘要：习近平总书记曾就防范化解政治、意识形态、经济、科技、社会、外部环境、党的建设等领域重大风险作出深刻分析，提出明确要求。关于科技方面，习近平总书记强调：“科技是发展的利器，也可能成为风险的源头。要前瞻研判科技发展带来的规则冲突、社会风险、伦理挑战，完善相关法律法

习近平总书记曾就防范化解政治、意识形态、经济、科技、社会、外部环境、党的建设等领域重大风险作出深刻分析，提出明确要求。关于科技方面，习近平总书记强调：“科技是发展的利器，也可能成为风险的源头。要前瞻研判科技发展带来的规则冲突、社会风险、伦理挑战，完善相关法律法规、伦理审查规则及监管框架。”在科技飞速发展的今天，如何引导科技向善成为一道必答题。

一、观察现象：人工智能发展带来的科技风险

2016年，围棋高手李世石被谷歌旗下DeepMind团队开发的AlphaGo计算机程序以4:1的高分击败，引发全球关注。2017年，DeepMind发布了AlphaGo的新版本。AlphaGo Zero，经过3天的训练便以100:0的战绩击败了AlphoGo Lee，也就是战胜李世石的版本，经过40天的训练便击败了AlphoGo Master，也就是击败世界冠军柯洁的版本。以前的版本依靠的是人工录入的大量棋谱来帮助学习，新版本强化学习算法，即不再依赖任何棋谱，编程人员输入围棋基本规则后，不再进行任何教导，完全由其自己进行摸索，总结走棋方法，相当于人工智能完全按照自己的方法学习。

Chat GPT出现的时候，一些人工智能领域的专家表示，AlphaGo出现的时候虽然受了很大冲击，但是人们觉得，好比养猫，AlphaGo只是比其他家养的猫更聪明，而Chat GPT的出现，就好像这只聪明的猫已经会说人话了。

Deep Seek出现以后，业界普遍认为现有模型已经超过大部分博士毕业生的研究水平，甚至在有些领域达到了优秀学者的水平。它的结构性很好，且能做到系统性深化、细化，虽然有时候出现“幻觉”，但人们也能分辨出来。

人工智能的成长速度很快，OpenAI模型o3智商高达157，在编程竞赛中表现得更加高效和精准，超越了99.8%的选手，接近全球前200程序员的水平。DeepMind推出的AlphaGeometry2，在国际数学奥林匹克竞赛（IMO）的大规模几何题目测试中，超越人类金牌得主水平，解答了其中的42道，超过了金牌得主40.9分的平均成绩。这一现象从一个侧面体现出人工智能的反噬作用。人类创造出比自己更聪明的产品代替自己完成很多事情，但是人工智能在帮助人类做好事的同时也有做坏事的潜在风险。社会科学工作者要担起责任，有句话说“虽然改变不了世界，但是能改变世界观”。

二、科技风险激增下的担忧

（一）末日概率

“末日概率”指个人认为人工智能可能带领人类走向末日的机率。人工智能先驱人物、2024年诺贝尔物理学奖获得者杰弗里·辛顿表示，人工智能导致人类灭绝的可能性在10%到20%之间。2024年1月，一项有关人工智能未来的、较大规模的调查结果显示，在世界顶级人工智能期刊或国际会议发表过论文的2778位受访人员中，有15.6%的受访者认为AI发展过快，41.2%至51.4%的受访者估计人类灭绝或严重丧失权力的可能性超过10%。我认为，这一结果较为保守，一是这项调查是2023年进行的，时间较早而人工智能发展又很快，二是行业专家不愿主动渲染本专业的危险性。

那么，假如人类有10%的可能性被人工智能覆灭，这一概率意味着什么？这是一个我们根本无法承受的数字。我们以民航为例，据国际民航统计，全球每天有约10万架次民航航班。如果平均每天有10架飞机出事，那么飞机的出事概率也只有万分之一。10%的出事概率意味着，每天有1万架飞机遇难，而现在飞机失事的平均概率仅为上百万次分之一。我相信，如果空难概率高达10%，没有人会选择坐飞机。

人工智能刚刚推出的时候，就有人呼吁暂停。但是人类现在最大的困境就在于一方面车速过快，道路情况又很复杂，另一方面刹车失灵。2024年3月，欧洲议会以压倒性票数通过《欧盟人工智能法案》。这是全球首部综合性人工智能监管法案。同年5月，25位世界顶尖AI科学家呼吁，全世界应对AI风险采取更强有力的行动。

从实际效果看，科技在进步，人们对于科技风险的认识和治理却在倒退。过去人类有很多好的智慧、好的机制，但在激烈竞争和资本增殖的压力下，这些好机制都消失了。个体的风险感知较为敏锐，早些年就有人提出发展人工智能的风险。群体对此保持缄默，《乌合之众》一书有精辟的讲解。

（二）伴侣机器人

虽然目前的机器人还不能和真人一模一样，但是随着合成生物学与人工智能的交叉研究不断深入，终有一天伴侣机器人的外观能做到和真人一样。到那时，或许年轻一代的初恋都将是机器人。

（三）镜像生命

DNA具有手性，“镜像生命”指通过合成生物学技术，将构成生命的分子（如DNA、RNA、蛋白质）替换为其镜像版本而创造的全新生物形式。例如，自然界中DNA为右旋（D型），蛋白质由左旋氨基酸（L型）构成，而镜像生命则使用左旋DNA和右旋氨基酸，形成与地球生命“互为镜像”的结构。2024年12月，国际顶级期刊《科学》刊发由38位科学家联合撰写的重磅报告《应对“镜像生物”风险》，呼吁全球立即禁止人工合成“镜像生命”的研究。这一警告由包括诺贝尔奖得主在内的多国顶尖学者发起，直指合成生物学领域潜藏的“前所未有的风险”，引发科学界与公众的深度反思。

三、科技风险的双重挑战性

随着科技发展，尤其是进入21世纪以后，越来越多的自然科学家加入预警科技风险的队伍，以前提出科技风险的大多是人文学者。我认为，目前存在双重挑战：一方面科技风险愈演愈烈，另一方面人类的防控机制存在严重漏洞。

（一）认知失灵

什么是“有效加速主义”？它是一种关于技术和社会关系的哲学思想。有效加速者认为，有效加速运动并不是一场社会运动，甚至也不是一种意识形态，而只是一种对真理的承认。无论是现实中的官僚体系、技术治理，还是任何试图控制技术的力量，都妨碍了人们承认真理，因而都需要被革除。一言以蔽之，就是不顾一切地加速技术的发展。

什么是“超级对齐”？大致上讲，它指的是通过对AI系统的行为进行引导，让其能够符合设计者的意图。一些AI从业人士建议用“超级对齐”来对AI系统，尤其是超级AI系统进行对齐。这种策略的基本思路是先创建一个“大致相当于人类水平的自动对齐研究员”，用它来执行针对AI的对齐工作。换言之，就是在执行对齐工作的过程中，将那些更适合由AI完成的工作尽可能交由AI来自动完成，而人类则仅负责其中最为关键的那一部分，以此来尽可能提升对齐的效率。

（二）伦理失灵

科技伦理的建设是按照社会伦理的思路进行的。什么是社会伦理？社会伦理是指在社会生活中，人们共同认可并遵循的道德规范和行为准则，它调节着人与人、人与社会之间的关系，是社会稳定与和谐的重要基础。只要多数人遵守社会伦理，社会秩序便可以井然有序。少数不遵守社会伦理的人造成的社会危害是有限的。但是科技环境不是这样，只要有一个实验室不遵守伦理秩序，就会造成很大危害。所以，我们很难用科技伦理约束科技风险问题，重点应放在改变科技发展模式上。

（三）知错纠错机制失灵

知错纠错是人类的重要智慧之一，人类只有通过不断地知错纠错才能达到目标。囚徒困境，用于描述在一种博弈情境下，个体之间可能面临的合作与背叛之间的冲突，反映个人最佳选择并非团体最佳选择。换句话说，行为主体面临选择的两难境地时，往往会趋向于考虑相对利己但是不利于集体最大利益的方式。囚徒困境揭示了个人理性与集体理性之间的矛盾。黑格尔说过一句话：人类从历史中学到的唯一的教训，就是没有从历史中吸取到任何教训。

对此，结合囚徒困境，从人类是否犯重大错误和能否认清、纠正、抵消易犯重大错误的角度来揭示人类面临的根本性困境，我提出“囚车剑魔”四大困境。囚徒困境表明吃一堑未必长一智。动车困境表明纠正大错是边运行、边分析、边争论、边纠错，纠错需要迈过“达成正确共识、预期共赢、共同有效行动、具备有关条件”四道坎。双刃剑困境表明正负效应无法抵消、无法弥补，一“坏”遮百“好”。魔戒困境表明犯重大错误的门槛越来越低，人有理性，会权衡利弊，所以经不住诱惑，尖端科技使小人物和机器人可以犯大错误。

四、如何应对加速演进的科技风险

我们要有正确有效的思想和对策，提高相关领域的研究支持。我们要用中国的理论阐释中国的问题，要维护好中国的利益，讲好中国故事，传播中国声音。而且，我们要更加关注可持续发展的大局观，充分考虑人类当前面临的挑战和中国应该担起的责任，在解释中国现象、解决中国问题、维护中国利益的同时，维护人类利益，推动构建人类命运共同体。我国高度重视安全发展。在党的二十届三中全会公报中，“安全”共出现16次。

当务之急是要转变观念，要站在未来看今天。推动科技的可持续发展，要确立合作比竞争重要、安全比财富重要、方向比速度重要、和平相处比独占鳌头重要的原则。以和为贵不仅是中国传统文化的主张，更是高科技巨风险时代不得不遵循的生存法则。我们要有新的发展，从平面的科学走向立体的科学，倡导科技创新风控先行、科学研究伦理先行。

人类社会正面临一系列巨大的变革和转型，以前强调的是大规模的技术创新，强调“科学技术是第一生产力”，现在强调的是学术创新、人文社会科学的发展，提倡的是安全的科学技术是第一生产力。中国科学院院士韩启德指出：“既然科学存在方向和价值问题，那就提醒人们要重视人文的作用，因为人文是科学发展的方向盘和刹车器。在发展科学技术的同时，必须大力发展科学文化。”我们要明白什么该做什么不该做，有所为有所不为。中国主张集体主义，提出构建人类安全共同体。我们要将科学发展领域分为三个类型：鼓励发展型、谨慎发展型、限制发展型。要以人文社会科学的发展为基础，建立可持续发展的科学体系，形成新的世界科学中心，推动科技与AI的健康发展，从科技致富转向科技致善。

作者：刘益东 中国科学院自然科学史研究所研究员

来源：宣讲家网