摘要：众所周知，人工智能（AI）正在发展出许多强大的能力，不但以大语言模型实现知识吸收并建立创作、推理、判断能力，而且具身AI的空间辨别能力和动作控制能力也在快速提高。毫无疑问，AI正在为我们赋能，正在改变我们的经济和社会，一些重要的经济学家还就AI对宏观经济的影响

张文魁资料图。

张文魁

国务院发展研究中心研究员

一、AI最需关注的能力和AI治理的潜在漏洞

众所周知，人工智能（AI）正在发展出许多强大的能力，不但以大语言模型实现知识吸收并建立创作、推理、判断能力，而且具身AI的空间辨别能力和动作控制能力也在快速提高。毫无疑问，AI正在为我们赋能，正在改变我们的经济和社会，一些重要的经济学家还就AI对宏观经济的影响进行了模拟分析，譬如2024年诺贝尔经济学奖获得者阿西莫格鲁就发表了一篇题为“AI的简单宏观经济学”的论文，指出AI技术将使全要素生产率有所提高，但很可能会进一步拉大收入财富差距。因此，许多国家的政府，以及许多学者，都在研究AI带来的发展机遇，同时也关注其带来的潜在挑战。

不过，我认为，AI最需关注的能力，也是至今为止尚未受到足够关注的能力，是如下三个：用计能力、欺骗能力、自我复制能力。

首先是用计能力。去年底有一篇论文刊发于《阿波罗研究》上，题目是“前沿模型具有场景内用计能力”。所谓用计（scheming），或者叫耍巧，就是AI可以巧妙地隐藏其真实能力和目标，这意味着它有可能逃避真人的监督，而实现AI的非对齐目的（misaligned goals）。这篇论文基于对一些现有前沿模型的测验，具有一定的可信度。

其次是欺骗能力。前年就有一篇麻省理工学院的工作论文，题目就是“AI欺骗：实例、风险与潜在对策”。这个研究小组发现，AI已经学到了如何欺骗人类（how to deceive humans）；这些欺骗手段的潜在风险包括造假、篡改，等等。显然，如果这种能力为真，而且人类对AI的这种能力缺乏警觉，就会使AI失去控制。

再次是自我复制能力。去年底还有一篇论文题为“前沿AI系统跨越了自我复制红线”，也是通过对前沿AI的测试，发现一些AI系统在没有真人帮助的情况下实现了自我复制（self-replicating），而这可视为流氓AI（rouge AI）的早期信号。自我复制是一条红线，如果AI可以自我复制，毫无疑问就可以拒绝和抵制人类的管控，或许真的有可能成为一类独立的新物种。

当然，前沿AI模型的上述能力是否被夸大，以及是否具有普遍性，还需进一步的严格测试和评估。我认为，这些早期的研究和测试所获得的初步结论，需要引起研究者的高度注意。从AI治理的角度来看，在AI的所有强大能力中，用计（scheming）、欺骗（deceiving）、自我复制（self-replicating）这三种能力，其潜在影响最值得关注。这三种能力如果的确存在，就好比AI可以成为诸葛亮和哪吒，而本尊真人有可能成为司马懿和李靖。更进一步，如果这三种能力被真人有意利用，所导致恶果的问责就会成为重大疑难问题。

遗憾的是，即使一些重要国家和国际组织都发布了专门的AI治理文件和政策，以及许多学者都发表了AI治理的文章，但似乎尚未对这三种能力及其潜在影响有所关注和分析。众所周知，AI治理也关注造假问题，但主要集中在深度伪造（deep fake）及虚假信息（false information）等方面，而这些造假实际上受真人指挥、操纵和控制。而AI上述三种能力的实质在于失去真人控制。譬如AI监管和治理领域最前沿、最系统、最具里程碑意义的文件，就是欧盟于2024年通过的《AI法案》，这部法案界定了禁止使用的AI，包括：超越人类意识或欺骗、操控技术，从而扭曲人们决策能力的AI；利用个人或特定群体特征和弱点并扭曲他们行为的AI；根据个人或特定群体的社会行为或人格特征进行识别分类的AI；在公共场所进行远程生物识别和情绪识别的AI（特别执法除外），等等。该法案还界定了高风险AI，主要就是对人的基本权利和健康构成威胁的AI，并提出了相应的合规要求和风险管理规范。但是，这些内容都没有清晰地涉及上述三种AI能力，当然应该是没有来得及涉及这三种能力。

我认为，未来如果继续忽视这三种AI能力，就会成为AI治理的重大潜在漏洞。而在现实世界，类似的问题已经现出苗头。譬如意大利的情感聊天智能工具Replika，曾遭到“欺骗感情”和“性骚扰”的起诉。即便这类实例仍然非常鲜见，即便应该承认AI治理的步伐赶不上AI发展的步伐，但AI治理的研究者，以及AI治理政策的制订者，应该有一些基本的先见之明。可以预料，AI在未来几年将有更快的发展，并将拥有更加多样和更加强大的能力，因此会给AI治理带来更多挑战。这就更需要基本的先见之明，从而可以较好地应对这些挑战。

二、数据治理的关键：AI场景数据是具有人格含量的资产

AI治理还与数据治理密切联系在一起。研究AI治理，不可能离开数据治理，因为有史以来从来没有哪一项技术像AI一样高度依赖数据。实际上，前面提到的欧盟《AI法案》就涉及数据治理。欧盟在此之前还通过了专门的《数据治理法案》和《数据法案》。不过，这些法案在欧盟的实施并不顺利，譬如采集和利用个人数据的知情同意就是一个很大问题，此外还有数据跨境流动方面的问题。我国也在探索建立数据治理框架，特别是推进数据确权，但在实际中也面临很多棘手问题，主要就是数据权利无法清晰界定，从而数据流动和利用在许多时候处于灰色地带，一旦按照法律和政策来较真就矛盾重重、寸步难行。数据治理方面的问题，自然会影响AI治理，譬如欧盟有可能对《AI责任指令》撤回或进行调整。总体而言，在全球范围内，数据治理都处于探索和争论之中，最大困难是如何认识和确定数据权利，从而有力地促进数据的流通和使用。

我国将数据视为一种新生产要素，意欲加以最大化地利用。我国许多专家，倾向于将数据视为一种资产，从资产、财产的角度来认识和界定权利，从而在底层逻辑上将数据权利基本上等同于产权；一些人还热衷于将数据资产进行估价而计入资产负债表，即“数据入表”。不过我认为，这种底层逻辑很可能存在较大问题，热衷于“数据入表”之类的发展路径很可能是误入歧途。我们首先应该认识到，数据超越了生产要素，即使从经济学框架来看也是如此，因为所谓的生产要素具有高度凝练性和抽象性，劳动、资本等生产要素的投入量都可以进行价值度量和经济增长贡献核算。数据难以被这样对待和作这些处理。资本和劳动等生产要素也会在使用中被消耗掉。而且，数据的权责利绝对不仅仅限于被当作生产要素的权责利，即使数据没有进入生产过程，没有滋生经济价值，它仍然可能涉及人的基本权利，譬如人格权、隐私权，以及由此衍生的关于个体安全、个体尊严、个体独特性、个体自主性方面的关切，等等。这些基本权利和关切，很难或不能、不应像财产或资产那样进行标价和交易，也不可能像所有权、产权那样进行界定。我国的民法典，对人格权的阐述与对所有权、质权的阐述就是完全分开的，其中明确规定人格权包含生命权、身体权、隐私权和个人信息保护，明列了私人生活安宁、私人空间不愿为他人知晓的正当权利。因此，简单地把数据视为生产要素，以及资产、财产，并在此基础上进行数据资产的产权界定和资产交易，根本不能全部覆盖数据权责利的所有方面。显然，数据权利超越了生产要素和财产的权利。

我认为，即使从促进数据流动和利用、促进AI快速发展的角度来看，顶多只能将AI场景数据定义为具有人格含量的资产。具有人格含量的资产，可以进行利用和流通，可以创造价值和包含价值，但必须在保护人格权的基础上建立契约关系，同时也可以建立数据利他主义机制。需要申明的是，这里的人，既包括自然人，也包括法人等组织。

有了这个基点，那么AI时代的数据治理，就应该高度重视对数据用途的匡正与问责。不管数据如何被采集、转移、加工，不管数据如何被定价，都是它有用途。而用途则是各种各样。在人工智能治理的那些重要文件中，几乎都不允许基于大数据的AI用之于窥探个人隐私、刺激和放大人性弱点以实行诱使、欺诈等活动，当然也不允许用之于危害社会秩序与安全。如果数据用途涉及上述方面，政府和社会应该有相应机制，来匡正用途，并对明显违背正当用途的行为进行问责。完全可以说，AI时代的数据治理，在相当程度上取决于问责而非确权。而将AI场景数据定义为具有人格含量的资产，不但有助于建立相应的问责制度，也有助于推进基于场景的权责利谈判与界定。由于目前的AI场景已经十分复杂，而未来的AI场景更无法想象，因此AI数据治理需要特别注重良好实践（good practices），在此过程中循序渐进地构建数据治理的基本框架。

三、技术之盾和制度之明

AI建立在先进的信息技术、控制技术和数据处理技术之上，因此构建合适的AI治理和数据治理，特别是应对复杂的、困难的现实问题及风险，迫切需要借助于技术手段，也即应该以技术之盾来应对技术之矛，就像应对电脑病毒需要借助杀毒软件一样。

前面提到的AI最需关注和应对的三种能力，即用计、欺骗、自我复制能力，依靠个人的感知器官和大脑，不但难以应对，甚至无法辨别是否真的存在这三种问题。这就需要通过技术手段来辨别、来应对。即使现在受到广泛关注的深度伪造和虚假信息等问题，在很大程度上也需要通过技术手段来鉴定、来阻止。当然，对于用计、欺骗、自我复制等AI能力，以及未来可能出现的更强大、更可规避真人监管和控制的AI能力，目前并无现成的完善技术手段来检测和拦截，但重要的是，我们应该在意识到此类风险的基础上，主动开发这方面的检测和拦截技术，特别是政府机构和非政府组织，应该组织技术力量，认真研究这类技术的基本方向和基础架构，并进行联合攻关，及时部署测试和应用。实际上，现在已经出现了一些相关技术方案和应用设计，譬如在AI治理中开发和使用更先进的红队测试技术，在数据治理中开发和使用更先进的隐私计算和数据脱敏技术，等等。我相信，只要人类确立了这种意识，技术之盾可以在AI治理和数据治理中发挥较好作用。

不过，技术最终还是要依靠人的掌握。而人的行为，应该依靠制度进行引导和规范。因此，AI治理和数据治理，最终要依靠人类的制度之明。这个领域的制度之明，应该重点针对可以逃避真人监督、可以自我复制之类的AI技术。由于这类技术的潜在风险远远大于深度伪造，人类的制度之明，当然要明了这一点。针对这类技术，应该建立AI算法和推理、决策的逻辑解构机制，以及问责制度。这些算法和推理、决策方法不管有多么复杂和先进，都有其自身逻辑，人类应该而且可以解构其逻辑。在此基础上的问责制度，毫无疑问应该将责任链条延伸到真人，而不至于使责任止于模型和机器，因为那定然会使责任悬空。在很大程度上，AI治理和数据治理的要害，很可能不在于确权制度而在于问责制度。

当然，AI治理和数据治理的制度之明，在相当长时期内需要依赖良好实践。对于AI这样的前沿技术及相关应用而言，很少有现成的经验教训可以直接套用，特别是未来的AI场景可能远超当下的所有想象，因此以良好实践促进AI治理和数据治理的构建就非常重要。良好实践能够让有关当事方和公共舆论、社会意见在互动和交锋中寻找规则，能够让先发者的探索给后发者提供制度启发。树立AI治理和数据治理的良好实践意识，意味着需要加强调查研究、讨论交锋、总结提高、与时俱进地立规修规等系列工作。

最后需要指出，由于AI发展仍处于童年阶段，AI治理和数据治理不可能现在就得以定型，甚至不可能现在就得以清晰勾画。但从技术创新历史来看， AI治理和数据治理可能将会像机动车时代的交通治理一样，以交通问责为主线，建立起追责到人、责任分担的制度。或者，还会像现在的交通责任险一样，未来会有AI责任险体系。总之，面对AI浪潮，我们一方面要迎接它，利用它推动经济社会向前发展，而不要做勒德份子（luddite），对它采取抵制和破坏的态度；另一方面也不能让AI世界沦为奥尔德斯·赫胥黎笔下的美丽新世界（brave new world）。AI治理和数据治理，正是要推动AI交规的形成，来实现这两方面目的。■

新经济学家智库国别沙龙系列·越南篇

入群可参加全年至少12场精彩闭门研讨

来源：经济学Economics