摘要：2024年8月22日，《科学》（Science）杂志发表研究文章《人工智能与生物安全：构建治理框架势在必行》（AI and biosecurity: The need for governance），探讨了人工智能模型在生物安全领域的应用前景、潜在风险及治理框

一、当前对人工智能模型在生物领域应用的风险认识不足

科学界普遍认识到，某些研究涉及重大风险，必须在研究开始前通过正式的监督流程进行审慎的考量。然而，由于学术发表的压力、模型开发人员缺乏生物安全风险专业知识，以及缺少标准化的风险评估方法，仅靠科研人员或科研机构自发地对新的生物模型进行风险评估是不够的。

生物模型种类繁多，随着通用人工智能工具和模型组合越来越多地应用于生物学领域。在庞大的模型体系中，目前仅有少数先进的生物模型具有被强制监管的可行性和必要性。监管初期应重点关注两类模型：一类是耗费大量计算资源，在海量生物序列和/或结构数据上进行训练的模型；另一类是虽使用相对较少的计算资源，但利用难以获取的特殊敏感生物数据进行训练的模型。

重点关注这些类别的模型，有助于监管人员更精准地评估出风险最高的模型，同时又不会过度限制学术自由，也能避免对大量人工智能研究进行不必要的管控，防止出现弊大于利的情况。然而，需要监管的模型范围会随着时间推移而改变。因此，鉴于技术发展和高风险后果的不断变化，应赋予监管机构一定的灵活性，以便适时调整需要监管的生物模型范围。

美国成立了新机构，专门负责前沿模型的安全评估设计工作，以此识别出那些具备引发大流行病等重大风险能力的模型。然而，目前尚难以精准预测这些模型在什么情况下会释放这类“危险能力”。由于缺乏关于病原体特性的可靠数据，人工智能模型在执行一些危险性较高的任务时，例如增强病毒传播能力，就会面临重重困难。

若模型仅仅基于自然界现存病原体的分布数据进行训练，那么它生成具有超越现有进化范畴特性的新型病原体的能力也会受到极大限制。而且，当前在新型病原体的迭代合成、操控、测试以及数据生成等方面，仍缺乏自动化、批量化生成的有效方法。但这些局限并不会成为阻碍该领域发展的永久性桎梏。随着高通量数据生成技术与自主机器人技术的进步，未来或将实现针对特定任务的反馈循环，进而对超出自然病原体多样性范围的致病性和传播特性展开深入探索。

此外，已有研究证明，人工智能模型具备推断全新生物设计空间的能力。尽管当前的生物模型或许还无法在制造新型或增强型大流行病病原体方面发挥关键作用，但科学家已经能够生成高质量的病原体特性数据，并且在不久的将来，还能够以更高效率、更低成本实现数据产出。届时，研究人员便可以利用这些数据训练模型，使其具备推断新型生物结构的能力。由此可见，建立行之有效的治理体系迫在眉睫。

二、建立生物安全监管规则需要平衡主体责任与科研合作

在制定新规则时，政策制定者要把降低重大生物安全风险摆在首位，尤其是要防范利用先进技术大量制造新型或增强型病原体，进而引发重大疫情乃至全球性大流行病的风险。与此同时，也必须充分保障研究人员在模型开发、成果发表以及科研合作等方面的广泛自主权。

为了实现这一目标，政策制定者应当制定精准且有针对性的规则，以此延续开放科学（Open Science）带来的诸多益处，比如对公共卫生事业产生的积极影响。具体来说，应对符合先进生物模型标准的人工智能模型开展发布前评估。这类评估的核心目的，就是识别模型是否具备引发重大风险的潜在能力。负责设计评估流程的政府官员，可以借鉴长期以来在降低两用性研究风险、防范病原体增强引发疫情等方面所积累的成熟建议。

专家们多年来在评估致病性相关研究工作中积累下来的经验，同样适用于人工智能模型的评估。比如，在评估过程中，应着重测试生物模型能否显著提升病原体的传播能力或毒性，是否会赋予病原体逃避免疫系统监测和医疗干预的能力。

鉴于实际测试模型设计或合成可能引发大流行病的新型病原体的能力本身存在风险，因此可以采用替代性测试方法。例如，评估人员可以测试未来人工智能驱动的机器人工具是否具备自主合成良性病原体的能力，以此来替代对合成危险病原体的评估。虽然当前的生物模型在这样的测试中也许不会构成重大风险，但情况可能会随着时间而发生变化。所以，有必要提前设定模型能力显著提升的阈值，并且明确判定阈值达成的标准。

目前，许多人工智能评估方法已经实现了自动化与标准化，这些特性有利于快速、公正地开展评估工作。美国政府官员应当联合机器学习、传染病、伦理以及生物安全等领域的专家，并且与其他国家政府展开合作，共同设计一套能够定期更新的测试体系，用于检测现有及新型病原体家族的潜在风险。依据测试结果，官员们便可以在保障科研开放的基础上，判断是否需要限制模型访问权限，或者要求采取应用程序编程接口等限制措施。

此外，监督政策还需要应对模型权重发布所带来的特殊风险。模型权重决定了模型的运行机制，一旦发布，就会赋予第三方修改模型的权限。以Evo模型为例，其开发者为了防止模型被滥用，在训练数据里剔除了感染真核生物宿主的病毒基因组，之后按照学术惯例发布了模型权重。然而，Evo模型权重发布短短几周内，就有其他科学家利用感染人类的病毒数据对其进行了优化。尽管此次涉及的数据只是属于良性病毒家族，但这一事件却凸显出一个事实，即对开源模型进行优化，往往比重新训练一个大型新模型成本低很多。

由此可见，监督政策必须将模型发布后的优化行为纳入考量范围。正如《负责任的人工智能与生物设计价值观》声明签署方所强调的，“对于已明确存在重大且尚未解决风险的人工智能系统，应采取限制访问与分发的措施”。此外，美国政府有必要制定最佳实践指南，规范与关注病原体特性相关的大规模新数据的负责任共享。在此过程中相关官员可以参考以往行之有效的数据政策经验。

三、基因组合应当作为重点筛查对象以应对人工智能生物模型风险

政府要求合成核酸提供商筛查购买行为，以此来防范高危核酸的不当流通，这一举措固然关键且必要，但仅靠这一政策，还不足以全方位抵御人工智能生物模型带来的风险。

有人认为，只要监管数字信息与物理世界的交互边界，就能有效降低生物安全风险，理由是生物模型生成的数字信息本身并无危害。然而实际情况是，截至目前，尚无国家以法律形式强制要求对基因组合成进行筛查。美国白宫近期已发布指令，禁止接受联邦资助的机构向未开展订单筛查的供应商采购合成核酸。但遗憾的是，这些要求尚未覆盖私营部门，而且其他国家也未采取类似举措。即便这些要求能全面落实，恶意行为者绕开检测、合成危险新型生物结构的风险依然存在。

事实上，利用化学方法合成短单链核酸序列的技术，早在四十多年前就已出现，如今在全球范围内更是常规操作。这些寡核苷酸能够进一步拼接成完整的病毒基因组，最终在哺乳动物细胞中激活，成为具有传染性的病毒。

所以，虽然对核酸合成和病毒复活过程实施全球监管十分重要，但对于那些可能生成高风险病原体信息，或是显著提升合成与复活过程自动化程度的先进生物模型，必须严格执行发布前审查。此外，政策制定者还应积极推动国际社会，就如何负责任地共享与高风险病原体特性相关的新数据和关键数据，达成统一的最佳实践标准。

四、对人工智能生物模型的评估不应受资助资金来源左右

当前，很多生物模型研究并非在美国政府资助的实验室中开展。所以，对于可能引发重大风险的先进生物模型，不管其研发资金来自哪里，都应进行发布前评估。私营部门在生物模型研发领域能量巨大，谷歌DeepMind推出的AlphaFold系列蛋白质折叠模型就是很好的例子。随着训练生物模型所需计算资源呈指数级增长，预计未来会有更多顶尖生物模型出自工业界，这和人工智能研究领域的整体发展趋势是一致的。鉴于此，政府制定的人工智能生物安全政策必须具备广泛适用性，要把所有可能带来高风险后果的先进生物模型都纳入监管范畴，同时不能受其研发资金是否来自美国联邦政府的限制。

五、全球各个国家要协同构建国际治理路径

尽管当前美国在生物模型开发领域占据重要地位，并为开展监管讨论提供了颇具潜力的平台，然而其他国家的研究人员也在开发世界领先的生物模型。正因如此，各国政府应当加强协作，共同制定统一规则，确保在任何地区开发的生物模型在发布前都能接受严格的安全评估。在英国人工智能安全峰会期间，多国签署《布莱切利宣言》，共同认识到人工智能在生物技术、网络安全等诸多领域存在潜在风险。正如《生物武器公约》在全球范围内凝聚起反对生物武器的广泛共识，国际社会在生物模型风险管控方面同样具备合作基础。

鉴于生物模型风险具有全球性特征，国际合作的范围不能仅限于当前主要承担生物模型开发责任的国家。政策制定者应当积极协调监管标准，防止出现监管套利现象，避免引发数字贸易冲突。与此同时，掌握最先进人工智能技术的国家的官员应优先考虑有效评估，即使该考量可能会在一定程度上影响国际监管的统一性。

六、结论

生物模型开发商在采纳自愿承诺以降低风险方面已迈出了重要的一步。不过，就像以往引入强大的新型科研工具时一样，研究人员及利益相关方应积极行动，主动与政府官员合作。通过双方的紧密合作，确保这些承诺能够切实落地实施，并推动政府制定科学合理的监督政策与法规，使生物模型潜力充分发挥且风险有效管控。

转自丨启元洞见

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

_er

来源：全球技术地图