摘要：内容摘要：当前以ChatGPT为代表的生成式人工智能等高新技术迭代发展的影响大幅提升，但背后“黑箱”化的算法及数据处理给数据安全带来极大风险。随着深度伪造信息对政府信息解读权的解构，视频信息生产与传播权力对个体的开放以及生成式人工智能无序使用，主流意识形态面临

文章介绍

内容摘要：当前以ChatGPT为代表的生成式人工智能等高新技术迭代发展的影响大幅提升，但背后“黑箱”化的算法及数据处理给数据安全带来极大风险。随着深度伪造信息对政府信息解读权的解构，视频信息生产与传播权力对个体的开放以及生成式人工智能无序使用，主流意识形态面临着各种侵袭，管制难度进一步加大。分析生成式人工智能发展机理蕴含的意识形态属性，能够深度揭示其对主流意识形态安全造成的冲击。新形势下推动人工智能产业健康发展，必须以主流价值观为基础，不断完善规章制度，规制产业发展方向、创新宣传模式，从而有力保障国家意识形态安全。

作者：黄日涵，华侨大学国际关系学院教授、博士研究生导师，数字经济智库执行院长；姚浩龙，华侨大学国际关系学院研究助理。

来源：《国家安全论坛》2024年第6期。

关键词：国家安全；意识形态安全；安全风险；生成式人工智能

新一轮信息革命正蓬勃兴起，特别是以云计算、大数据、人工智能等为代表的前沿技术多维创新、多点突破，在更广范围推动着思想、文化、信息的传播和共享。科技发展不仅给主流意识形态提供引领平台与传播阵地，也为某些消极乃至恶性思考提供生存与传播空间。特别是随着以ChatGPT为代表的生成式人工智能出现，相关技术通过革新人机交互模式、知识传播渠道等，开始颠覆式地影响信息传播。如OpenAI公司在推出颠覆式应用ChatGPT之后，其新产品Sora再次吸引了来自科技从业者与投资者的目光。作为一款能够依照提示词生成包含充分细节与色彩在内的影片的生成式人工智能，相较此前类似应用，Sora成功地在画质、长视频生成、多镜头一致性、学习世界规律、多模态融合等方面实现了突破，并能在一定程度上模拟物理世界中的物体运动和交互，被视为是朝着通用人工智能（AGI）迈出的重要一步。至此，生成式人工智能影响的信息领域囊括文字、图片、音视频等主要载体，对涉及信息传播的多个领域尤其是国家安全产生了巨大冲击。

信息作为价值观念的基本载体，其意识形态内涵会因传播主体的意志而产生变动，但技术发展能为这种变动提供适当伪装，使信息成为“特洛伊木马”，暗中撬动思维防线。因此，对新形势下技术赋能信息传播的路径及其可能具有的意识形态风险进行研判、预警和处理变得极为重要。全面贯彻落实总体国家安全观，坚持以政治安全为根本。意识形态关乎旗帜、关乎道路，是政治安全的核心内容。目前，既有研究已经关注到新兴技术的意识形态属性、对意识形态安全治理的影响等方面，其中少量文献对文生视频技术蕴含的意识形态影响进行了总结研判，但其归纳仍存在不足，且多集中于文本信息所带来的风险，未能预见到视频生成乃至元宇宙对意识形态安全的影响。因此，本文从生成式人工智能机理入手，探讨其对意识形态安全的影响，尝试探寻规制其运转的路径。

从文本到视频：生成式人工智能的意识形态风险来源

查探生成式人工智能对意识形态安全的影响，必须充分剖析技术背后的风险来源。

（一）产出信息的多元化：生成式人工智能影响能力增强

近年，以ChatGPT为代表的技术发展，推动生成式人工智能参数规模快速膨胀，能力边界不断扩张。从早期的自然语言理解对话能力、逻辑推理能力，再到后来文生图、文生视频，生成式人工智能能力不断涌现（图1）。如从最开始用以识别手写数字，再到后来各种卷积网络技术、深度学习的进步，Transformer模型大幅提高了模型规模和参数，拥有1750亿模型参数的GPT-3模型展现出极强的自然语言处理能力，DALL·E与Stable Diffusion展现出极强的图像生成能力，Sora更是大幅提高了大模型文生视频能力。

随着生成内容从图片迈入视频，技术的全息化与社会应用的全能化趋势逐步显现，生成式人工智能的影响能力大幅提高。一方面，从ChatGPT到Sora，生成式人工智能生成内容的质量、效率大幅提高，展露出朝着通用人工智能进步的美好前景。在此之前，视频生成往往是在给定材料的基础上进行时间维度的前后延伸，文生视频的质量较粗糙，对现实世界的还原度较差，通常只能生产静态短视频片段，用途极为有限。但OpenAI基于扩散型变换器模型（Diffusion Transformer），通过压缩Sora所要进行训练的视觉数据规模，降低训练难度，让模型一次“看到”许多帧，释放出卓越的扩展性能，并使其能够针对不同可变持续时间、分辨率和纵横比的视频图像展开充分训练，实现了生产画幅和构图质量的大幅提高。由此，Sora以类似模拟现实物理世界的方式，大大提高了视频生产的质量与篇幅规模，不仅能实现动态视角展开视频内容，更能对视频内物体进行长期追踪，以满足现实世界的物理规律需要；不仅缩短了通过人工智能制造视频甚至电影的效率，更为将来开发高效世界模拟器与数字世界打下了坚实基础。尽管当前Sora的生成内容仍会出现物理规律理解错误等问题，但在可预期的未来，生成式人工智能将在发展元宇宙、沉浸现实等方面拥有用武之地，通过全感官感知、多视角影响的方式，大幅提高对使用者认知的影响力，甚至以技术方式直接搭建除使用者外一切近乎真实的“楚门的世界”，从而导致现实与虚拟间的“第四面墙”被完全打破。

另一方面，“短视频社会”的时代背景为生成式人工智能发展提供了极大便利，深度链接社会发展过程。相较文本或图片，视频不仅搭载了更多信息，其沉浸感和代入感的提高令使用者更容易接纳所传递的信息，对认知的影响更加明显。报告显示，81.40%的受访者认为短视频已经成为人们获取知识信息的便捷方式，已然成为大多数人选择的信息搭载方式，而Sora等应用的出现正迎合了当前“信息碎片化”的社会潮流。首先，便捷的生成程序和碎片化的生成内容与年轻人的思维模式相吻合，生成式人工智能的人性化表达方式更能充分调动公众情绪、回应其诉求，加速人们思考的“去逻辑”倾向，导致理性思考被感性情感所淹没。其次，Sora的出现标志着视频生产权力的进一步扩散与下放，个体能够根据自身需要生产既定主题和规范的视频，信息传递变得更加便利，“感同身受”“身临其境”逐步成为现实。最后，生成式人工智能在文生视频、图生视频模式上的突破性进展，不仅能够大幅降低不同媒介之间信息转换的消耗成本，实现多媒介、多版本内容间生产和转化的智能化、传播与扩散的自动化，使公众传递信息的媒介选择更加多样，加速了新媒体产业的智媒化发展。

（二）数据处理的隐蔽化：生成式人工智能恶化数据保护态势

与传统技术机理相悖的是，采取深度学习等机器方式进行训练的人工智能大模型，其内部决策过程与结果输出模式十分复杂，缺乏可解释性与对应的透明度，被称为“黑箱”。这种“黑箱”式不透明的算法与数据处理模式带来许多问题。首先，可解释性的缺乏降低了恶意行为成本。“黑箱”中的算法和数据不仅提高了开发人员微调人工智能运转的难度，更让模型的国别化适配难度大幅提高：训练数据中蕴含的社会文化信息使其运转过程难以与使用者自身相吻合，难以避免输出“政治不正确”信息，这为意图通过该应用展开文化渗透的恶意行为提供了天然掩护。其次，不透明的数据处理来源不易追查，加大了跨境数据流动监管难度。随着大模型被用以开发生成式人工智能基底，其处理的数据规格与种类愈发繁杂，数据规模逐步扩大，带来的问题与隐患随之增多。当前，许多企业使用的数据来源不明确、内容不透明，数据清洗算法不规范，用户使用数据流向不明晰，部分企业更是通过第三方技术服务商搭建模型，或接入来源外国企业的应用编程端口（API）等形式获取专属服务，导致企业在训练和使用数据方面存在数据跨境流动与违规使用风险，增加了隐私数据泄露概率，各国数据跨境流动治理的低合作度更让监管难度大幅提高。最后，隐私数据保护困难诱发意识形态渗透。尽管各方陆续围绕人工智能企业的数据处理方式设立标准，尽量避免个人或机密数据泄露，如欧盟出台《人工智能法案》，要求企业时刻更新训练大模型的最新信息、遵守欧盟版权法以及报告用于训练其模型的数据信息，但并不能完全规避风险，大模型的自身漏洞已经成为导致隐私保护“溃堤”的“蚁穴”。研究发现，大模型在运行过程中可能出现输出部分私人数据的情况，获得模型访问权限的攻击者在某些情况下甚至可以直接提取私有数据。这些被提取的隐私数据不仅用以直接牟利，某些机密数据更可能成为境外势力刻画心理画像、对重要个体针对性展开策反的重要数据来源，导致数据安全荡然无存。

（三）资本影响的放大化：生成式人工智能成为资本竞争“战场”

人工智能产业发展的高成本为资本扩大影响提供了更便利途径。一方面，生成式人工智能产品成为资本竞争新战场，一些逐利资本大规模开发应用大模型激发行业乱象。《中国AI大模型创新和专利技术分析报告》显示，软件业、制造业及服务业等是中国大模型创新主体专利布局较多的行业，专利布局数量分别高达3.6万件、3.4万件、2.8万件。但其中有的大模型被吐槽是“翻译版ChatGPT”，输出内容不符合中文语境；有的大模型充斥偏见，甚至提供不客观的事实。一些资本控制下“跟风”草草上架的大模型尚未达到成熟标准，更未经历长时间的运转和检验便开放使用，极易出现回答内容失准、失实、失真等情况，甚至成为毒害正常认知的工具，潜藏风险难以根除。另一方面，尽管“人工智能+”与其他行业的适配度极高，但资本的逐利性会诱使企业研发诱导性应用，使用户过度依赖生成式人工智能，从而失去与不同观点的交流，甚至失去对主流意识形态的信任。生成式人工智能技术与应用主要掌握在大型科技企业手中，不可避免地受到资本追求利益最大化观念的影响。从技术逻辑看，生成式人工智能进行人机问答的底层逻辑，是在与用户的长期重复性交流中不断微调回答风格和内容，令回答内容适配用户风格因而具备个性化特征。这也促使生成式人工智能针对不同用户群体建立信息茧房。例如，为提高用户依赖度和应用流量，资本主导下的生成式人工智能可以通过筛选信息、微调立场等方式，调整输出内容风格，使产出的输出内容适配用户立场偏向，让用户获得“认同感”，倾向于选择该渠道获取更多信息并决策，进而形成正向螺旋，最终使用户为获得满足感与认同而更加依赖生成式人工智能，以致生活中出现任何拿不定主意的问题都交予该技术定夺，产生路径依赖。

技术预设价值观的亲资本特征，让用户陷入譬如消费主义等西方价值观的围攻当中，引导用户无节制消费。这一结果毫无疑问将为企业厂家带来极为庞大且忠实的用户群体，产生丰厚利润。同时，也为西方价值观的渗透提供了渠道。特别是在涉及意识形态方面的诸多问题时，生成式人工智能可能特别强调某一解释逻辑的正确性，并基于此前建立的信赖感，引导用户忽略背后蕴藏的错误思想而产生认可，最终影响用户失去对主流意识形态的认同。生成式人工智能高额的研发应用成本与要求可能进一步拉大地区间、群体间的“数据鸿沟”，加剧信息不对称、大数据杀熟、算法歧视等情况。从群体特征来看，特殊群体使用生成式人工智能应用频次相对较少，因而逐利性资本可能在应用研发与推广中忽略这部分群体的需求，致使该群体或地区不仅无法享受技术变迁带来的便利，更被阻挡在社会发展潮流之外，成为“数字难民”无法获取适配应用。伴随而来的是主流意识形态在这些群体中的扩散与影响被现实条件所限，价值引领能力难以发挥，致使相关

来源：国政学人