摘要：相关专家在接受《中国经济周刊》记者采访时表示，随着AIGC技术的不断进步和易获取，文生图和文生视频被用于制造虚假信息。“黑化”的AI技术和谣言的结合，不仅使得谣言数量增加，也使谣言更加难以判断。未来可以考虑用技术发展，特别是利用AI对抗AI谣言。

《中国经济周刊》记者 郑雪 | 北京报道

西安发生了大爆炸？运钞车遭遇武装抢劫并发生激烈枪战？比亚迪要收购蔚来？一则则耸人听闻的消息是真的吗？

监管部门调查发现，上述消息都是借助人工智能（以下简称“AI”）工具编造，动机则是为了流量。

相关专家在接受《中国经济周刊》记者采访时表示，随着AIGC技术的不断进步和易获取，文生图和文生视频被用于制造虚假信息。“黑化”的AI技术和谣言的结合，不仅使得谣言数量增加，也使谣言更加难以判断。未来可以考虑用技术发展，特别是利用AI对抗AI谣言。

乱象：谣言数量和逼真程度大幅提升

随着AI技术的快速发展，内容创作的门槛降低、时间缩短。例如文本创作，只需输入几个关键词，AI便可迅速提供包含人物、时间、地点、事件的相关内容。

在此背景下，有人为了博眼球、蹭热度，甚至使用AI技术变造“伪消息”“假新闻”来获得关注和流量。

如近期有网络传闻，一名疑似比亚迪的员工发文称，比亚迪要和蔚来合作成立比未来汽车集团。

此后有媒体从合肥市公安局经开分局确认，该谣言系29岁外省男子谢某所做，利用AI软件合成不实图文上网传播，其目的是为提升自媒体账号的知名度、博取流量。

不只是文字，“有图有真相”的视频也可能被AI伪造。

今年6月，一条“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”的短视频在互联网平台传播，引发大量关注。后经公安网安部门确认，视频全由AI合成。

AI技术造谣的背后不乏MCN机构的参与。

央视新闻今年6月报道了一起案例，“西安爆炸”消息背后，便是江西南昌一家MCN机构推波助澜。据警方调查，这家MCN机构发布的数条涉嫌网络造谣的信息，系通过AI软件生成内容制作。

这家MCN机构短时间内生成了大量文章，最高峰一天能生成4000至7000篇，最高的一条收入700元，初步估算每天的收入在1万元以上。

中国社会科学院大学互联网法治研究中心主任、副教授刘晓春在接受《中国经济周刊》记者采访时说，在生成式AI浪潮之前，网络上也存在使用网络机器人制作内容的情况，如评论区的某些内容、常见的水军等。但这波AI浪潮出现后，谣言不仅数量有了大幅增加，其逼真程度也让人难以判断。

“以前的内容还有一些明确特征可以判断是机器生成，而现在以假乱真的水平较高，公众很难看出这是AI生成的谣言。”刘晓春说。

同济大学法学院助理教授、上海市人工智能社会治理协同创新中心研究员朱悦在接受《中国经济周刊》记者采访时提示，AI是不会疲惫的，当被有心人利用，其批量生产谣言的潜力会被无限放大。

AI造谣背后，不只个人受影响，企业也深受其害。

今年4月，清华大学新闻与传播学院新媒体研究中心发布了报告《揭秘AI谣言：传播路径与治理策略全解析》。报告称，2023年以来，网络谣言整体态势平稳，但AI谣言量近半年增长65%。其中，经济与企业类谣言占比最高，达到43.71%。

今年5月科大讯飞曾遭遇AI“小作文”，造成当日午后股价跳水，盘中一度跌超9%。

解决：用AI技术对抗AI谣言

相关部门已经陆续出台了多个文件，如《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等，对平台在内容治理中的责任和义务予以明确。

据记者不完全梳理，AI造谣链条环节中，主要涉及四个参与方：技术提供者、使用AI技术造谣的人或机构、平台以及转发相关谣言的用户。当前的法律法规对于后三个参与方都有相关规范。技术提供者是否需要承担责任？又该承担何种程度的责任？

朱悦提示，对于上述问题的回应要考虑发展、安全相平衡。一方面，如果是作为一个纯粹的技术提供者并不参与后续传播，一般不适合给予太重的义务或者责任；另一方面，考虑技术提供者是从源头提供的技术服务，那么他在算法、结果输出方面需要做一些平衡设计，如添加一定的标识、留存相应的日志信息等。

值得注意的是，标识成为当下防范虚假内容的重要手段之一。AI生成内容亦真亦假，添加标识不仅起到提示作用，还可帮助确认信息来源。

今年9月份国家互联网信息办公室就《人工智能生成合成内容标识办法（征求意见稿）》（以下简称“征求意见稿”）公开征求意见。

“征求意见稿不仅要求技术提供方要做明显标识，也要求传播平台提供相应标识以明确某内容是否为AI生成。通过标识明确AI生成内容，减少误导，减弱虚假信息的传播效果。”刘晓春说。

对于包含谣言在内的虚假信息治理是全世界的共同课题，AI虚假信息的治理，离不开技术。

“可以考虑用AI对抗AI谣言。通过总结谣言规律，研发相应的技术模型，以解决AI谣言的问题。”刘晓春说。在她看来，AI造谣还需事后采取相关机制减弱影响。如对某些高频传播谣言的账号予以管控，强化事后辟谣、建立举报机制等。

近期，来自OpenAI、哈佛大学、微软、牛津大学的研究者共同撰写了一篇题为《Personhood creden-tials:Artificial intelligence and the value of privacy-preserving tools to distinguish who is real online》（人格证书：人工智能时代的隐私保护真人验证工具）的文章。文章提出，可通过人格证书（Personhood Credentials）这种在线身份验证工具，对抗由AI驱动的包含虚假信息在内的各种行为。

“未来时代的人，叠加AI技术，生产信息的能力会大幅提高，也可能生产谣言。文章提及的人格证书，可以视为通过加强验证的方式防范上述情况产生。”朱悦说。

来源：中国经济周刊一点号