摘要：“百万粉丝网红疑遭勒索后自杀”消息流传两日后，被警方公开辟谣。通报透露，涉事博主孙某故意编造“自杀离世”虚假信息发布至网络，其行为涉嫌虚构事实扰乱公共秩序，公安机关已依法立案调查。

制图:董淑云(即梦AI)

利用AI等技术批量制作的引流视频。

虚拟数字人账号。

“百万粉丝网红疑遭勒索后自杀”消息流传两日后，被警方公开辟谣。通报透露，涉事博主孙某故意编造“自杀离世”虚假信息发布至网络，其行为涉嫌虚构事实扰乱公共秩序，公安机关已依法立案调查。

网络虚假信息已成社会公害，有时甚至真假难辨。南都、N视频辟谣专栏《真假即时查》调查发现，当前，为起号引流涨粉，不法分子的手段逐渐升级。他们利用AI深度伪造，误导公众认知，快速起号后，开始带货、卖课等。有的被明码标价放到账号交易网站上，形成“起号、转型、转卖”的灰色产业链。

近期，四部门联合发布《人工智能生成合成内容标识办法》，要求对人工智能生成合成内容进行显示标识和隐式标识。实际上，绝大多数社交平台均明令禁止账号转卖行为。

“现在造谣造假的成本非常低，还有一些可以免费使用的AI工具。”北京邮电大学互联网治理与法律研究中心执行主任谢永江向南都记者介绍，网络虚假信息是长期以来的顽疾，AI只是让传播变得更加便捷。为防范AI技术滥用风险，有关部门正在行动。

AI起号衍生灰色产业链

AI一键生成数字人快速引流涨粉

6万粉丝17万赞账号转让价7920元

“你知道‘五乱毁一生’吗?第一就是乱花钱，第二就是乱发火，第三就是乱忍让，第四就是乱信任，最后就是乱说话。”视频里，外表靓丽的外国女性正在用带着口音的普通话，说出以上“金句”。

她自称是一位来自俄罗斯的“思维导师”，拍摄视频是为了帮助大家“拓展智慧视野，探索人生答案”。乍看之下，很权威。然而，僵硬的面部表情、丝滑流畅却情绪怪异的台词，种种迹象表明这是虚拟数字人，但有的视频却并未进行标注。

南都记者搜索发现，类似的视频账号还有许多，粉丝数少则数万，多则十余万。有的账号橱窗上架不少商品，有29元一瓶的左旋肉碱，有让人“轻松入眠”的能量胶囊，还有59元一本的《道德经》。

创造一个虚拟数字人并不难。“随便一条都是几百万的播放，变现能力也非常强，挂车卖书都能赚25万元。”博主王成(化名)擅长此道，他向南都记者介绍，“这类型的视频，制作起来真的太简单了。用AI一键就可以生成，不用出镜剪辑，人人都可以做。”

根据王成的说法，制作此类视频只需要两步。“首先解决文案问题，把爆款文案抓取下来，翻译成英文。第二步打开剪辑软件，选择一个数字人模板，把里面的‘数字人’更换成为外国人。有很多外国人形象可以选择。然后把文案复制上去选择AI配音，一键导出，这样一条视频就做好了。”

用AI做内容起号，已经成了当下快速引流的方式之一。南都记者调查发现，除了生成数字人以假乱真，还有利用AI“文生图”功能生成内容的。

南都记者进入“xxAI起号群”，群主“xx说运营”忙着为群友AI起号答疑，同时兜售其“AI做PLOG”的课程。群主首页清单还售卖关于AI实操引流变现的书籍。

群里，名叫“科恩”的博主利用AI将文案生成风景照片，实现了“快速起号”。科恩的主页内容大多是一些风景视频或者动图。其自称以“两天1000个粉”的速度，账号在短时间内拥有近7000个粉丝，获赞与收藏数达27万。

群内有人问科恩如何变现，科恩回复，“AI生成的作品好看就有人找。平时接定制，(卖)教程，‘蒲公英’啥的”。

“蒲公英”是某平台运营术语。当账号达到1000个粉丝时即可开通，接运营推广。“报价200元一条”，科恩提到，“10000粉就可以报到1000元”。

有群友担心AI生图会造成侵权，其他群友立刻给出技术应对方法。此外，部分平台针对AI作品会予以限流。对此，群主称，用AI生成图片出来以后，可以点“变清晰”的功能按钮，抑或多转几个AI工具。

快速起号后，这些账号开始带货、卖课等。有的被明码标价放到账号交易网站上，形成一条“起号、转型、转卖”的灰色产业链。

南都记者在自媒体账号交易平台上看到，一个“17万粉未实名AI特效类短视频，粉丝均衡”的账号，底价1.65万元；另一个“6.4万粉动画类型未实名”的账号，底价8500元。

南都记者讲明需求后，有人推荐了一个账号。“这个宠物号6万粉丝、17万赞，无违规。价格总共7920元。”

南都记者留意到，近日，多个社交平台宣布整治AI起号违规行为，严格禁止转让、售卖、出租网络账号，加强AI生成内容监测甄别等。

以某短视频平台为例，其用户协议及相关规定明确指出，账号仅限本人使用，禁止以任何形式赠与、出借、租赁、转让、售卖或以其他方式许可他人使用。

有法律专家指出，账号转让行为潜藏法律风险，账号过往可能存在的违规行为或商业纠纷，可能导致新用户承担相应责任。

利用AI造谣吸粉盈利

网民用AI伪造《悬赏通告》受到警方处罚

不法分子运营数百个账号大规模散布谣言

“生成式人工智能带来了深刻的技术变革，我们要积极地拥抱新技术，也要及时认识到并改善技术使用过程中出现的问题。”有业内人士曾向南都记者说道。

早在2020年的“假靳东”事件，暴露了视频合成技术的风险与隐忧。此前，南都记者调查发现，在多家短视频平台上存在不少“假靳东”账号。此类账号皆以靳东照片为头像，大多以“靳·东”“小东”“东哥哥”“贺函”等为昵称，剪辑靳东照片、影视片段做再配音处理。明星效应之下骗取点赞与粉丝后，有账号甚至开始直播带货变现。

实际上，通过AI造谣等手段吸粉引流变现的乱象被多次曝光。2024年5月，南都记者调查发现，给出相应指令后，一些AI工具就能快速批量扩写出不同的故事文案，有的每个月会员费只要99元，充值一年还能打5折。

经实测，点进一个“AI文案速写”的小程序中，在对话框内输入创作有关“抢劫”“霸凌”“火灾”3个主题内容的详细指令，就快速得到3段被扩写至100字左右不同故事情节的文案，其中还有一些生动的细节。

除了文字，一些犯罪分子还通过AI编辑视频、图片等以假乱真，混淆视听。

湖南一网民曾发布一条带有警徽的《悬赏通告》，称长沙天心区发生重大刑事案件，拟向公众有偿征集线索。原来，这张《悬赏通告》系AI伪造而成，目的是吸粉引流。该网民最终受到警方处罚。

根据警方披露案例，从组织结构上看，造谣“生意”大致分两种类型:个人运营自媒体造谣账号，吸粉引流变现；亦有团伙作案，批量运营自媒体账号，大规模散布谣言，例如有不法分子成立MCN机构运营数百个账号，长期组织公司人员造谣引流。

如何实现牟利?2023年，浙江警方侦破的一起利用AI制作虚假视频造谣案件中，造谣团伙博取流量后，通过流量算法返款盈利。有犯罪嫌疑人称，通过发布视频、文章等，有阅读量就会给收益。

南都记者发现，还有造谣者为赚取佣金，利用手机软件的AI题词功能写文章，在某App上参加发布作品活动，只要播放量达到奖励标准，就能赚到“零花钱”。通过借社会热点事件编造传播网络谣言，一些自媒体从业人员实现吸粉引流、赚取平台补贴、增加广告收入以及带货牟利。

此外，还有人通过造谣实现账号涨粉后，诱导下载交友软件变现。

“包工头身体强壮，同时交往17个女友!”“小区保安频频约会女业主，三月交往二十余人!”恶俗劲爆的标题，配上女子衣着暴露热舞的画面，视频采用相似的“造黄谣”套路，充斥着社交平台，最终指向下载交友软件。

2024年11月，南都记者调查发现，这些交友平台内外，已然形成了完整的产业链。

在“造黄谣”引流环节，由交友软件公司人员招募代理商，代理商进行层层分包，底层的传媒公司接到模板后通过AI等技术进行批量制作、发布；当用户下载软件后，免费聊天次数耗尽，需充值才能继续聊天，文字、语音、视频形式对应不同的价位，因此还衍生了陪聊赚取收益的培训业务。

防范AI技术滥用风险

四部门要求对AI生成内容进行标识

专家表示平台方要肩负起审核责任

南方都市报开设的网络辟谣专栏“真假即时查”，下设视频求真、事实还原、现场实探、深度调查四大栏目，通过及时采访追踪报道热点争议事件，回应舆论关切、澄清谬误、明辨是非。其中“深度调查”栏目，多次对谣言生成机制、背后利益链条等展开调查，充分发挥媒体的舆论监督功能，敲响辨别谣言的警钟。

北京邮电大学互联网治理与法律研究中心执行主任谢永江向南都记者表示，普通网民也要有一定的网络安全素养，不要轻信网络信息，最好是通过权威媒体等去考证。

“现在造谣造假的成本非常低，还有一些可以免费使用的AI工具。”谢永江介绍，网络虚假信息是长期以来的顽疾，即使在没有AI的时代，网上也有人为的各种虚假信息在传播，“AI只是让这种传播变得更加便捷”。

他指出，平台方要肩负起审核责任，且掌握相应的鉴别技术，对AI生成的图片、视频进行标注。“信息发布也要遵守底线。不能去误导公众，损害他人合法权益或扰乱社会公共秩序。平台发现后就应该及时处理，不能放任虚假信息带来负面影响。”

南都记者注意到，近期，四部门联合发布了《人工智能生成合成内容标识办法》，要求对人工智能生成合成内容进行显示标识和隐式标识。新规将自9月1日起施行。

为防范AI技术滥用风险，有关部门正在行动。

南都记者注意到，今年4月，“网信中国”公众号发文称，为规范AI服务和应用，促进行业健康有序发展，保障公民合法权益，近日，中央网信办印发通知，在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动。

中央网信办有关负责人表示，本次专项行动分两个阶段开展。第一阶段强化AI技术源头治理，清理整治违规AI应用程序，加强AI生成合成技术和内容标识管理，推动网站平台提升检测鉴伪能力。

第二阶段聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容，假冒他人、从事网络水军活动等突出问题，集中清理相关违法不良信息，处置处罚违规账号、MCN机构和网站平台。

“AI技术本身是中性的，它的应用取决于使用者的目的和行为。”中国计算机学会计算机安全专业委员会数字经济与安全工作组成员方宇曾告诉南都记者，正确使用AI技术可以带来许多积极的变化，如提高工作效率、改善生活质量等。

“滥用AI技术进行违法行为，如制造和传播谣言，需要坚决打击和防范。”方宇说道。

出品:南都即时

统筹:南都记者 向雪妮 韦娟明 马辉

采写:南都记者 马辉 薛凯莹 敖银雪

来源：南都N视频