造假黑灰产账号超过1000万个,社交平台正经历一场虚假信息攻防战

360影视 欧美动漫 2025-06-25 13:55 3

摘要:乍一看,手机屏幕里的娜塔莎是一位接地气的外国博主——31岁,鹅蛋脸,定居中国的俄罗斯人,喜欢分享俄罗斯美食。她的账号“娜塔莎进口食品”有二十万粉丝,看起来是无数内容电商中的一员。

乍一看,手机屏幕里的娜塔莎是一位接地气的外国博主——31岁,鹅蛋脸,定居中国的俄罗斯人,喜欢分享俄罗斯美食。她的账号“娜塔莎进口食品”有二十万粉丝,看起来是无数内容电商中的一员。

但娜塔莎并不存在。她的脸是AI换出来的,故事是编的,身份是虚构的,只有变现的钱实实在在进了运营者的口袋里。

像娜塔莎这类编人设和故事的虚假账号,正在社交平台繁殖。随着AI技术降低造假门槛,黑灰产进一步借助伪装、搬运、拼贴等手段大规模扩张,各大平台都在经历一场信息攻防战。

在近日小红书举办的“打击虚假”治理开放日上,治理团队指出,虚假内容与黑灰产高度关联。小红书自2024年11月启动了最严一轮黑灰产治理专项,处置了虚假笔记320万篇、虚假人设账号1万个、虚假低质AIGC笔记60万篇;一共封禁了批量造假的黑灰产账号超1000万个。

1000万个黑灰产账号背后的手法

靠“编料”变现,已经成为黑灰产在社交平台上的主要运作方式。从操作流程到具体手法,这套模式如今已高度标准化、组织化。

从平台的上游视角看,整条路径通常分为三步:第一步是起号养号,打基础;第二步是博取信任,建立更深的关系;第三步才是真正的“收割”环节,实现变现。

据小红书黑灰产账号治理负责人必行介绍,目前平台上典型的养号方式主要有五类:

1.骗互动,比如用“挑战关注全国14亿人”这类噱头吸引用户关注,但账号并不会回关;

2.博眼球,利用社会热点或网络争议话题炒作引流,比如假冒明星同学;

3.同质内容造号,通过低成本内容,批量生成风格雷同的账号,快速起量;

4.内容搬运,大量搬运视频,制作影视切片,吸引浏览;

5.AIGC生成,使用AI生成人物、动物或视频等素材。

账号完成初步起号后,有的会进一步包装自己,通过虚构留学、金融等专业背景,塑造“可信赖”的内容人设,获取用户信任;有的账号则声称掌握“内部信息”或“隐藏渠道”,诱导用户留下联系方式,随后将这些信息出售给第三方中介;也有账号以“测评”“内幕曝光”为名,进行恶意攻击,扰乱正常商业竞争秩序。

最终的牟利,许多会流向灰色业务需求,例如假鞋、高仿衣服、“黑五类”产品(增高、减肥、丰胸、医疗器械、药品)。

而围绕这些虚假内容建立起来的黑灰产体系还在不断进化,前述负责人指出,目前发现的两个新问题是隐蔽性更强了,组织分工也更精细了。

一方面,违规行为正从公域逐步转向私域。从原先的笔记、用户主页等公开区域,转移到群聊、私信等更难监控的空间。“有的账号笔记本身没有问题,但会在页面挂载群链接,群名设置成‘知乎看后续’‘进群免费看’等诱导性内容,尤其是用各种各样的变体字,规避平台识别。”前述负责人说。

除此之外,内部分工也变得更加精细。现在黑灰产链条可以清晰划分为三层:上游是业务来源,中游有专门的服务提供商,下游才是具体的执行人员。

不同执行账号也有明确分工,有的负责发布笔记引流;有的负责在评论区留下群口令;有的专门负责建群、维护运营,实现流水化作业。

在严密的分工下,每一环的工具都在迭代。比如,中游服务商已能提供AI工具,支持模拟人工养号、定时发布、一键复制爆款笔记。甚至出现了“众包平台”,通过“积分墙”发布任务,用户扫码后即可领取预设笔记内容,发布后便可领取奖励,进一步降低了造假门槛。

平台出招:账户关系挖掘、真诚分、一键投诉

“黑灰产,其实就是在批量制造虚假内容的团伙。”前述负责人表示,这些账号通过虚构内容吸引流量,不仅破坏了平台真实的底色,挤压了优质内容的空间,也损害了用户体验和正常的商业秩序。所以,打击黑灰产是平台实现可持续发展的必要一环。

平台治理的核心,在于从源头遏制虚假内容的滋生。小红书虚假内容治理负责人蒂法介绍,目前小红书的治理重点集中在三个方面:虚假不实内容、虚假人设、AIGC生成内容。

在AIGC技术爆发式发展的当下,虚假低质的AIGC内容成为平台治理的重中之重。小红书表示,一方面加大了对AIGC识别模型的研发投入,推动对AI生成内容的主动识别与标注;另一方面,通过降低此类内容的曝光率,控制其在平台上的扩散风险。

今年3月,国家网信办等四部门联合发布《人工智能生成合成内容标识办法》,传播平台需要确保有AI标识。21记者此前测试也发现,目前主流平台已普遍要求用户主动申明内容是否由AI生成。但仅靠用户自觉远远不够,平台自身的识别和响应能力亟需提升。

21记者了解到,小红书目前的AIGC识别标签工作由虚假内容团队主导推进。团队负责人蒂法告诉21记者,AI图像的识别准确率已相对较高,如果系统判定内容为疑似AI生成,将加注AI标识。还存在误导、违规等社会不良影响,内容会被进一步限流处理。

不过蒂法也坦言,识别AIGC的难度在于“道高一尺魔高一丈”,平台一旦总结出某类AIGC特征,有可能很快就被有心者绕过。

(各个社交平台的AI治理规则,截至今年1月)

此外,小红书介绍称搭建了“真实信源库”和“谣言库”,并建立“前置拦截—事中追踪—分析回扫”的全链路治理机制。在识别虚假人设方面,平台运用账号关系图谱与内容分析,结合行为特征判断可疑账号,进行精准打击。

针对黑灰产账号的治理,也从识别和处置两个维度同步推进。前述负责人必行解释,同质化发帖是黑灰产账号的一大特征,识别环节由大模型学习账号、笔记、评论、文本等多维数据之间的相似度。而发现高危账号后,平台会冻结账号的实名认证,要求人脸解冻。

此外,为鼓励用户分享真实体验,小红书表示已建立“真诚分”评估体系,将用户划分为生活分享型UGC用户、专业创作者和营销商家三类,从分享动机、内容质量方面判断账号是否真诚,从而对真诚的创作者给予流量倾斜。

据介绍,下半年小红书将在整治虚假营销方面加大力度,并优化举报机制,实现“一个页面一次提交”完成举报,降低用户参与虚假内容的治理门槛。

来源:竞争秩序场

灰产圈:培养你的发散性思维 解密互联网骗局、实战揭秘互联网灰产案例、网赚偏门项目解析、分享网络营销引流方案。深挖内幕、曝光各类套路

来源:灰产圈

相关推荐