摘要：随着AI技术的发展，一些不法分子利用“AI换脸拟声”等高科技手段实施诈骗的案件也日渐频繁。近期，中央网信办印发通知，在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动，直指虚假信息、网络诈骗、色情黑产等七大乱象，这场被称为“史上最严AI监管”的

随着AI技术的发展，一些不法分子利用“AI换脸拟声”等高科技手段实施诈骗的案件也日渐频繁。近期，中央网信办印发通知，在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动，直指虚假信息、网络诈骗、色情黑产等七大乱象，这场被称为“史上最严AI监管”的行动，彰显了公安机关打击相关犯罪的决心。

AI诈骗治理面临现实困境

《2024人工智能安全报告》显示，早在2023年基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件增长了1000%。随着AI技术的进一步成熟，诈骗手段也越来越高明。视频平台经常可以刷到各种账号用AI合成明星的声音或者视频，“假靳东”诈骗老年人、“假全红婵”带货等等，让不熟悉技术的普通群众深陷其中；有人用AI化身虚拟恋人，杀猪盘让人更难辨别；有不法分子用AI技术生成熟悉的亲友、同事诈骗，声音和样貌都让受骗人相信是亲友，进而向对方账户转账。还有犯罪分子利用AI 换脸技术，将普通女性的照片进行恶意合成，使其出现在各种色情视频中，并以此为把柄，对受害者进行敲诈勒索，胁迫受害者支付高额的 “封口费”，从名人到普罗大众，AI 诈骗正无孔不入，AI黑产产业链也越发壮大。

面对诈骗技术的升级，监管和打击也不断升级，各监管部门一直通过各种宣传方式向公众普及AI诈骗案例，同时也从源头打击惩治犯罪团伙。但是由于AI技术发展速度较快，相关立法和监管有一定滞后性，普通民众尤其是未成年人、中老年群体对AI造假的认识不足，侦查破案也存在较大技术难度，治理工作面临很多现实困境。

根据《央视新闻》报道，本次“清朗·整治AI技术滥用”专项行动分两个阶段开展。第一阶段强化AI技术源头治理，清理整治违规AI应用程序，加强AI生成合成技术和内容标识管理，推动网站平台提升检测鉴伪能力。第二阶段聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容，假冒他人、从事网络水军活动等突出问题，集中清理相关违法不良信息，处置处罚违规账号、MCN机构和网站平台。通过专项行动规范AI服务和应用，促进行业健康有序发展。

构建“制度、技术、共治”三维防线

专项行动对AI传播内容和相关平台进行治理，探索应用AI新技术应对AI虚假信息，对于防范AI技术滥用风险，维护网民合法权益的重要意义。长期来说，对AI使用的监管，尤其是对AI诈骗等犯罪行为的打击需要不断加强，有以下几点可以考虑。

1、完善人工智能法律体系，加大对AI诈骗的惩治力度。推进AI相关法律的制定出台，明确AI技术使用的伦理规范，对信息搜集者、传播者等主体在AI技术开发运用中的法律责任和义务，规定各类AI使用行为的边界。加强对个人信息的法律保护，参考欧盟对企业的信息监管条款，对非法手段提取公民肖像、声音等生物信息、个人隐私信息，诈骗等违法行为加大惩治力度。针对技术发展产生的新问题，监管部门加快跟进相关规则制定，保障民众的权益，兼顾新技术的安全与发展。

2、深化技术在诈骗治理运用，提升AI诈骗治理效果。相关监管部门招引培养专业技术人才，提升技术侦查能力；构建AI诈骗风险预警防范模型，扩大反诈电话监测覆盖范围，加大对反诈APP的推广，提高对可能受骗群众的普法效率。针对各类诈骗案件进行数据分析，及时收集各方证据，精准打击犯罪行为。深化“事前治理”对AI生成内容打上数字标识，“事中治理”在传播过程中通过技术鉴别打上AI标识提醒，“事后治理”可溯源找到生成软件及设备地址。

3、鼓励社会力量协同参与治理，加强民众的AI素养。鼓励企业作为AI技术主力军进行前沿技术探索和场景化应用研究，开发多种形式的AI识别工具，帮助普通民众辨别真假，并根据大模型的变化不断升级AIGC检测技术。在手机、电脑等消费终端上出厂时即部署“反诈APP”等鉴别工具，对出现的伪造内容及时警告互联网、电信、金融企业等，要注重健全内部的伦理规范，向其他行业输出AI技术时要严格遵守技术运用的法律红线，加强对平台输出内容的识别和标注措施，加强对违规账号的辨别和治理。各类媒体作为传播主力需要严格遵守AI内容传播的相关规定，树立媒体公信力，加大对AI诈骗技术和案例的宣传，提高民众对生成式人工智能技术的认识，让更多普通民众树立反诈意识。

来源：浙大公共政策研究院