摘要：“家人们！这款减肥药我亲测有效，一个月瘦20斤！”视频里“张馨予”正在卖力推销一款三无减肥药，声音和本人几乎一模一样。
“家人们！这款减肥药我亲测有效，一个月瘦20斤！”视频里“张馨予”正在卖力推销一款三无减肥药，声音和本人几乎一模一样。
但现实中的张馨予却在微博愤怒发声：这是AI伪造的声音！我一定会追究到底！
4月18日，女星张馨予在社交平台发文，称有商家利用AI技术复制其声音售卖减肥药，引发关注。
评论区，不少网友表示自己此前也刷到过类似的视频，不仔细看很容易被骗。
除了张馨予，还曾有不少科技大佬和影视明星成为AI伪造视频的受害者。
今年3月，小米集团创始人雷军在两会期间就表示，他本人就是AI换脸拟声的受害者。
“去年‘十一’，有网友说过了7天假，被我整整骂了8天。是什么（情况）？网上出现了非常多（AI生成的）用我的声音骂人的内容。”
雷军的两会建议，其中一条就是关于加强“AI换脸拟声”违法侵权重灾区治理。
除了张馨予，还有不少明星成为AI伪造视频的素材。
有网友向演员刘晓庆反馈有人在视频号AI生成视频假冒她。刘晓庆转发并配文：天哪，我点进去看了一下，画面是我，声音很像我，但不是我！这是怎么做到的？大家以后不会搞不清楚哪个才是真的我了吧？我在各个平台都叫刘晓庆！
甚至还有“顶流明星澳门输掉10亿”的AI造谣新闻冲上热搜。毫无疑问，如今的我们正在经历一场AI技术滥用引发的真实性危机。
AI造假已经形成完整的黑色产业链。西安警方破获的案件显示，一个AI写作软件每天能生产19万篇伪原创文章，流向6000多个自媒体账号；
南昌某MCN机构运营842个账号，日均生成7000篇AI文章，日收入超万元。更可怕的是成本——科技博主实测显示，生成一篇AI文章的成本仅0.00138元，一分钱能买七篇。这种量大管饱的造假模式，正在用垃圾信息淹没互联网。
从目前的案例来看，这类“AI造假”大部分都是利用明星和企业家的身份，受害人则都是普通人。
上海一位大爷被AI换脸的“董卿”骗走养老金的案例尤其心酸：“她说话的样子和电视上一模一样啊！”
这位大爷在网上刷视频时，无意之间与“董卿”邂逅，在聊天过程中渐渐有了“情感寄托”。一来二去之下，大爷很快就在一声声“哥哥”中迷失了自我，多次转账。最后幸亏家人发现异常，才及时止损。
这绝非孤例。一位58岁的河南男子，也曾通过网络认识了“董卿”。
“董卿”对他关怀备至，柔情万千，承诺与他“长相思，共白头”。
男子吃了迷魂汤一般，吵着闹着要和屋里人离婚，找朋友借钱去外地见梦中情人，心坚如石。
董卿，向来是中老年男人的白月光，骗子正是利用了这一点，炮制出大量董卿的假账号、假视频，把黑手伸进他们的兜里，掏个干净。
还记得前不久，江西一位丁阿姨看到假靳东的视频，坠入情网，茶不思饭不想。
发私信，刷礼物，三年刷光三万块，还要去捡垃圾给假靳东刷礼物。
除了利用明星造假，还有一些则是利用“企业家”的身份行骗。
今年2月，78岁的张大爷在抖音刷到了一个直播间，主播自称是杭州一知名企业的老总，张大爷在新闻里也经常见到她。
对方正在介绍，一个养老项目。张大爷听了相当心动，转了2000元定金给对方。
然而钱打过去后，对方就再也没有回过消息。
经过警方调查发现，张大爷看到的直播间视频，是骗子通过AI换脸和拟声技术合成的。
在社交平台上，这些踩坑的银发追星族沦为人们口中的笑柄。“无语了，这些总被忽悠的老古董。”
但是笑过之后，是否有一些苦涩在心头呢？这类骗局利用的就是人们对“眼见为实”的本能信任。当技术能完美伪造视听证据，我们该相信什么？
平台方的应对显得力不从心。微博给未标注的AI内容打上“疑似AI生成”标签，今日头条去年处罚了3万个AI造谣账号，抖音微信等平台也都要求标注AI内容。但现实很骨感——标注全靠用户自觉，审核速度赶不上AI生成速度，就像用筛子接暴雨。
普通网民正在成为待宰的“数字羔羊”。精心设计的AI骗局防不胜防：假明星带货、假专家荐股、假新闻蹭热点……
法律和伦理在这场AI军备竞赛中明显落后。《生成式人工智能服务管理暂行办法》要求标注AI内容，但处罚力度如同挠痒痒；《人工智能生成合成内容标识办法》还在征求意见。相比AI造谣的暴利，违法成本几乎可以忽略不计。就像在酒驾入刑前，司机们会说“被抓到也就是罚点钱”。
这场AI造假狂欢背后，是技术伦理的集体失控。开发者追求更逼真的生成效果，平台渴望更多用户时长，骗子想要更快变现手段——唯独没人认真考虑过，当AI可以伪造一切时，社会将付出怎样的代价？就像发明炸药时没人想过会被用来杀人，AI技术正在经历自己的“伦理青春期”。
下次再看到惊人视频时，不妨多想三秒：这会不会是AI的魔术？当我们学会对神奇保持警惕，才不会成为技术狂欢中的牺牲品。毕竟，在AI时代，最珍贵的不是获取信息的速度，而是辨别真伪的能力。
来源：大佬灼见