摘要：“30秒的音频就可以帮你克隆声音”，从雷军被AI换声吐槽假期，到普通人被10秒AI视频诈骗，本是科技进步璀璨结晶的AI技术，如今却成为诈骗分子作恶的手段。北京青年报记者调查发现，电商平台公然出售“24小时内合成相似度高达90％音频”服务，社交平台也随处可见的几

“30秒的音频就可以帮你克隆声音”，从雷军被AI换声吐槽假期，到普通人被10秒AI视频诈骗，本是科技进步璀璨结晶的AI技术，如今却成为诈骗分子作恶的手段。北京青年报记者调查发现，电商平台公然出售“24小时内合成相似度高达90％音频”服务，社交平台也随处可见的几秒换脸应用，价格低廉，作品却没有任何提示和标记，足以“以假乱真”，而一个值得关注的新现象是，最近，老人们成了AI诈骗的重灾区。

AI技术换声诈骗层出不穷

去年国庆，不少网友表示“国庆7天被雷军骂了8天”。原来，一些网友利用AI模仿起了雷军的声音，吐槽假期过得太快、堵车太烦，甚至让其在游戏里破口大骂……这与雷军平时温文尔雅的形象大相径庭，也招致了网友的反感和雷军本人的愤怒。

事实上，AI换声的问题早已让不少公众人物烦不胜烦。今年2月，有网友为博取眼球，利用AI合成刘德华声音发布到社交媒体上，引发网友关注，为此，刘德华电影公司还发布声明提醒网民，不要被AI合成技术下的名人声音所骗。名人深受其害，普通百姓也难逃AI骗局，北青报记者看到，不少违法分子利用AI手段，假冒被害人亲友身份，以“被害人亲属出事急需用钱”等方式骗取钱财。2024年3月，湖北孝感市破获一起利用AI 克隆声音实施的诈骗案件，三名犯罪嫌疑人通过伪造老人孙子的求救声，骗取2万元养老钱。

北青报记者注意到老人更是成为被诈骗的重灾区。一名网友称，她85岁的奶奶遇到AI变声科技的专业诈骗团队，被骗走15万养老钱。据悉，奶奶在电话中听到了自己亲儿子的声音，说和同事喝酒应酬出事了，现在被扣押在派出所，希望奶奶出面私了。随后电话被另一个人接通，表示是派出所的人，事情可私了但需38万现金，且只要现金拒绝转账，不能告知包括家人在内的任何人，奶奶救子心切，匆忙取走15万现金到约定地点交给对方。后续对方表示数量不够，奶奶转到其他银行，幸而被工作人员发觉事情不对，通知亲属，最终协助警方抓捕嫌疑犯。

在某电商平台搜索“AI换声”“名人语音克隆”等关键词，数十家店铺提供定制服务，价格从几十元到上千元不等。一家标注“专业级AI配音”的店铺客服向记者展示了其技术实力：上传一段目标人物的语音片段，最快24小时即可生成相似度达90%以上的合成音频。

老年人成AI换脸诈骗新目标

除了“AI换声”，“AI换脸”也是技术诈骗的重灾区。北青报记者在多家社交平台上搜索“AI换脸”，相关应用软件和影音图像作品比比皆是。还有些商家称可以提供“AI换脸”服务，标称价格最低只需5元，不法分子造假的成本越来越低。

张先生就曾遭遇被AI伪造的熟人诈骗的事情。一天，张先生在外面办事时，网名“一帆风顺”的陌生人添加其微信。对方告知，自己是张先生公司的负责人陈总，这会临时办点私事，不太方便接电话，才用微信小号加了他的微信，要他取10万元现金送到公司楼下，自己办完私事会尽快归还。正当张先生感到疑惑时，他接到了“陈总”打来的视频电话。接通后，张先生看到手机里的“陈总”正坐在一间会议室里，没有说话，10秒钟后，视频电话被对方挂断。尽管对方未发一言，但看到对方的相貌神态与自己的领导完全一样，张先生还是按照对方发来的信息，将10万元转到了相应账户。谁知，回到单位后，张先生得知陈总上午一直在自己的办公室没有出去，遂赶紧找陈总询问，对方表示自己并没有给他发过相关信息。张先生这才意识到自己被骗了，于是赶紧报案。

北青报记者注意到，近年来，由于许多老年人缺乏足够的网络安全意识，尤其是对新兴的AI换脸、深度伪造等技术并不熟悉，成为诈骗的新目标。一些不法分子利用AI换脸技术，冒充老年人的亲友或熟人，通过视频通话、发送虚假视频信息等方式，以突发疾病、遭遇事故等各种理由谎称急需用钱，请求老年人给其借款或转账。由于视频中的画面与亲友极为相似，老年人往往难以辨别真假，在情感驱使下未核实便匆忙转账。一旦款项汇出，不法分子便销声匿迹。

北京市丰台区方庄街道某社区近日就成功拦截一起涉及AI换脸技术的诈骗案件。一位大妈在社区居委会寻求帮助时透露，她接到了一个自称“马云徒弟”的电话。骗子先通过小额赠送话费来拉近与老人的关系，并表示自己在开展一个扶贫项目，承诺可以获得丰厚的投资回报。为了进一步打消老人的疑虑，骗子提出了与“马云”视频连线的建议。利用AI换脸技术，骗子伪装成马云，通过视频对话显示在老人手机屏幕上。由于技术的高仿真度，老人完全没有怀疑视频中的人是否真实，甚至确信自己与马云进行了直接交流。骗子所使用的AI换脸技术与真实人物几乎无异。

还有些老年人无辜成为“AI换脸”技术的受害者。天坛公园晨练的68岁的徐大爷控诉，在完全不知情的情况下，自己成了社交平台上的“抗癌奇迹”。视频中的人虽然是他自己，但说话声音却明显是另一个人，口型和说的话也对不上。AI技术将他的健身视频篡改为90岁癌症患者的带货广告，单条虚假视频点击量突破50万次。

说法：不标注合成内容建议处罚

人工智能渗透到千行百业，但“AI换声”“AI换脸”的不当滥用也成为了违法侵权行为的重灾区。AI深度合成技术具有素材获取便利、技术使用门槛低、侵权主体及其手段隐蔽性强等特点，给治理整治带来较大挑战。

小米公司CEO雷军表示，一是针对“AI换脸拟声”等某一代表性问题，探索推出人工智能单行法，提高立法位阶及其效力，分级分类的基础上进行务实治理，明确“AI换脸拟声”应用边界红线，完善侵权证据规则，加大对利用人工智能技术实施犯罪行为的刑事处罚力度。二是强化行业自律共治，压实平台等各方的责任。支持平台企业开发可精准识别人工智能深度合成内容的技术能力，优化升级通信软件和内容平台巡查审核机制、投诉举报机制、应急处理机制，确保及时阻断问题内容传播。

知名经济学者、工信部信息通信经济专家委员会委员盘和林表示，从目前来说，如果能够有效落实标识的要求，形成有效的监管体系，可以在很大程度上提前厘清“AI换脸”所带来的模糊边界。“当前‘AI换脸’的标识监管体系还没有形成，要针对不标注的内容，通过技术的手段来辨别，并且对不标注的个人或者是单位组织要有具体的处罚措施、标准以及制度。”

针对AI技术诈骗盯上了老年人群体的情况，3月13日，北京金融监管局发布风险提示，警惕AI换脸冒充亲友的数字时代新“骗局”，护好养老钱袋。AI换脸难分辨，亲友求助要核实。遇到亲友通过视频或信息求助转账时，务必通过多个渠道如拨打手机、当面沟通等方式核实对方身份，切勿轻易相信视频中的画面，更勿因一时情急而盲目转账汇款或泄露个人敏感信息。

记者手记：防范AI诈骗需社会各界协同发力

科技于时代的前端不断发展，AI技术随浪潮不断丰富，从逼真的图片生成，到极具迷惑性的真人音频，诈骗分子利用AI技术之便，将不法的手伸向了各类人群，包括老年群体。

多数人尤其是老人，大多对新兴技术了解有限，难以辨别AI换脸、换音的真假。面对AI诈骗，需要社会各界协同发力防范。相关政府部门应加快完善相关法律法规，提高违法成本，让诈骗分子不敢胡作非为；监管部门要加大对AI技术应用的监管力度，规范技术使用边界；平台要强化审核机制和打击制度，对涉及AI生成的内容严格把关，及时拦截虚假信息，一旦发现不法行为，严肃处理。近年来，我国《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规已颁布实施，《人工智能生成合成内容标识办法（征求意见稿）》完成社会意见征集，其中要求，“深度合成服务可能导致公众混淆或者误认的，深度合成服务提供者应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。”不过，随着技术发展越来越快，对于这些具体应用的落实监管有待更加完善。

针对不法分子新近盯上老年群体进行AI技术诈骗这一现象，也应引起各方关注，除了家庭自身要加强对老人的关爱和相关新科技的普及外，多给老人科普反诈知识，让老人有防范意识也不可忽视。

文/北京青年报记者 温婧 蔺丽爽 实习生 陈冰莹

来源：新浪财经