风险提示 | “我的声音”去哪了?——“盘盘”AI生成声音乱象

360影视 国产动漫 2025-04-18 11:36 2

摘要:亲耳听到的就是真的吗?未必。网络平台上,AI声音随处可见。从“张文宏医生”推销蛋白棒视频“走红”网络,后被本人“打假”,到多位配音演员称声音被AI“偷走”……有媒体曾调查发现,随着人工智能技术和语音大模型应用的发展,AI合成声音App大量出现,最快只需十几秒便

亲耳听到的就是真的吗?未必。网络平台上,AI声音随处可见。从“张文宏医生”推销蛋白棒视频“走红”网络,后被本人“打假”,到多位配音演员称声音被AI“偷走”……有媒体曾调查发现,随着人工智能技术和语音大模型应用的发展,AI合成声音App大量出现,最快只需十几秒便可“克隆”出来。与此同时,AI声音滥用现象愈发突出,不时引发争议。

从2024年开年引发热议的文生视频大模型Sora到近期火爆全球的中国AI大模型DeepSeek,AI在过去一年搅动着全球风云以及改变着人们的生活方式和创作方式。刚刚过去的2025年春晚,AI也融入现场拍摄、转播以及节目制作等各个环节:比如会跳舞、甩手帕的机器人,垂直起降的航空器,还有“天空环绕视角”对武术表演进行的云上多视角拍摄……这些都为观众呈现多角度的创新观看体验,科技感十足。

然而,当AI赋能千行百业,成为提质增效新引擎的同时,一些不法分子也利用AI技术进行诈骗。纵观各种类型的AI诈骗手段,最常见的便是AI生成声音,不法分子不仅利用AI技术合成亲人朋友的脸、声,更有甚者利用公众人物的照片和声音迷惑大众,从而获取经济利益,这不仅严重误导了消费者,也对当事人造成了不良影响。

AI“克隆声音”被滥用

侵权现象愈演愈烈

从恶搞企业家雷军到AI制作张文宏医生音频视频为自己带货,甚至还有不法分子利用AI深度合成视频进行诈骗。过去一年,AI深度合成音视频侵权现象愈演愈烈。

此前曾有网友利用AI制作的刘德华声音,为自己博取流量,刘德华电影公司还紧急发布声明提醒网民,不要落入伪造刘德华声音的AI语音合成技术骗局。近日记者搜集资料发现,实现AI深度合成音视频并不算难事,甚至在一些购物平台,AI深度合成技术已经成为众多网店牟利的工具,只需花费几十元,就可定制AI深度合成名人音视频。

这些AI深度合成的声音和换脸是如何制作出来的?记者调查发现,相应的深度合成软件在网络上下载并不难,而且还有一些网络主播会开直播教网友如何使用。

记者在手机应用商城搜索“换脸换声”,会出现众多工具。不过记者发现换脸工具设定了固定的场景,且从效果看不够逼真。

记者了解到,AI深度合成的声音和换脸依赖于当下的深度学习算法,从采集到的声音样本中精确提取一系列关键特征,包括频率、音色、声调、语速以及情感表达等。随后,这些特征被转化为复杂的数学模型,并通过算法进一步合成,从而生成高度逼真的声音。

“只需拥有少量的声音素材,即可迅速实现声音的‘AI 克隆’。”一位不愿透露姓名的技术人员告诉记者。

记者在应用商店搜索发现,大量软件具备相关功能,一些App的下载量超千万次。记者选择一款App进行模拟,只需简单念出一段文字或输入音频片段,这些App十几秒即可完成声音的合成。记者又联系了一款App的客服人员,对方表示,花198元就能解锁付费会员,对着镜头说几遍“12345”,AI就会根据声音生成各类内容的出镜口播视频。记者操作后发现,通过这款软件生成的名人声音,基本可以以假乱真,且录入名人声音不需要提供任何授权证明。

中国网络空间安全协会人工智能安全治理专业委员会专家薛智慧表示,当前有很多开源的软件和工具都可以实现这种换声换脸效果,可以供网民自由下载,在自己的电脑上进行安装和使用。

专家表示,此类软件目前在网络上有数十种,不过不论换声还是换脸软件,不同的场景需要调整相应的参数,步骤较多,属于半专业软件,有一定的技术门槛,所以不被网民熟知。

国家传染病医学中心主任、复旦大学附属华山医院感染科主任张文宏接受媒体采访时表示,通过语音合成来模仿他的声音进行直播带货,这样的账号“不止一个,且一直在变”,他多次向平台投诉但屡禁不绝。

胖东来创始人于东来的声音也曾频遭AI模仿,相关平台出现了大量与事实不符的合成视频。胖东来商贸集团为此发布声明称,多个账号未经授权擅自利用AI技术手段生成于东来的声音,加入误导性文案,对公众造成误导和混淆。

记者了解到,有不法分子通过“AI换声”仿冒一位老人的孙子,以“打人须赔偿,否则要坐牢”为由,诈骗老人2万元。类似的诈骗案件在全国已发生多起,有的诈骗金额达到上百万元。

此外,“偷”人声音也有不法利益驱动。国家金融监管总局2024年7月发布的《关于防范新型电信网络诈骗的风险提示》中提到,不法分子可能对明星、专家、执法人员等音视频进行人工合成,假借其身份传播虚假消息,从而实现诈骗目的。

未经权利人许可

合成制作他人视频声音属侵权

那么网店制作的逼真度高的AI深度合成的声音和换脸是如何做到的?AI技术如何生成“以假乱真”的声音?受访专家介绍,AI能够“克隆”声音,主要是依靠深度学习算法,即短时间内从采集的声音样本中提取关键特征,包括频率、音色、声调、语速、情感等,将这些特征记录为数学模型,再通过算法合成。

中国科学院自动化研究所模式识别实验室工程师牛少东说,随着算法越来越先进,在高性能设备和高精度模型的加持下,AI生成的语音内容从两年前的“一眼假”升级到如今的“真假难辨”。

大四学生小耿最近经常在网络音乐播放器中收听几首翻唱歌曲,他一直以为这些歌曲由某知名女歌手翻唱,后来才得知其实全部是AI合成的。“声音逼真到我从来没怀疑过。”小耿说。

AI声音在最近一两年时间内变得格外“流行”。清华大学新闻与传播学院教授沈阳说,人工智能技术的普及,让AI模拟声音的门槛大幅降低。通过一些开源软件和平台,没有专业知识的普通用户也能操作。

那么,在网络购物平台使用AI深度合成技术,制作出售名人的音视频,是否触犯相关法律呢?专家表示,相关法律法规明确规定,未经授权,不得深度合成制作发布他人信息。网店接单AI深度合成制作名人视频,已经属于侵权行为,应该承担相应的法律责任。

中国计算机学会计算机安全专业委员会委员吕延辉表示,《民法典》规定,自然人享有肖像、声音等权益,任何组织或个人利用信息技术伪造都是侵权行为。2023年国家网信办、工信部、公安部联合发布出台的《互联网信息服务深度合成管理规定》要求,任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律和行政法规禁止的信息。2024年网信办发布的《人工智能生成合成内容标识办法(征求意见稿)》也提出,对AI生成合成内容要进行标识,以便公众识别和区分,防止误导性信息传播。

网店使用AI深度合成技术制作名人的视频,应该承担什么样的法律责任?

北京航空航天大学法学院副教授赵精武表示,在司法实践中,国内已经审结了首例AI生成声音人格权侵权案。在这个案子里,原告作为配音演员,在没有经过授权的情况下,他的声音被AI生成后对外出售。法院在审理中认为,我国的民法典已经在人格权编,将自然人的声音视为一种人格权益,具有人身专属性。所以,法院最终认定被告的行为构成侵权。

对于此案,北京互联网法院副院长、二级高级法官赵瑞罡认为,我国民法典将人格权独立成编,首次以立法形式将保护“声音”写入民法典,明确参照适用肖像权的形式保护自然人的声音。声音作为一种人格权益,具有人身专属性,任何自然人的声音均应受到法律的保护,对录音制品的授权并不意味着对声音AI化的授权,未经权利人许可,擅自使用或许可他人使用录音制品中的声音构成侵权。

多措并举强化治理

AI技术应用应有边界

当下,与AI换脸视频相比,AI合成语音更难辨别、门槛更低。一个“声音很熟的电话”可能是诈骗。随着相关技术的普及,我们又该如何防范AI深度合成音视频侵权的问题呢?

2月21日,中央网信办发布2025年“清朗”系列专项行动整治重点,特别提到整治AI技术滥用乱象,突出AI技术管理和信息内容管理,强化生成合成内容标识,打击借AI技术生成发布虚假信息、实施网络水军行为等问题,规范AI类应用网络生态。

“声音作为一种人格权益,具有人身专属性。我国已在现有法律框架中对声音权益保护做出了一定规定。”河北厚诺律师事务所律师雷家茂表示,“AI生成声音的过程中,涉及声音样本的采集、使用、算法的研发和应用等多个环节,每个环节都可能涉及不同主体的权益。要进一步完善法律体系,细化AI克隆技术的法律条款,明确侵权行为的定义和责任,加强执法力度。”

AI技术的“边界”在何处?如何能够更好地规范AI技术发展?

四川大学文学与新闻学院研究员、教授宋耀此前在接受媒体采访时指出,AI只是一个技术工具,关键在于使用者要有对信息本源的价值判断,政府、平台、企业需要提前做好风险控制。

世界多国均已关注到人工智能安全立法问题的重要性,以人工智能重点问题为出发点,积极起草、出台人工智能安全治理相关的法律法规。2024年8月1日起,欧盟《人工智能法案》生效。该法案覆盖了从市场准入、运营责任到透明度要求的全链条规则,对在欧盟境内或影响欧盟市场的AI系统和活动产生约束力。截至目前,已经有美国、加拿大等数十个国家先后发布了与人工智能相关的国家战略和法规文件,国际人工智能安全治理的法治化水平逐步提高。

2023年1月10日,国家互联网信息办公室、工业和信息化部、公安部联合发布的《互联网信息服务深度合成管理规定》正式施行。2023年8月,国家互联网信息办公室、国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局联合发布的《生成式人工智能服务管理暂行办法》正式施行。

为进一步细化规范人工智能生成合成内容标识,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,2024年9月14日,国家互联网信息办公室发布《人工智能生成合成内容标识办法(征求意见稿)》,并公开征求意见。其中指出,服务提供者应对生成合成内容添加显式标识,包括在视频起始画面和视频播放周边的适当位置添加显著的提示标识,可在视频末尾和中间适当位置添加显著的提示标识。用户向提供网络信息内容传播平台服务的服务提供者上传生成合成内容时,应当主动声明并使用平台提供的标识功能进行标识。

中国科学院科技战略咨询研究院院长潘教峰认为,需进一步强化人工智能伦理规制,超前部署人工智能风险研究,提前预判人工智能技术应用可能带来的社会影响。

2024年12月,广电总局网络视听司发布《管理提示(AI魔改)》,要求严格落实生成式人工智能内容审核要求,对在平台上使用、传播的各类相关技术产品严格准入和监看,对AI生成内容做出显著提示。

多位专家表示,各类社交网络、短视频平台要强化主动监管意识,及时发现、处理可能涉及侵权的AI生成作品;相关部门应继续加大对利用AI技术进行诈骗等违法犯罪行为的打击力度,形成更加完善的常态化治理机制。

AI深度合成技术是一把双刃剑,应在充分发挥其积极作用的同时,加强规范和治理,要更好发挥技术手段的优势,不断完善法律法规,加大监管力度,让技术真正造福人类。

(本文刊于《中国信用》杂志2025年3月刊)

来源:中国信用一点号

相关推荐