摘要：2024年4月23日，北京互联网法院宣判了全国首例AI生成声音人格权侵权案。此案中，配音师殷女士的声音被AI处理生成了一款文本转语音产品，该产品的下载量高达32.6亿次，这给以“声音”为业的她带来了很大的影响。

图片来源：摄图网

本文为《方圆》杂志原创稿件

未经授权，禁止转载

现有的AI技术

只需要3秒钟

就能对你的声音进行“克隆”

当下，AI技术的发展

大大提升了生活便利和趣味性

但使用这些AI生成的声音

是有法律风险的

相关专家表示

AI技术可能会使得

违法犯罪的成本降低、成功率上升

如民事侵权增多

侮辱诽谤、损害商业信誉等刑事犯罪高发

而最常见的就是诈骗

在大量用户“尝鲜”AI声音的同时

该如何让“声音”不被违法使用？

在“耳听为虚”的情况下

司法机关怎么应对技术发展带来的挑战？

AI换声，不能想换就换

2024年4月23日，北京互联网法院宣判了全国首例AI生成声音人格权侵权案。此案中，配音师殷女士的声音被AI处理生成了一款文本转语音产品，该产品的下载量高达32.6亿次，这给以“声音”为业的她带来了很大的影响。

民法典规定，“对自然人声音的保护，参照适用肖像权保护的有关规定”。

北京互联网法院在殷女士案的判决中也明确认定，在具备可识别性的前提下，自然人声音权益的保护范围可及于AI生成声音，并且利用人工智能合成的声音，如果能使一般社会公众或者相关领域的公众根据其音色、语调和发音风格，关联到该自然人，可以认定为具有可识别性。

大成律师事务所高级合伙人、北京市律师协会数字经济与人工智能领域法律专业委员会副主任肖飒认为，根据这一判决，可见我国司法实践肯定了声音权与肖像权一样，是一种标表型人格权益，均具备可支配性、可商业利用性。在未经许可的情况下使用他人的声音制作AI生成的作品，系侵犯他人人格权、声音权的行为。

使用AI生成声音，是生成式人工智能的一种应用方式。生成式人工智能的核心在于利用计算机算法和大量数据来生成新的、具有实际价值的内容。这种技术能够模拟人类的创造力和想象力，从而生成文本、图像、音频和视频等多种类型的数据。具体到音频生成领域的实际应用里，包括了乐曲、歌曲生成和语音克隆等。

此前，“AI孙燕姿”翻唱《发如雪》等歌曲曾迅速走红网络，多平台播放量破百万，热度居高不下。之后又出现一批“AI歌手”，其中不乏已故歌手。

“一般来说，AI歌手是通过学习歌手声音而产生的人工智能声音模型，虽然听起来像歌手的声音，但不是对歌手演唱原音的复制和传播，而是类似于声音‘模仿秀’。”中国音像与数字出版协会出版融合工作委员会副秘书长、京商传媒执行CEO王文峰介绍道。

北京航空航天大学法学院副教授、工信部工业和信息化法治战略与管理重点实验室副主任赵精武表示，对于AI歌手此类应用是否构成侵权存有争议，但主流观点还是倾向认定这类AI合成新歌曲构成对原歌手声音权、著作权的侵害，使用歌手声音进行AI合成之前应当获得歌手的单独同意。当然，如果AI合成歌曲仅用于个人欣赏不对外发布的话，则可能并不构成侵权行为。

王文峰介绍说，AI声音的发展、迭代速度很快。“我在几年前听一些使用人工智能配音的音频，会觉得比较机械，听起来也很枯燥。现在再来听一些名人授权后生成的有声读物，已经很难区分是真人还是AI生成了。”

王文峰也表示，现在这些技术的门槛大大降低，很多第三方插件工具越来越智能，在方便创作、使更多人能够拥抱流媒体时代的同时，也有其消极影响，让很多粗制滥造的内容大规模地出现，一些“魔改”视频也容易出现版权纠纷。

“事实上，在影视、图片、文学、动漫等领域，生成式人工智能应用引发的版权侵权纠纷并不少见，涉及的版权问题复杂多样，妥善应对和解决这些风险，才能更好地利用这一先进技术进一步推进文化产业繁荣发展。”王文峰说道。

《方圆》记者调查发现，目前市面上出现了多款AI声音生成软件，门槛低，部分软件可以免费使用，相关教程也很多。哪怕完全是技术“小白”，不想自己花心思，也可以在购物平台花钱找商家帮忙生成。

这些软件一方面可以满足大家的“脑洞”，像是模仿不同人的声音玩梗，给家里宠物配音等，另一方面也提高了带货主播、视频博主等职业的工作效率。但与此同时，这些工具的违规使用也带来了法律风险。

例如，近段时间，有不少视频使用AI合成名人的声音，有的利用名人背书来直播带货，有的则是曲解、捏造名人言论，博人眼球、骗取流量。而且，由于具有名人效应，这些音视频往往传播迅速，受众更广。这不仅可能对个人名誉造成损害，还可能造成社会信任危机，危害公共秩序。

赵精武表示，如果使用AI换声，擅自歪曲、编造他人言论的，构成民事侵权责任，被侵权人可以要求行为人赔礼道歉、赔偿损失等；情节严重，扰乱社会秩序的，则可能涉及侮辱诽谤、损害商业信誉等刑事犯罪，需要承担相应的刑事责任。

清华大学人工智能研究院视觉智能研究中心主任邓志东教授表示，AI换声事件并不少见。

“在弱人工智能时代，就有DeepFake这样的深度伪造技术出现。目前已进入大模型时代，技术上的挑战更大，不仅逼真度越来越高，音频、视频、动作、表情与风格联合，而且使用者需要的技术门槛也降低了。但有利的一面是，随着技术的进步，我们也更有技术条件进行AI真伪鉴别和追踪。”

AI让传统犯罪升级

AI技术的发展，让其成为传统犯罪升级的技术工具，而最常见的就是诈骗。

“AI技术可能会使得犯罪成本降低、成功率上升，现有的AI技术甚至能够通过3秒的声音进行‘克隆’。这几年各地公安部门均有侦破利用AI技术仿冒视频与被害人联系的诈骗案件，让被害人误以为对方是自己熟悉的人，再加上如果通过网络黑灰产获取被害人个人信息，被害人更加难以辨别真伪。”赵精武说道。

在湖北省宜昌市，就出现了利用AI换声实施诈骗的案例。案例中，受害者多为老年人，犯罪分子冒充他们的孙辈，以犯了罪被抓了需要保证金，或者打架了需要赔偿医疗费等理由，让长辈赶紧送钱。

而山东省济南市的林小宇（化名）则是被AI生成的“哥哥”诈骗。林小宇和对方有过7秒的视频连线，画面里是熟悉的脸，声音也是自己亲哥哥的声音。既然“哥哥”说急需一笔钱，林小宇便转账给对方指定的银行卡里。

还有不少留学在外的学生反映，国内的父母同样接到了诈骗团伙的电话，声音和自己的很相似，且设定了“绑架”这一场景，夹带惨烈的哭声，更能让家人着急。

国外也有此类犯罪出现，肖飒介绍称，“外国某律师自曝，自己的父亲接到了用AI制作的使用了他声音的诈骗电话，称自己因酒驾开车被捕，急需一笔钱保释出狱。而在AI诈骗案发生前，这名律师刚刚上了电视，公开放出了一段包含其声音的10多秒的视频”。

除了诈骗近亲属，还存在假冒公司领导的诈骗案件。陕西西安一名财务人员，接到“老板”要求赶紧打款的视频通话，声音、脸都和本人高度相似；一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，多次转账转走2亿港元，事后才知道多人会议里，其他“参会人员”都经过了“AI换脸”。

“使用AI换声来实施诈骗，犯罪分子主要依靠的是一个时间差和信息差。”北京市海淀区检察院科技犯罪检察团队负责人李鹏向《方圆》记者介绍道，“所谓时间差，可能是留学在外的子女因为时差打不通电话，也可能是亲属因为上班未能及时回复消息。而信息差是指，公司员工未必很熟悉公司高层领导的长相和声音，也不一定清楚公司的‘项目’，一旦‘领导’在月底季末要求打款，在不设防的情况下很有可能就被骗了。”

邓志东介绍称，“利用AI换声、换脸实施各种犯罪行为，技术门槛并不高，网络上已有各种工具集可以使用，技术难度并不大，而且换声、换脸的逼真度会越来越好，普通用户会愈来愈难以鉴别或区分”。

那么，犯罪分子利用AI换声实施诈骗，他们声音的“原材料”从何而来？

肖飒表示，大部分来自声音主人自行拍摄并发送至各类视频平台、社交媒体上的视频或音频，也有一部分是公众人物，恰好被采集声音素材后公开放出。当然，要获取一个人的声音其实非常容易，也可以通过与声音主人打电话录音等方式获得素材。

此前，国家金融监督管理总局金融消费者权益保护局发布防范新型电信网络诈骗风险提示中介绍道，不法分子以“网店客服”“营销推广”“招聘兼职”“婚恋交友”等为借口，通过微信、电话等方式联系消费者，采集发音、语句或面部信息，继而利用“换脸”“拟声”等技术实施诈骗。

办理了利用AI换声诈骗案的湖北省宜昌市西陵区检察院检察官郑凯表示，据他了解，声音的来源还可能是手机下载的应用。

“安装部分应用时，可能需要授权使用手机麦克风，犯罪团伙有可能远程利用这个权限收集手机使用者的声纹。再者，受到诈骗的多为老年人，尽管AI生成的声音未必真的能以假乱真，但在心情急迫、恐慌的情况下，很有可能来不及核实就上当受骗了。”郑凯提醒道，不要随意点击未知网址，下载来路不明的应用。

李鹏表示，使用AI换声实施诈骗，除了要获取到“声音”原始素材，还要掌握诈骗目标的个人情况，例如家庭背景、家庭财产情况、职业等。因此，李鹏建议，在互联网上尽量减少个人信息公开，涉及个人声音、影像的发布更要慎重。

肖飒提醒，接听到与金钱、财产相关的电话，无论声音如何相似，都需要通过其他方式核实对方真实身份，核实身份的方式可以是询问只有真实的声音主人才知道的信息。“需要注意的是，开视频并不能证明对方的身份信息真实，当前通过AI制作实时通话视频的技术已经较为成熟，眼见也不一定为实，反而有可能是诈骗行为人的局中局。”

事实上，使用AI技术实施犯罪的也不仅仅只有诈骗。李鹏介绍称，常涉及的罪名还有侵犯公民个人信息罪，非法侵入计算机信息系统罪，破坏计算机信息系统罪，帮助信息网络犯罪活动罪，制作、贩卖、传播淫秽物品罪，侮辱、诽谤罪等。

给人工智能生成的内容打“水印”

党的二十届三中全会通过的《中共中央关于进一步全面深化改革、推进中国式现代化的决定》中明确提到，“完善生成式人工智能发展和管理机制”“建立人工智能安全监管制度”。

在人工智能领域，我国建立了以《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》三部法律为基础的监管体系。

为进一步规范生成式人工智能服务，国家互联网信息办公室等部门发布了《互联网信息服务深度合成管理规定》，要求任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息；可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。

2023年7月，国家网信办等部门发布《生成式人工智能服务管理暂行办法》，这是国内首部对生成式人工智能提出监管要求的法规，对数据来源合规、保护知识产权和个人信息、提高数据质量等提出具体要求。

遇到AI侵权违规违法时该如何处理，此暂行办法也有规定，“（生成式人工智能服务）提供者应当依法及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求”“提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施”。

在近期，生成式人工智能服务规范也有了进一步的细化。

2024年9月，国家网信办发布《人工智能生成合成内容标识办法（征求意见稿）》，进一步细化了AI合成内容的标识办法，要求AI生成合成的内容要在显著位置作出标识，包括显式标识和隐式标识。显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可被用户明显感知到的标识。隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

以音频为例，需在音频的起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识，或在交互场景界面中添加显著的提示标识。而且，服务提供者提供生成合成内容下载、复制、导出等方式时，应当确保文件中含有满足要求的显式标识。

给人工智能生成的内容打“水印”，邓志东认为这是低成本且高效的方法。“对于生成式人工智能服务提供者而言，技术非常简单，几乎没有成本，也不影响内容输出。日后有需要时，通过特殊办法检测隐式标识，也能迅速追踪，确认内容来源。”

《方圆》记者在多个互联网内容平台均能发现平台设置的AI提示，例如标记内容“疑似使用了AI生成技术，请谨慎甄别”“疑似包含AI创作信息，请谨慎甄别”等。这些显著的提示标识，并不影响使用者的体验，但在一定程度上提醒使用者要明辨真假。

“整体而言，对AI换声、换脸等信息服务，现行立法较为充分，只不过在法律适用环节仍有部分问题需要明确。”赵精武举例称，例如AI换声形成的新歌曲是否构成著作权法意义上的“作品”、相应的著作权归属于何者等问题需要结合司法实践进行个案裁判。

“司法机关可以通过个案裁判向产业界明确技术创新行为的合法性边界，以案释法，解决诸如训练数据合理使用行为认定的法律争议。检察机关则需要从严打击利用AI技术的犯罪活动，从技术源头、技术使用等各个环节全面预防和惩治AI犯罪活动。此外，司法机关包括检察机关也需要拥抱AI技术创新成果，利用AI技术进一步提升司法服务效率。”赵精武说道。

在司法实践中，检察公益诉讼或许能发挥其独特的作用。有专家认为，人工智能应用使得系统化、微小化损害成为常态，这决定了个体损害救济的式微。

李鹏也提到，北京市海淀区检察院近日针对一起“AI去衣”案，提起了刑事附带民事公益诉讼。此案中犯罪嫌疑人将他人提供的承载人脸信息的不特定多数女性图片，通过深度伪造技术、AI软件制作成裸体图片贩卖牟利。该院认为，被告人的行为侵害了不特定多数公民的个人信息安全，损害了社会公众利益，应该承担民事侵权责任。目前，该案尚未判决。

“当今互联网如此发达，很多侵害都是针对不特定多数人的侵害，数量很大，被侵害的主体可能都不知道自己受到侵害，而受到侵害的受害者也未必能找到侵权主体人。检察机关提起公益诉讼，不仅能突破个体诉讼的局限，为大量受害者提供救济，还能通过个案实践，推动相关法律法规的完善，为人工智能应用风险治理提供法律依据。”李鹏说道。

如何为不确定的未来做准备

提到人工智能发展的未来，“不确定性”是一个高频词。发展速度不确定，应用场景不确定，对就业的挑战不确定，对社会伦理的影响不确定……

在诸多“不确定”中，邓志东认为能“确定”的是，如果监督缺失，会加大各种不确定性的风险，带来长远的不利影响。

对于生成式人工智能未来还会带来什么风险，邓志东也向《方圆》记者介绍了几种可能的风险：全球性、全局性的话语欺骗；幻觉与认知偏见及伦理欺诈；非法内容的导出；网络攻击、计算机病毒植入、网络安全漏洞发现或更易高频发生；帮助进行非法物品的制造；内部数据的非法爬取等。

“特别是随着通用人工智能的复杂逻辑推理能力或智商越来越高，完成任务的宽度越来越大，同时完成某些具有挑战性任务的能力超过人类的最高水平，确实是有可能威胁到人类的文明与发展。”邓志东说道。

人工智能发展的不确定性又会给检察机关带来什么挑战？

李鹏认为，未来与人工智能相关的案件，办案的挑战是既要懂法，也要懂技术。“AI技术日新月异，每接触一个个案，都要学习其涉及的原理、法律，还要能将‘技术原理’转换成法庭上的‘法律语言’，向法官、向公众说得明白。”

据了解，李鹏所在的科技犯罪检察团队，成员大部分都是复合型人才，具备一定的计算机技术背景，这也是为了更好地办理高科技犯罪案件。

肖飒建议，AI领域的监管需要更多地与行业从业者进行沟通，指引平台向上发展。“目前，人工智能的发展已经来到一个关键的时间节点，人工智能的水平正在不断提升，但相关的法律规定依然具有一定的滞后性。因此，对行业进行更多的关注，将监管规范与实践相结合，尽快出台适宜当前科技发展进步趋势的立法，是当务之急。”

赵精武表示，对于AI领域未来发展，需要一种包容审慎、发展和安全并重的治理模式。无论是AI技术，还是其他信息技术，在创新过程中均会存在技术优势和安全风险。

面对AI技术应用产生的各类安全风险，社会上存在“强化监管、全面限制AI应用”等类似观点。“客观而言，这类观点存在‘因噎废食’的弊端，对于AI技术的不利影响，重要的是如何引导AI产业的良性发展，而不是限制技术应用。因为不发展才是最大的安全风险，所以需要以法律、技术、市场、伦理等多维度的治理工具促进AI技术创新，而AI创新的成果又能够解决先前存在的技术弊端和安全风险。”

邓志东表示，“作为新质生产力的典型代表，通用人工智能对我们国家而言，对于整个人类而言，都是一个前所未有的历史新机遇、新挑战。AI领域的长远发展，必须依赖于法律的监督与规范，必须制定技术研发的底线和红线。但也要保持对AI新技术的包容与支持，支持AI原始创新、技术创新与产业落地应用，不致影响到AI创新活力与动力”。

来源：常州武进检察