摘要:《指引》坚持 “最有利于未成年人” 原则,构建 “安全可控、权责清晰、协同共治” 的治理框架。围绕生成式人工智能服务的训练数据、模型开发、场景应用、服务运营等全生命周期,提出覆盖内容安全、数据保护、信息分发等方面的系统性安全管理要求。
南都讯 记者李玲 如何加强未成年人在生成式人工智能环境下的安全保障?一份由60家单位共同起草的团体标准将提供专门指引。
6月10日,在合肥举办的2025年中国网络文明大会人工智能分论坛上,《向未成年人提供生成式人工智能服务安全指引》(以下简称《指引》)正式发布。
据中国网络空间安全协会介绍,这份《指引》是在中央网信办网络管理技术局等部门指导下,该协会会同产业、学术、教育等领域60家单位依据相关法律法规编写而成。
《指引》坚持 “最有利于未成年人” 原则,构建 “安全可控、权责清晰、协同共治” 的治理框架。围绕生成式人工智能服务的训练数据、模型开发、场景应用、服务运营等全生命周期,提出覆盖内容安全、数据保护、信息分发等方面的系统性安全管理要求。
具体而言,《指引》提出,在训练数据阶段, 严格规范未成年人个人信息保护,严禁采集非必要数据,对涉未成年人数据实施分类分级管理。
《指引》建议,重点关注境外公开数据集、网络采集数据以及商业数据的安全性,不宜采用原始数据集中含有违法不良信息超过5%的数据,并对计划采用的训练数据进行清洗和标注,不宜采用含有违法不良信息的数据集用于训练。
值得一提的是,针对使用对象多为未成年人的学习教育类模型,《指引》建议其重点建设具备科学性的高质量训练数据集,充分过滤其中的错误知识内容。
在模型训练阶段,《指引》强调,重点防范生成有害内容与个人信息泄露风险,通过引入未成年人保护评价机制,将生成内容安全性作为评价生成结果优劣的主要指标之一,建议在模型训练过程中引入保护未成年人权益的安全原则,约束模型的输出符合伦理规范、减少偏见等。同时,通过对模型输出内容识别和过滤,改写或去除有害内容,以确保其输出内容的安全性。
在场景应用阶段,《指引》提到,服务提供者宜采取有效技术防护措施和安全管理措施,保障服务内容的安全性、可靠性和真实性。其中包括,结合不同场景生成内容诱导或引起未成年人效仿危险行为的风险,并采取预警、风险提示、风险阻断等合理应对措施,特别是要警惕特殊应用场景风险——包括但不限于娱乐场景未成年人沉迷、情感依恋等问题。
在服务运营阶段,《指引》就未成年人身份认证、未成年人模式、网络防沉迷、权限管理和消费管理等方面提出建议。比如在消费管理机制上,《指引》指出,网络社交、网络游戏、网络直播、网络音视频、在线教育等场景下的生成式人工智能服务所产生的消费,建议遵从行业管理要求合理限制未成年人消费,不得向未成年人提供与其民事行为能力不符的付费服务。
此外,基于生成式人工智能服务与体验而产生的消费,鼓励服务提供者探索制定并不断完善同未成年人民事能力适配的消费限额规则,并制定并不断完善涉及未成年人消费退款处理规则、流程。
南都记者注意到,《指引》强调“主体责任+社会共治”的协同模式,鼓励企业与科研院所、教育机构等联合推动适龄化产品研发、人工智能素养教育与行业自律。《指引》附录部分进一步细化了生成内容、数据安全、未成年人模式等操作指南,旨为从业者提供可落地的实践依据。
来源:南都N视频