合合信息丨探寻AI安全治理，共筑可信AI未来

摘要：日前，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛顺利举行。论坛汇聚了来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的众多专家，共同探讨AI安全治理

日前，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛顺利举行。论坛汇聚了来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的众多专家，共同探讨AI安全治理的新路径。

随着以ChatGPT为代表的AI大语言模型技术的飞速发展，数据安全、知识产权、算法偏见和有害内容生成等问题日益凸显。上海交通大学人工智能研究院教授、总工程师金耀辉在论坛上提出“训练对齐、提示引导和文本过滤”三大安全保障手段，旨在将抽象的安全概念落实到具体的技术研发流程中，确保AI大模型在生成内容时的安全性和可靠性。

除了技术手段，规范标准也是AI健康发展的重要保障。中国电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲表示，当前人工智能安全检测主要停留在内容安全层面，检测方法相对单一。他提出了一个综合评估框架，包括算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全和科技伦理安全六方面，为人工智能安全检测评估提供了全面而系统的指导。

在技术实践方面，中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象，分享了主动防御和被动检测两种治理方案。主动防御通过前置保护措施，如双重水印技术，为视频生成或传播过程提供安全保障；被动检测则通过图像级不一致性和时空身份不一致性检测技术，评估视频的真实性。

合合信息图像算法研发总监郭丰俊也介绍了公司在图像篡改检测方面的最新成果。基于数据驱动的神经网络模型，合合信息推出了行业领先水平的图像篡改检测方案，能够提取篡改留下的细微痕迹，检测出多种篡改形式。郭丰俊表示，大模型技术的出现为AI视觉安全的发展带来了新的可能，也为应对检测泛化能力和抗攻击能力的挑战提供了契机。