CCF-CV企业交流会—走进合合信息顺利举办打造大模型时代的可信AI

摘要：近期，《咬文嚼字》杂志发布了2024年度十大流行语，“智能向善”位列其中，过去一年时间里，深度伪造、AI诈骗等话题屡次登上热搜，AI技术“野蛮生长”引发公众担忧。今年9月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，指出人工智能既面临自身技术缺

近期，《咬文嚼字》杂志发布了2024年度十大流行语，“智能向善”位列其中，过去一年时间里，深度伪造、AI诈骗等话题屡次登上热搜，AI技术“野蛮生长”引发公众担忧。今年9月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，指出人工智能既面临自身技术缺陷、不足带来的内生风险，也面临不当使用、滥用甚至恶意利用带来的外部风险。

为探寻AI安全治理道路，近期，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛（简称“论坛”）顺利举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们，从立法、监管、前沿研究、技术实践等多个维度分享AI安全领域的最新进展，助力AI向善发展。

《打造大模型时代的可信AI》分享嘉宾合影

中国计算机学会计算机视觉专委会副秘书长潘金山博士致辞

AI安全治理框架：技术手段与规范管理并行

随着以 ChatGPT 为代表的AI大语言模型技术飞速发展，关于数据安全、知识产权、算法偏见和有害内容生成等大语言模型的内容安全问题引发了社会关注。“安全是个抽象概念，安全对齐的过程是一个从抽象到具体的模拟过程。”论坛上，上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模型训练过程，提出了“训练对齐、提示引导和文本过滤”三大安全保障手段，助力抽象的安全概念落实到具体的技术研发流程中。

海交通大学人工智能研究院教授、总工程师金耀辉进行《智能共生时代：平衡生成式AI的创新与风险》主题分享

规范标准是AI健康生长的外部力量。中国电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲认为，人工智能安全检测目前还主要停留在内容安全层面，检测方法比较单一。他将人工智能安全检测评估划分为算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全、科技伦理安全六方面，形成综合评估框架，为标准引领技术发展方向提供可行性参考。

电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲进行主题分享

技术实践：“看不见”的AI让伪造痕迹被看见

12月10日，Open AI正式向用户开放AI视频生成模型Sora。以Sora为代表的AI工具在给图像视频行业带来革新的同时，也引发了合成图像伪造风险。中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象，从主动防御和被动检测两个视角分享了具体治理方案。

谢洪涛提到，主动防御用于在视频生成或传播过程中加入前置保护措施，例如采用双重水印技术，给人脸图像加上“看不见”的鲁棒性水印与半脆弱性水印，方便后续取证；被动检测包括图像级不一致性和时空身份不一致性检测技术，用于在视频传播或使用后评估其真实性。

除了视频外，图像作为常见的数字内容资料形式，更容易被不法分子进行局部或全域生成式篡改。合合信息图像算法研发总监郭丰俊表示，合合信息技术团队基于数据驱动的神经网络模型，推出了行业领先水平的图像篡改检测方案，可提取篡改留下的细微痕迹，检测出多种篡改形式，在近年的2次国际性技术竞赛中获得冠军。当前文档类图像篡改检测仍然面临诸多挑战，如跨域泛化检测性能低下，纯色背景篡改检测准确率较低，压缩、传输等动作导致图像质量退化，致使检测性能下降等系列问题。大模型技术的出现为AI视觉安全的发展创造了新的可能，也为应对检测泛化能力和抗攻击能力的挑战提供了契机。

合合信息图像算法研发总监郭丰俊进行《视觉内容安全技术的前沿进展与应用》主题分享

人工智能鉴别与合成技术相互博弈，密不可分。中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然博士从深度合成技术出发，详细分析了虚拟身份、身份重演和人脸驱动三种合成技术类型。他表示，深度合成技术的深入研究为鉴别提供了线索，例如模型指纹线索、图像拼接线索和时序闪烁线索等，形成多模态多线索的鉴伪方法，并有针对性地提出了图像鉴别方案，包括基于空频域信息和提示学习结合的伪造鉴别方法、基于transformer的视频鉴别方法等。