摘要：2025年3月1日，由腾讯云安全云鼎实验室、西安智能系统安全重点实验室、LLM&Sec Landscape社区联合主办的“模型有界，安全无疆”大模型安全学术沙龙在西安圆满落幕。本次活动创新采用 “音乐+黑客+学术”的跨界形式，吸引了来自学术界、产业界及安全攻防
2025年3月1日，由腾讯云安全云鼎实验室、西安智能系统安全重点实验室、LLM&Sec Landscape社区联合主办的“模型有界，安全无疆”大模型安全学术沙龙在西安圆满落幕。本次活动创新采用 “音乐+黑客+学术”的跨界形式，吸引了来自学术界、产业界及安全攻防领域的300余位专家、白帽子、高校师生及行业同仁参与，在电子音乐的节奏中，共探大模型安全的技术破界之道。
本次沙龙聚焦三大目标：
▪ 技术破局：探讨大模型安全核心问题，分享最新研究成果与攻防实践；
▪ 生态共建：打通产学研壁垒，推动技术标准与防御体系的协同创新；
▪ 人才赋能：剖析AI时代安全人才需求，探索校企联合培养新模式。
解码AI时代
红蓝攻防新范式
绿盟天元实验室高级安全研究员、M01N战队核心成员祝荣吉
绿盟天元实验室高级安全研究员、M01N战队核心成员祝荣吉以《LLM应用安全问题与应对实践探索 》为主题，围绕模型选型、应用开发、应用部署三个关键阶段，深入剖析了大模型面临的安全风险，并结合实际案例，探讨了有效的安全防护策略。
在模型选型阶段，强调合规性要求与安全评估的重要性。通过内容安全评估与对抗性测试，开发者能够甄别潜在风险，为后续的安全开发提供指导。在应用开发阶段，关键是提示词安全策略，如Prompt增强技术，以防范模型越狱、角色逃逸等攻击手段，提高模型对抗风险的能力。而在应用部署阶段，应结合传统网络安全技术，强化LLM应用的安全防护，涵盖API接口安全、插件管理、存储安全等关键环节。
西安电子科技大学博士、西安智能系统安全重点实验室成员吴子辉
西安电子科技大学博士、西安智能系统安全重点实验室成员吴子辉聚焦大模型API服务中的函数调用接口，揭示了潜在的安全漏洞。他通过实验证明，主流大模型在函数调用参数生成阶段可能存在漏洞隐患，攻击者通过构造"情景设定+前缀注入+最小字数限制"的复合模板（如将恶意指令嵌入小说创作场景），诱导模型生成危险参数（如制作炸弹教程），在GPT-4等六大主流模型上实现平均超90%的攻击成功率。
该类型的漏洞根源在于参数生成阶段缺乏安全对齐机制，且系统级强制执行模式绕过模型自主决策。对此，团队提出参数安全过滤、提示词防御及安全对齐训练三层解决方案，相关成果已被顶级会议接收，并触发Reddit社区新型攻击变种演化。
京东蓝军-白鵺攻防实验室安全研究员Knight
京东蓝军-白鵺攻防实验室的安全研究员Knight基于ExpAttack框架，提出了构建“大模型越狱第二大脑”的创新思路，旨在通过大模型的技术来解决大模型的安全难题。Knight指出，当前大模型安全领域面临信息过载、风险变化快等挑战，人、信息、业务之间的关系亟待优化。为此，他提出了“大模型越狱的CODE构建法”，通过捕获、结构化、提炼、表达四个环节，构建起一个能够高效处理知识的“第二大脑”。
该方法利用向量数据库、图数据库等技术，分层次对大模型越狱相关的论文进行分析、存储，再通过LLOOM for jailbreak算法对277篇大模型攻击方向的进行聚类，最后再通过存储的数据提取进行基于论文方法的自动化越狱攻击生成。
Knight认为，大模型攻防是一个动态且不断变化的过程，自动化是解决大模型安全的关键，但最终的对抗仍需回归人与人的智慧较量。同时，大模型安全需要系统性方法来解决，模型侧与系统侧的紧密合作至关重要。
云起无垠模型安全研究负责人、知攻善防实验室核心成员刘洋
云起无垠模型安全研究负责人、知攻善防实验室核心成员刘洋剖析大模型在真实场景中的安全风险。刘洋认为，随着大模型加速渗透应用于各行各业，传统漏洞（如SQL注入、SSRF）通过与AI交互结合，衍生出全新攻击面，典型风险包括：越狱操控（ChatGPT遭Prompt注入生成违规内容、恶意注释诱导RCE）、权限失控（微软医疗机器人数据泄露）、数据裸奔（政务公众号密钥通过AI接口暴露）、SQL注入（AI简历助手被注入攻击篡改数据库）等。
为应对威胁，行业需构建AI原生安全体系，即实施最小权限原则（如GitHub Copilot CLI操作双验证），阻断高风险自动化行为；隔离敏感数据，禁止AI直接访问核心数据库与密钥；动态升级防御，研发AI漏洞扫描器，结合Prompt模糊测试与框架漏洞检测，实现攻击面自动化挖掘。
ChaMD5安全团队AI组负责人bayuncao
会上，ChaMD5安全团队AI组负责人bayuncao正式发布开源项目ltrack，致力于解决ML领域模型加载安全关观测问题。ltrack聚焦大模型加载环节安全监控，基于ebpf技术实现零侵入动态监测，精准覆盖文件篡改、恶意依赖注入、敏感数据外传三大核心攻击面。通过实时捕获模型文件哈希值、动态链接库行为及网络异常流量，ltrack有效识别隐蔽性威胁，成功复现Hugging Face恶意模型加载、PyTorch权重篡改等高风险漏洞。
目前ltrack已实现Docker容器全栈监控，未来两个月将扩展至K8S集群及GPU内存泄漏检测，助力企业构建从模型加载、推理到分布式部署的全生命周期防护体系。
希谭实验室公众号作者、网络安全专家ABC_123
希谭实验室公众号作者、网络安全专家ABC_123结合APT（高级持续性威胁）攻击案例，探讨大模型在威胁情报挖掘与防御体系中的价值。他认为，DGA（域名生成算法）域名识别可能是APT攻击问题解决的关键。然而，传统的LSTM深度学习模型可以识别恶意DGA域名，但是难以有效区分正常业务行为与异常行为，因此最终需要依靠AI大模型来解决这一难题。
活动最后的“AI时代网络安全人才发展机遇与挑战”主题圆桌环节，西安电子科技大学博士生导师、西安市智能系统安全重点实验室主任、陕西省计算机学会网络空间安全专委会副秘书长高海昌教授，腾讯云安全策略&攻防专家李滨，腾讯云鼎实验室攻防负责人李鑫，绿盟科技M01N战队负责人、LLM&SEC Landscape 社区发起人高东，围绕AI技术爆发式增长对安全行业的影响展开深度对话。
在人工智能蓬勃发展的当下，生物特征滥用、算法偏见等 AI 伦理风险如影随形，严重威胁着个人隐私、社会公平与安全，构建全面且系统的治理体系已刻不容缓。与会嘉宾一致认同，可尝试构建一套“威胁建模-合规翻译-持续验证”的技术治理框架。
▪ 先通过威胁建模，深度剖析 AI 系统潜在的伦理风险点，精准识别生物特征数据处理过程中的漏洞与隐患；
▪ 再借由合规翻译，将繁杂的法规条文转化为切实可行的技术标准与操作指南，让从业者清晰知晓合规边界；
▪ 最后依靠持续验证，在 AI 系统的全生命周期中不断审视与纠偏，确保其始终严守伦理与合规底线，推动人工智能行业健康、有序发展。
未来，腾讯安全城市沙龙也将持续聚焦技术纵深-标准建设-生态协同-人才储备方向，与产学研用各界专家及从业者，共同探讨数字世界的安全之道，助力企业打造更加稳固的数字防线。
来源：砍柴网