摘要:近期DeepSeek的火热,给热闹的春节送上了大礼!全网关于DeepSeek的信息满天飞。有分享如何使用的,有分享提问经验的,也有分享如何本地部署的。但关于本地部署的,忽略了一个重要问题,如果本地部署的模型后续要持续使用,那就需要持续训练本地模型,否则本地部署
>[作揖]感恩时代,不负相遇,路过还望点个关注,谢谢您![作揖]
近期DeepSeek的火热,给热闹的春节送上了大礼!全网关于DeepSeek的信息满天飞。
有分享如何使用的,有分享提问经验的,也有分享如何本地部署的。
但关于本地部署的,忽略了一个重要问题,如果本地部署的模型后续要持续使用,那就需要持续训练本地模型,否则本地部署的模型就不能与时俱进,失去时效性。
但是如何训练呢?
在分享之前,我们需要搞清相关概念。
自Open AI 语言大模型出来后,国内也陆续出现很多AI模型,比如:讯飞星火、通义千问、Kimi智能助手、以及时下火热的DeepSeek等。
尽管有很多人使用,但可能很多朋友还没有搞清楚什么是AI言语大模型。
AI言语大模型
在进一步讨论如何本地持续训练自己的AI大模型之前,我们先搞清几个概念。
概念一:什么是AI语言大模型?
"DeepSeek等AI语言大模型是基于深度神经网络构建的生成式人工智能系统,通过对海量文本数据的概率分布建模,学习语言模式和知识关联,能够生成符合语义和语境的新内容。其知识表征以参数化形式存在于高维向量空间,需通过持续训练更新保持时效性,本质上是一种动态知识蒸馏器而非静态数据库。"
类比说明:
如同人类律师通过研读案例培养"法律直觉",大模型通过数据训练建立"参数直觉",二者都表现出基于经验的模式识别能力,但都不等同于真正的法律推理。
法律条款在模型中不是以文本形式存在,而是体现为神经网络中特定神经元的激活模式。生成≠复制
当输出《民法典》第584条解释时,系统并非调取存储的原文,而是根据上下文动态生成符合该条款语义的新表述。更新≠追加
新增《刑法修正案(十二)》不是简单添加文本,而是通过微调改变模型对"单位犯罪"等相关概念的参数响应模式。
熟悉这些概念后,我们以律师职业为例,给出在本地持续训练DeepSeek模型的完整方案,包含数据准备、训练实施、效果强化三大模块。
但作为普通用户,可能比较难在精通的领域去持续训练自已的AI模型,故仅供参考!
[微风]采用《个人信息去标识化指南》GB/T 37964-2019。
[微风]使用正则表达式+NER模型双重过滤。
“from presidio_analyzer import AnalyzerEngine analyzer = AnalyzerEngine results = analyzer.analyze(text=legal_doc, language='zh')”模型隔离措施
[微风]采用Air-gapped架构部署。
[微风]使用SGX加密内存计算。
[微风]实施基于RBAC的访问控制。版本管理规范
# 模型版本命名规则 v{领域}_{训练日期}_{哈希值}
# 示例 vCivilLaw_20240315_8a3e2f title 法律大模型训练里程碑 section 基础建设 数据采集合规审查 :done, 2024-01, 30d 训练环境搭建 :active, 2024-02, 45d section 模型迭代 初版模型训练 :2024-03, 30d 要件分析专项优化 :2024-04, 20d 风险预警模块强化 :2024-05, 25d section 部署应用 律所内部测试 :2024-06, 15d 正式上线运营 :2024-07, 10d
任务:提高建设工程合同纠纷的条款适用准确率
数据准备:
[微风]收集2019-2023年最高法指导性案例30件。
[微风]提取《建工司法解释》等12部专项法规。
[微风]标注500份争议焦点标签。
训练过程:(我也有点懵)
deepspeed train.py \--model_name_or_path deepseek-legal-base \--dataset_path ./construction_cases \--output_dir ./models/v1.2 \--do_train \--bF16 \--deepspeed ds_config.json效果验证(预测):
指标训练前训练后法条匹配准确率62%89%争议焦点识别F10.710.93判决结果预测率58%82%通过系统性训练,模型在专业领域的表现可达到资深律师团队80%以上的专业水准,建议每季度进行增量训练以保持时效性。
通过以上案例,我们要知道,如果部署在本地,模型是需要定期投喂结构化新数据进行训练的,相关领域用户想要得到的结果才更准确、更有时效性,不过,给模型投喂的数据资料涉及面广,数据量大,恐怕单个用户自己收集整理也是一件难事!
当然,也许有一天,当模型足够强大时,给她指令,她可以自主查询收集相关数据,并做结构化处理,自己训练自己。但可能某些领域的资料涉密或短期没有公开,她就无能为力了,所以还是要人为投喂的!
#AI训练##360无偿为DeepSeek提供安全服务##梁文锋的AI大模型对国内AI产业有何影响#
来源:大道极简