摘要:国家知识产权局信息显示,平安科技(深圳)有限公司申请一项名为“一种模型参数微调方法、装置、系统及介质”的专利,公开号CN 119047325 A,申请日期为2024年9月。
金融界2024年12月2日消息,国家知识产权局信息显示,平安科技(深圳)有限公司申请一项名为“一种模型参数微调方法、装置、系统及介质”的专利,公开号CN 119047325 A,申请日期为2024年9月。
专利摘要显示,本发明公开了一种模型参数微调的方法、装置、系统及介质,方法包括:获取预训练的语言处理模型,所述语言处理模型包括若干个线性变换层;在所述线性变换层初始化生成函数系数生成模块;获取与下游任务相对应的目标任务的微调数据集,将所述微调数据集输入所述函数系数生成模块中;所述函数系数生成模块根据微调数据集通过反向传播和优化算法微调函数系数生成模块的参数。本发明通过只微调非线性函数系数生成模块的参数,而不是整个网络模型的参数,降低模型的训练数量,提升适配效果。
来源:金融界
免责声明:本站系转载,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本站联系,我们将在第一时间删除内容!