航天信息申请基于量化感知微调的大模型推理专利,提升大模型推理效率

360影视 日韩动漫 2025-05-12 08:11 1

摘要:国家知识产权局信息显示,航天信息股份有限公司申请一项名为“一种基于量化感知微调的大模型推理方法、装置及介质”的专利,公开号CN119962665A,申请日期为2024年12月。

金融界2025年5月12日消息,国家知识产权局信息显示,航天信息股份有限公司申请一项名为“一种基于量化感知微调的大模型推理方法、装置及介质”的专利,公开号CN119962665A,申请日期为2024年12月。

专利摘要显示,本发明公开了一种基于量化感知微调的大模型推理方法、装置及介质。其中,方法包括:将大模型的原始参数矩阵进行结构改造,确定各通道原始参数矩阵对应的横向向量化向量、纵向向量化向量以及低比特固定矩阵;基于横向向量化向量、纵向向量化向量以及低比特固定矩阵对大模型进行逐层进行参数量化微调预训练,获取大模型各通道的横向向量化向量值和纵向向量化向量值;根据大模型各通道的横向向量化向量值、纵向向量化向量值以及低比特固定矩阵,确定大模型部署推理的部署参数矩阵;采用部署有部署参数矩阵的大模型对输入数据进行推理分析获取输入数据的推理结果。

天眼查资料显示,航天信息股份有限公司,成立于2000年,位于北京市,是一家以从事电信、广播电视和卫星传输服务为主的企业。企业注册资本186285.1248万人民币。通过天眼查大数据分析,航天信息股份有限公司共对外投资了94家企业,参与招投标项目4421次,财产线索方面有商标信息217条,专利信息4428条,此外企业还拥有行政许可20个。

来源:金融界

相关推荐