摘要：金融界 2025 年 5 月 9 日消息，国家知识产权局信息显示，深圳市百量智算科技有限公司申请一项名为“模型训练方法以及相关设备”的专利，公开号 CN119939246A，申请日期为 2024 年 12 月。

金融界 2025 年 5 月 9 日消息，国家知识产权局信息显示，深圳市百量智算科技有限公司申请一项名为“模型训练方法以及相关设备”的专利，公开号 CN119939246A，申请日期为 2024 年 12 月。

专利摘要显示，本申请实施例公开了模型训练方法以及相关设备，用于在分布式数据并行或分布式混合并行训练大模型时减小多个训练实例之间的数据传输，从而缩短大模型的训练时间，提升大模型训练的资源利用率。本申请实施例方法，应用于包含 M 层网络的大模型，包括：获取大模型的训练损失；若第 j 层实例的数量为 1 且第 j+1 层实例的数量为 L，则在反向传播进行参数更新时将多个第 j+1 层网络的回传反向梯度的均值，作为第 j+1 层网络的聚合平均梯度，并使用聚合平均梯度以及第 j 层网络的雅可比矩阵之积，计算第 j 层网络的参数梯度，多个第 j+1 层网络的回传反向梯度为：训练损失对于前向传播时第 j+1 层网络的输入的梯度；基于第 j 层网络的参数梯度，更新第 j 层网络。

天眼查资料显示，深圳市百量智算科技有限公司，成立于2023年，位于深圳市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本100万人民币。通过天眼查大数据分析，深圳市百量智算科技有限公司专利信息7条，此外企业还拥有行政许可5个。

来源：金融界