国际商业机器公司申请基于函数的存储器层级激活专利,用于高效推断混合专家神经网络模型

360影视 动漫周边 2025-04-26 15:22 2

摘要:国家知识产权局信息显示,国际商业机器公司申请一项名为“基于函数的存储器层级激活 ”的专利,公开号CN119866498A ,申请日期为2023年8月 。

金融界2025年4月26日消息,国家知识产权局信息显示,国际商业机器公司申请一项名为“基于函数的存储器层级激活 ”的专利,公开号CN119866498A ,申请日期为2023年8月 。

专利摘要显示,一种用于高效推断混合专家(MoE)神经网络模型的3D存储器内计算加速器系统(100)和方法。该系统包括多个存储器内计算核(102),每个存储器内核包括多层存储器内计算单元(106)。存储器内计算单元的一个或多个层对应于MoE模型的专家子模型。根据基于函数的路由(115)选择用于激活传播的一个或多个专家子模型,对应的专家层基于该函数被激活。在一个实施例中,该函数是用于输入和输出激活的动态路由的基于散列的层选择函数。在实施例中,应用该函数以使用基于输入数据或使用基于层激活的MoE来选择单个专家或多个专家以用于单层级激活。此外,该系统被配置为具有单个专家模型选择的多模型系统或具有多个专家选择的多模型系统。

来源:金融界

相关推荐