AI芯天下丨分析丨存储巨头正推进SOCAMM模块,距离爆火还差一把火?
训练过程中,数据需要在计算芯片与内存之间频繁传输,而当前大型AI模型的参数规模已达到数百亿甚至数万亿级别,这导致了对大量内存的需求。
训练过程中,数据需要在计算芯片与内存之间频繁传输,而当前大型AI模型的参数规模已达到数百亿甚至数万亿级别,这导致了对大量内存的需求。
英伟达已经与存储器制造商交换SOCAMM(Small Outline Compression Attached Memory Module)原型进行测试。其使用低功耗LPDDR5X内存,并采用了可拆卸模块设计,在性能和能效方面优于小型个人电脑和笔记本电脑使用的
近期,DRAM内存领域的两大巨头——美光和SK海力士,携手推出了全新的SOCAMM内存模组。这款模组专为高性能计算需求设计,并已被英伟达选定为其GB300 Grace Blackwell Ultra超级芯片的配套内存解决方案。