支持48位寻址!华为开源文件系统EROFS跨入大模型训练
AI大模型带来算力硬件需求升级,算力芯片、HBM内存等迎来需求暴增。而在软件端,由于AI大模型的海量数据、高算力需求、分布式训练等特点,对文件系统也提出了与传统应用截然不同的要求。
AI大模型带来算力硬件需求升级,算力芯片、HBM内存等迎来需求暴增。而在软件端,由于AI大模型的海量数据、高算力需求、分布式训练等特点,对文件系统也提出了与传统应用截然不同的要求。
在科技界的一则最新动态中,知名科技博客Phoronix于3月23日披露,随着Linux 6.15内核版本的临近,开源社区中的EROFS(增强型只读文件系统)即将迎来一次重大革新。此次升级的核心亮点在于,EROFS将引入48位寻址支持,以满足人工智能模型训练过程
科技媒体 phoronix 昨日(3 月 23 日)发布博文,报道称随着 Linux 6.15 内核周期的临近,开源的只读文件系统 EROFS 将迎来重大升级,新增 48 位寻址支持,以应对 AI 模型训练所需的海量数据处理需求。