华为OceanDisk对接DeepSeek 3FS,构建高性能AI训推存储解决方案

360影视 国产动漫 2025-03-23 00:47 2

摘要:经过端到端方案测试和优化,基于数据中心Diskless架构的华为OceanDisk智能盘框支持无缝对接3FS文件系统,借助OceanDisk的专业存储能力,实现单节点提供90GB/s高带宽、5个9高可靠、4PB高容量扩展能力,充分释放3FS文件系统潜能。通过软

DeepSeek正式开源面向AI时代的分布式文件系统3FS,为解决AI训推场景海量数据存储与高性能、高扩展难题而生。

经过端到端方案测试和优化,基于数据中心Diskless架构的华为OceanDisk智能盘框支持无缝对接3FS文件系统,借助OceanDisk的专业存储能力,实现单节点提供90GB/s高带宽、5个9高可靠、4PB高容量扩展能力,充分释放3FS文件系统潜能。通过软硬件开放合作的端到端方案,帮助企业面向多轮长序列对话等AI训推场景,构建开源、高效的存储基础设施。

近日,深度求索DeepSeek公司开源了分布式文件系统3FS(Fire-Flyer File System),3FS以极简架构打破了传统存储系统的路径依赖,为AI训推场景提供了高性能、高扩展的存储解决方案。

3FS为DeepSeek大模型训练、推理的数据访问提供全流程加速,满足了从数据准备、数据加载、检查点(Checkpoint)到推理阶段KVCache等多个关键环节的业务要求。3FS分布式文件系统通过充分发挥SSD介质和RDMA高速网络的优势能力,提供了极致的带宽性能,从而大幅提升AI训推效率。据DeepSeek论文所述,在180台服务器节点的存储集群中,3FS提供8TB/s总带宽与20PiB存储容量,该场景单节点带宽达到45GB/s。

华为OceanDisk智能盘框是一款面向全闪时代Diskless架构打造的高性能存储,可无缝对接Lustre、GPFS、BeeGFS等三方文件系统,Diskless架构打破了计算与存储物理耦合限制,支持计算与存储按需独立扩展。华为新一代OceanDisk 1610产品同时支持对接外置文件系统和内置文件系统能力,本次解决方案基于两种模式进行方案测试,完成了3FS与OceanDisk 1610新一代产品的对接验证和解决方案优化,其参考架构如下图所示。

3FS Diskless服务器+OceanDisk 1610方案:1台OceanDisk 1610可为2台3FS Diskless服务器节点提供148GB/s带宽,单台Diskless服务器节点带宽性能可达74GB/s。OceanDisk 1610内置3FS方案:单台OceanDisk 1610节点带宽性能高达90GB/s。

3FS+OceanDisk方案相比服务器方案可以进一步释放全闪性能,还能根据性能与容量需求按需独立扩展。在提供与DeepSeek论文描述同等8TB/s总带宽需求下,3FS与OceanDisk联合解决方案可通过如下配置完成存储集群构建。

测试结果表明,3FS+OceanDisk方案相比服务器方案在性能、可得容量、资源利用率、物理空间占用等方面优势明显;

1. 单节点性能最大提升2倍,大幅缩短训练时间,减少GPU算力等待;

2. 单节点最大支持4PB可用容量,OceanDisk以高效的EC算法取代了副本冗余机制,在实现5个9系统可靠性同时,有效减少了资源浪费。本方案中存储系统可得容量提升4.1倍,大幅增强多轮对话长时间保存能力;

3. 单节点2U 36盘位高密硬件设计,容量密度实现2PB/2U,数据中心空间最大节省50%,有效降低了数据中心运营成本。

本参考架构可帮助企业快速构建起本地高性能存储集群,应用于AI大模型训练与推理任务。华为OceanDisk智能盘框配合3FS文件系统解决方案减少了资源浪费、大幅降低数据中心能源消耗,有效降低了数据中心总投资,同时充分释放3FS文件系统潜能,存储系统发挥出极致性能,为AI技术的普及和应用提供了强有力的支持。

来源:金华刘氏智能科技

相关推荐