AI浪潮助推数据存储架构升级,Hammerspace布局中国市场如何应对新机遇?

360影视 欧美动漫 2025-03-12 11:33 2

摘要:在新一轮AI浪潮下,以DeepSeek为代表的开源大模型,凭借“开源模型+算法创新+成本重构”的优势,正逐步改变全球AI格局。这一变革除了对算力、算法提出要求,也对存储能力提出新挑战:它需要为海量多模态数据提供存储与高效管理,保障数据安全可靠,同时支持快速数据

在新一轮AI浪潮下,以DeepSeek为代表的开源大模型,凭借“开源模型+算法创新+成本重构”的优势,正逐步改变全球AI格局。这一变革除了对算力、算法提出要求,也对存储能力提出新挑战:它需要为海量多模态数据提供存储与高效管理,保障数据安全可靠,同时支持快速数据读取、并行计算、实时数据获取和缓存优化提升训练与推理效率。于是,在算力竞相迸发的背景下,一场围绕数据存储的竞赛已悄然拉开序幕。

Hammerspace董事总经理Molly Presley

在接受媒体访谈时,Hammerspace董事总经理Molly Presley阐述了AI时代下存储所面临的具体挑战。她表示:“以存储为中心的存储架构中,广泛分布的非结构化数据形成数据孤岛,并制约了系统性能。尤其在云端数据大规模涌入后,缺乏云端敏捷性,所有数据管理工作均需依赖人工操作,过程繁琐且效率低下。”由此可见,AI时代传统存储方法难以应对非结构化数据的爆炸式增长,也难以满足大型计算集群对高性能的要求。

为应对行业面临的数据孤岛挑战,加速推进数字化进程,Hammerspace近期正式宣布进军中国市场,并携手中国领先企业驿心科技有限公司(Yition.ai)建立战略合作伙伴关系。同时,在会议现场,Molly Presley还对Hammerspace的全局管理平台及相关技术、案例进行全方位解读。Hammerspace全局数据平台则提供高性能数据通道,高效赋能大规模计算集群,实现统一数据源的数据编排,并以标准化方式灵活支持客户选用的计算、存储及网络基础设施。该解决方案已在Meta管理的24000个GPU集群的LLM部署中得到验证。

Hammerspace如何破解传统存储困局?

在一波接一波AI浪潮之下,新一轮数据革命已然来临。包括AI训练、GPU计算、数据分析等在内的数字化进程正推动一场迟来的变革,也就是数据使用与存储方式亟待根本性重塑,行业亟需新的以数据为中心的存储架构,以破解存储困局。

与传统存储架构相比,Hammerspace打造的全局数据平台能够实现跨站点、跨云端、跨存储设备的非结构化数据统一管理,自动调度,并提供基于标准协议的高性能访问能力。

具体来看,该平台通过全局命名空间,将分散在各地、各云端及各存储系统的非结构化数据,统一整合为并行全局文件系统。不仅可以提供HPC级高速数据处理性能,还可通过自动化数据编排技术,无感实现数据在最佳存储层、云可用区或云服务商之间的智能调度。也就是说,在全局数据管理平台的加持下,无论计算集群、应用或用户身处何处,数据资源皆可实时访问。

Molly Presley进一步解释到:“Hammerspace技术实现了AI场景下高性能存储的落地应用。借助该技术,能够充分利用现有存储系统中的所有数据,包括最新的DeepSeek 3FS存储系统,轻松提取数据并传输至GPU训练芯片,从而显著提升训练效率。该方案提高了GPU利用率,加速了数据价值的实现,同时降低了存储成本和能耗,最终有效消除了数据孤岛现象。”

Tier 0让GPU本地存储被充分利用

在AI训练过程中,GPU显存利用不足是一个常见问题,这往往会拖慢训练速度并降低模型的训练效率。

Hammerspace打造的Tier 0解决方案可解决本地盘孤立、数据不安全的问题,充分利用每一台GPU服务器闲置的本地硬盘作为Tier 0的存储,打造出一个全局命名空间的第0层,所有数据可在指定策略下在其生命周期中被存放在合理的位置,从而极大提升CheckPoint的效率,不需要花费额外的开销。

通过Hammerspace规则定义,可以很方便地定义Tier 1、Tier 2、Tier 3分层的存储层,从而更好地把数据提供给不同计算节点。Molly Presley坦言,目前,Hammerspace是唯一能够实现Tier 0技术的解决方案。它通过构建Tier 0的全局命名空间,确保所有数据都能根据预设策略,在其生命周期内的各个阶段被妥善存放在从闪存到磁带的合适存储层级上。

“通过该方案能大幅度减少硬件和能源的投入,同时还能有效节约数据中心的空间。”Molly Presley表示,“Hammerspace一个重要的愿景是让所有的数据,不管数据存放在边缘还是数据中心,都可以让数据按需流动,实现实时访问。”

携手驿心科技战略布局中国市场

Hammerspace宣布与北京驿心科技有限公司(Yition.ai)达成战略合作,战略布局中国市场,也标志着其全球扩展战略迈出里程碑式的一步。Hammerspace在公司报告中指出,其全球客户采用率同比增长了32%,多区域营收实现10倍跃升。在中国的市场启动将成为Hammerspace全球增长战略的重要组成部分,旨在满足本土超大规模计算企业对支持人工智能(AI)、高性能计算及其他GPU密集型场景的智能化数据调度日益增长的需求。

资料显示,驿心科技致力于让超大规模AI基础设施更加易于访问与高效运作。而此次合作将Hammerspace成熟的高性能全局数据平台(对象与文件存储)与驿心科技降低AI存储成本、提升易用性的目标相结合,共同为云服务、高性能计算以及超大规模云服务提供商应对AI产生的海量非结构化数据,提供全新的存储与数据编排解决方案。

Hammerspace创始人兼首席执行官David Flynn表示:“与驿心科技的合作将为中国AI基础设施领域带来革命性变革。无论是企业级AI、超大规模云服务,还是高性能计算,都面临着如何在不增加昂贵专业设施投入的前提下,实现高速数据输送至GPU的共同挑战。通过整合Hammerspace的全局数据平台与驿心科技的高性价比AI存储解决方案,我们不仅消除了数据瓶颈,最大化了计算资源利用率,还大幅简化了操作流程。如今,企业能够让GPU全速运行,无需团队耗费精力处理数据清理,从而更专注于创新而非基础设施维护。”

写在最后

“AI时代,存储架构将如何升级”已经成为AI领域及存储厂商共同思考的问题,与传统存储架构相比,Hammerspace数据平台不仅扩大了AI所需分布式数据集的访问范围,降低了基础设施资本支出,同时也提供了满足现代AI工作负载严苛要求的高性能存储,将进一步释放AI潜能,充分挖掘数据价值。

AI时代,数据作为与算力、算法同样重要的要素,其数据质量、数据规模,以及可访问的效率,也在一定程度上影响AI在企业的应用。进入中国市场的Hammerspace以创新的解决方案,正在为存储架构创新带来变革。正如Molly Presley所说,“当数据成为新时代的‘石油’,Hammerspace正以连接者的姿态,为行业提供更高效、更开放的流动管道。”

来源:中关村在线

相关推荐