企业 AI 如何缓解数据引力负担

360影视 2025-01-22 22:48 3

摘要:然而,如今的决策考量已经发生变化。可能是十年来首次,公有云不再是 IT 领导者的首选目的地。事实上,Gartner 预计到 2027 年,50% 的关键企业应用工作负载将存在于公有云之外。

在 IT 领导者面临的诸多艰难决策中,如何选择最佳的 AI 工作负载部署位置是一个重要问题。

无论是部署预测供应链性能的传统 AI 应用程序,还是推出为客户提供信息服务的生成式 AI 数字助手,这类软件的部署选择都很多样。

然而,如今的决策考量已经发生变化。可能是十年来首次,公有云不再是 IT 领导者的首选目的地。事实上,Gartner 预计到 2027 年,50% 的关键企业应用工作负载将存在于公有云之外。

当然,工作负载部署涉及许多因素。但几乎总是从一个考虑因素开始:你的数据。而 AI 需要大量数据,尤其是正在全球范围内改变数字化运营的现代生成式 AI 应用。

避免过去的云计算误区

生成式 AI 应用会创建大量非结构化数据,如文本、音频和视频。这些应用产生的数据越多,数据引力对组织工作负载的影响就越大,迁移也就越困难。

讽刺的是,IT 领导者可能在十年前"云优先"浪潮中就已经经历过这个挑战,当时组织们都在争相利用公有云承诺的敏捷性和创新前景。

近年来,出于各种原因,他们和同行可能已经从公有云中移除了一些应用工作负载。

有些发现供应商无法满足数据本地化法规要求。有些在为公有云重构应用时出现错误导致应用崩溃。还有一些发现随着数据量增加,运行应用的成本也随之攀升。

从消费者友好的角度来看,可以参考过去几年从有线电视到流媒体服务的平台转变。数百万用户厌倦了被包含大量很少观看频道的合同束缚,于是"剪断电线",转向 Netflix、Hulu、Apple TV+ 等服务。

公有云已经开始呈现出类似有线电视的特点,供应商推出了大量 IT 领导者并不需要的服务。而且,就像有线电视一样,IT 领导者开始感到被现有云合同束缚;当租用后悔症出现时,他们开始转移一些工作负载。

随着当今计算和存储需求的多样化,IT 领导者更想要 Netflix 和 Hulu 式的服务,而不是有线电视式的服务,这也是一些工作负载回归本地系统的重要原因。

支持 AI 的不同策略

组织需要一种更具针对性的方法来满足其 AI 需求 - 既能让他们控制企业知识产权和数据,又能保持性能并满足弹性要求。

此外,AI 推理会给系统带来负担 - 它需要实时访问数据 - 因此组织必须控制为其 AI 应用提供动力的计算和存储资源。控制这些资源还将帮助 IT 部门更好地管理 AI 应用带来的数据引力问题。

那么 IT 领导者如何解决这些挑战呢?

虽然没有放之四海而皆准的方法,但一个选择是专注于提供最佳业务成果,无论您选择在何处运行应用程序,包括自己的数据中心,以及扩展到 AI PC 和边缘设备的能力。

这种方法被称为企业 AI,它有助于满足性能要求并减少延迟,同时确保数据安全且符合数据本地化和主权规则。有些企业 AI 路径可能对预算更加友好。

例如,您可以考虑在本地部署开源模型,这有助于将 AI 引入数据的同时根据运营需求调整模型规模。包含检索增强生成 (RAG) 的预训练模型可以用企业数据完善结果,并在企业防火墙后的 GPU 服务器上良好运行。

根据 Enterprise Strategy Group 的调查,在本地部署 Meta 的 Llama 2 模型并使用 RAG,比在 Amazon Web Services 公有云中运行生成式 AI 工作负载的成本效益高出 75%。ESG 还发现,在本地运行 Mistral 的 7B 开源模型和 RAG,比 AWS 的成本效益高出 38% 到 48%。

在推理成本随着模型生命周期增加的时期,这些都是关键的节省。培养企业 AI 并不容易;大多数组织缺乏构建此类运营模型的技术能力,更不用说建立为 AI 现代化的架构和基础设施。

这还需要专家帮助您整理数据,以便以合适的成本实现所需的性能和效率来运行模型。您选择的可信顾问将帮助塑造 AI 战略的成果。

来源:至顶网

相关推荐