生成式AI时代亚马逊云科技正改变大模型应用规则

摘要：不容否认，2024亚马逊云科技re:Invent全球大会依然是云计算和生成式AI领域的风向标。从云的角度，亚马逊云科技的每一个构建单元都持续增强；在强大的云计算基础上，亚马逊云科技围绕生成式AI进行了诸多重磅发布与更新。

不容否认，2024亚马逊云科技re:Invent全球大会依然是云计算和生成式AI领域的风向标。从云的角度，亚马逊云科技的每一个构建单元都持续增强；在强大的云计算基础上，亚马逊云科技围绕生成式AI进行了诸多重磅发布与更新。

关于生成式AI创新，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松在与媒体沟通时表示，生成式AI应用，不光需要大模型，还需要能支持客户应用创新的平台，需要一系列工具链的支持。

上一期我们重点解读了亚马逊云科技在生成式AI的主旋律下，将数据与AI融合，升级Amazon SageMaker，加强训练功能，构建一站式的数据处理和机器学习的平台。

推理是基础模型走出实验室进入现实世界的地方。用户需要通过推理利用基础模型构建和部署生成式AI应用程序，需要越来越复杂的工具来针对自己的数据定制模型。能否有一个地方访问最新的模型，利用创新工具从数据中挖掘更多价值？

这次我们要详细解读一下亚马逊云科技的Amazon Bedrock，之前谈到，这是亚马逊云科技构建生成式AI竞争的关键能力之一，也是用户生成式AI推理的重要构建模块。基于用户需求和亚马逊云科技自身应用案例，亚马逊云科技正在改变大模型落地应用的游戏规则。

多种选择打开大模型新世界

以亚马逊云科技自身为例，Andy Jassy在主题演讲时特意提到，在亚马逊云科技内部构建项目中所使用模型的多样性令人惊讶。亚马逊云科技内部已经构建或者正在构建近1000个生成式AI应用程序。

当公司给予了开发者自主选择的权利时，原本以为大家都会选用Anthropic的Claude模型，毕竟过去一年多这是在全球属于性能顶尖的模型。事实上，确实有很多内部开发者在使用Claude模型，但他们也会采用Llama模型、Mistral模型，还会运用自己开发的一些模型，甚至会使用自行研发的模型。

尽管有点意外，但从某些角度想也不奇怪，那就是永远不会出现一种工具能一统天下的情况。数据库领域如此，数据分析架构领域也是如此，如今大模型方面同样呈现这样的局面。

为了让客户充分释放生成式AI的潜力。亚马逊云科技人工智能与数据部门副总裁Dr. Swami继续深入解说如何帮助客户开发出更智能的AI应用程序，首先从选择和优化正确的模型开始。Amazon Bedrock是客户使用新发布的Amazon Nova模型的唯一渠道。在Amazon Bedrock上新增更多行业领先的模型（如Anthropic、Meta、Mistral AI、Stability AI、Cohere、AI21 Labs等），进一步扩展Amazon Bedrock的模型选择范围。

这么看来，以亚马逊云科技的风格，不会放慢扩展客户访问的模型数量的步伐，包括来自最热门初创公司的最新模型。在这次大会上，Dr. Swami宣布亚马逊云科技将成为首家提供Poolside的Malibu和Point模型访问权限的云服务提供商，这两个模型在代码生成、测试、文档编制以及实时代码补全方面表现出色。

除了处理开发人员痛点的模型之外，亚马逊云科技还授权用户使用最新的图像生成模型进行创新。Stability AI是视觉媒体领域领先的生成式AI模型开发商，在图像、视频、3D和音频方面拥有先进的模型。Amazon Bedrock即将添加Stable Diffusion 3.5 Large这一Stability AI最先进的文本转图像模型。

当然，用户还希望访问前沿的视频生成模型，而亚马逊云科技将成为首家向用户提供Luma AI最先进的Luma Ray 2模型（其著名视频模型的第二代）的云服务提供商。在大会现场，Luma AI首席执行官阿米特・贾恩（Amit Jain）现场介绍，Luma Ray 2是图像和文本到视频生成模型，可以从头开始构建，使全新的设计、营销和视频创作工作流程成为

他还介绍了这些模型如何基于Amazon SageMaker HyperPod来训练的。Luma AI模型要从比最大的语言模型还多约1000倍的数据中训练。为了实现这一点，亚马逊云科技对训练运行的每个方面进行了超优化，GPU 互连功率、网络、存储和软件这些堆栈都需要充分协调，使得计算集群中获得最大吞吐量。

Luma AI确实通过AI的力量推动了视频内容创作的边界，合适的基础模型可以解锁令人难以置信的可能性。

但客户也希望将这些专业模型的力量与Amazon Bedrock上的所有开发工具相结合，为业务解锁更大的价值。基于此，Amazon Bedrock正在为用户打开一个充满潜力的世界。

亚马逊云科技发布Amazon Bedrock Marketplace，客户能够访问来自领先提供商的100多个新兴和专业基础模型，而且可将模型与Amazon Bedrock的统一应用程序编程接口（API）安全集成，从而使用诸如Guardrails和Agents等工具，并受益于内置的安全和隐私功能。

业务与模型融合实现增量价值

虽然模型选择至关重要，但这实际上只是第一步，在选择模型时，开发人员需要权衡多种因素，如准确性、成本和延迟。而优化一个因素通常需要在另一个因素上做出妥协。这是因为成本和响应延迟与模型准确性呈负相关，这也解释了为什么更强大、更智能的模型消耗更多的加速器硬件。

这也是亚马逊云科技CEO Matt的主题演讲中推出Amazon Bedrock升级新功能，包括提供模型蒸馏、多智能体协作和自动推理检查等。它将特定知识从一个大而准确的模型转移到一个更小、更高效的模型变得容易，速度提高高达500%，成本降低高达75%。

我们都知道，推理的流程从我们在模型上提示开始，当模型响应查询时，它会生成标记，我们可以将标记视为模型可以理解的语言片段。发送的标记越多，或者提示越长，实际上成本就越高。当这个过程没有针对用户的用例进行优化时，标记生成成本会迅速上升，尤其是当提示频繁重复时。

和亚马逊云科技想给客户一种简单的方法来动态缓存重复提示，以降低成本和延迟，同时又不影响准确性。因此，新发布的提示词缓存（Amazon Bedrock Supports prompt caching）不仅可以降低响应延迟，还可以通过缓存频繁使用的提示前缀在多个API调用中降低成本。只要使用Amazon Bedrock API或通过实验性的Playground UI 就可查看可以节省多少用例。从亚马逊云科技官方的数据来看，使用此功能，可以将延迟降低高达85%，成本降低高达90%。

除了频繁优化这些频繁重复的提示外，客户还最终会花费大量时间试验各种模型，以找到最适合每个用例的模型，为了确保客户所有用例轻松地将最佳提示路由到正确模型变得更容易。亚马逊云科技发布智能提示词路由功能（Amazon Bedrock Intelligent Prompt Routing），客户可以将每个请求设置成本和延迟的期望阈值，Amazon Bedrock动态地将客户的请求路由到最有可能以最低成本给出最佳响应的模型。

与此同时，Amazon Bedrock知识库的新功能助力客户最大程度发挥数据价值。针对自然语言检索（Amazon Kendra Generative AI Index），能为RAG和Amazon Bedrock提供了托管检索，支持对40多个企业数据源的连接器。

Amazon Bedrock知识库还支持图像内容RAG功能（Amazon Bedrock Knowledge Bases now support GraphRAG），使用Amazon Neptune自动生成图形，并链接各种数据源之间的关系，创建更全面的生成式AI应用程序，而无需任何图形专业知识。知识库现在还可以通过明确连接和源信息来增强可解释性，以更好地进行事实核查。

另外，目前大多数企业数据都是非结构化的，亚马逊云科技发布数据自动化服务（Amazon Bedrock Data Automation）将非结构化多模态数据转换为结构化数据，用于生成式AI和分析。

随着生成式AI继续在各种模型和数据类型中发展，开发人员可能很难确保他们有正确的安全措施，比如现在更多的人开始利用最新的多模态模型，就需要考虑非结构化数据中可能包含的潜在有害内容。新发布的升级安全防护功能Amazon Bedrock Guardrails Multimodal toxicity detection），支持图像数据，使你能够构建安全、多模态的生成式AI应用程序，帮助开发人员清除障碍。

另外，从本周开始，Amazon Bedrock支持多智能体协作，用户可以构建和协调专门的智能体来执行，让复杂工作流程变得容易。

在具体的生成式AI落地应用中，有句话说的好，不看广告看疗效。在展厅，有一项展示为Amazon Bedrock生成式AI能力的模型都市中，一列由Anthropic的Haiku模型驱动的高速列车迅速驶来，而Sonnet模型则利用其高级推理能力调度城市复杂的交通网络和红绿灯系统。

互动区包括一个由AI驱动的影院，生成动态视频内容；一个展示内容Guardrails（防护栏）和知识库的Oracle应用程序；以及一个利用多模态模型和代理工作流的AI自拍站。同时，生成式AI新闻频道提供关于城市事件的实时AI生成更新。借助DREAM City演示中的元素，这一引人入胜的体验突显了Amazon Bedrock在模型导入、多模态AI和代理协调方面的多功能性。

而在电子自行车智能工厂演示区，讲述了虚构公司AWSome e-Bikes的故事，该公司设计、制造并管理用于共享单车计划的电子自行车车队。整体展示出实际应用过程中的生成式AI的能力，从Amazon SageMaker 到Amazon Bedrock，再到Amazon Q for Business，这些技术收集并整合来自电动自行车生产线三个工作站（焊装、涂装和检测）的运营技术（OT）数据，并应用高级分析和AI/ML技术。

首先，生成用于训练计算机视觉模型的合成数据（Amazon SageMaker Studio）；第二，提供质量诊断，检测潜在根本原因，提高机器可用性和产品质量（Amazon Bedrock）；第三，利用生成式BI功能帮助业务分析师和用户提升生产力，快速构建可视化、总结洞察，并用自然语言回答数据问题（Amazon Q in QuickSights）；第四，创建设备维护和故障排除指南（Amazon Q for Business）；第五，从OPC UA信息生成资产模型，以更快地获取数据并数字化呈现生产线（Amazon Bedrock）。

从模型选择到负责任的AI，现在用户构建生成式AI所需的所有功能都汇聚在Amazon Bedrock上，Amazon Bedrock帮解决了客户的五大问题：1）选模型的问题；2）成本的问题；3）集成业务的问题4）安全的问题；5）智能体协作的问题，让客户构建更快、更具成本效益，更智能的模型。