摘要：AWS在年度盛会AWS re:Invent上发布的最新公告中包括了推出新的Amazon Bedrock Marketplace，这个主要门户将让开发人员可以访问100多个最强大的大型语言模型，其中包括一些只能在那里找到的大型语言模型。
AWS正在通过Amazon Bedrock服务向AI应用开发人员提供更多的大型语言模型，同时增强该平台的优化推理工作负载和为他们提供所需数据的能力。
AWS在年度盛会AWS re:Invent上发布的最新公告中包括了推出新的Amazon Bedrock Marketplace，这个主要门户将让开发人员可以访问100多个最强大的大型语言模型，其中包括一些只能在那里找到的大型语言模型。
Amazon Bedrock是一项用于构建和扩展生成式AI应用的全托管服务，目前已经提供了一些最知名的大型语言模型访问权限，这些模型的提供商包括AI21 Labs、Anthropic PBC、Meta Platforms、Cohere、Stability AI和Mistral AI。
随着新应用市场的推出，客户将能够在这里找到新发布的Amazon Nova模型，这是AWS昨天宣布的新一代基础模型。据AWS称，Nova模型旨在支持广泛的AI应用，具有行业领先的性价比。
不过，这些并不是唯一的独家产品，因为Amazon Bedrock用户还可以优先获得Luma AI、Poolside和Stability AI的新模型。
更具体地说用户将可以访问Luma AI的Ray 2，一种用于生成式AI视频创作的多模式AI模型，能够创建一些有史以来最逼真的AI视频。至于Poolside的新Malibu和Point模型，都是关于代码生成的，类似于GitHub的Copilot。Stability AI的Stable Diffusion 3.5 Large是迄今为止业内推出的一流图像生成模型之一。
总而言之，客户将能够通过Amazon Bedrock Marketplace访问100多个主流的、新兴的和专业的模型。一旦用户选择了他们想要的模型，Amazon Bedrock还将为客户建议最合适的基础设施设置来训练这些模型并运行推理，同时提供他们可以遵循的简单步骤来启动和运行这些模型。
增强的提示工程
除了比以往更多的模型之外，Amazon Bedrock用户还可以使用缓存提示和智能提示路由等新技术，让开发人员更轻松地在准确性、成本和延迟之间取得适当的平衡。
新的“缓存提示”功能使客户能够通过减少重复处理来减少响应延迟和基础设施成本。据该AWS称，Bedrock可以安全地缓存用户输入的最常见提示来实现这一点，从而将成本降低高达90%，延迟降低85%。
例如，一个用于回答法律问题的生成式AI聊天应用，可以更快地响应它从用户那里收到的最常见提示。它会把响应这些请求而引用的数据缓存在内存中，因此它只处理一次，接下来每次收到类似提示时都会重复使用。AWS表示，这可以显著降低处理成本。
同时，新的“智能提示路由”功能旨在优化应用的成本和响应质量。开发人员可以配置Amazon Bedrock以自动把提示路由到预定选择范围内的不同基础模型，为每个请求或问题选择最合适的模型。AWS解释说，它会选择能够以最准确和最低成本提供所需响应的模型，从而把总体成本降低高达30%，但不会牺牲准确性。
扩展数据访问
此外，AWS正在扩展Amazon Bedrock Knowledge Bases的功能，为客户提供了一种将其模型连接到专有数据库的方法，以便使用检索增强生成（RAG）提高其准确性。
AWS表示，Amazon Bedrock Knowledge Bases将增加对结构化数据检索的支持，使AI模型能够查询存储在传统结构化查询语言数据库中的数据，这会大大扩展模型的知识，因为大多数生成式AI应用通常只使用非结构化数据，例如文本、图像、音频、视频等。
这还可以利用存储在多个数据存储中的结构化数据，包括新发布的SageMaker Lakehouse、Amazon S3数据湖、Amazon Redshift等，其工作原理就是把用户提示转换为SQL查询以检索必要的数据。
Amazon Bedrock Knowledge Bases的另一项新功能是支持GraphRAG ，这样就可以创建类似于“知识图谱”的东西，可以映射存储在不同位置的不同数据之间的关系，使这些数据更易于检索。
AWS表示，GraphRAG可以使用Amazon Neptune自动生成这些图表，Amazon Neptune是一个专门的、完全托管的图形数据库，无需任何专业知识。
目前宝马集团（BMW Group）已经这样做了，正在使用GraphRAG为其My AI Assistant应用提供支持，帮助员工和客户在庞大的、涵盖了数百个数据存储的内部数据资产中搜索问题答案。
更轻松的数据转换
最后，Bedrock将获得新的“数据自动化”功能，使非结构化多模式信息可以轻松地转换为结构化数据，从而可以更轻松地对其进行分析。
正如AWS所解释的那样，绝大多数企业数据都是非结构化的，包含在文档、视频和图像文件等内容中，分析这些信息并不容易，因为大多数分析工具只适用于结构化数据格式。
Amazon Bedrock Data Automation是一项新的功能，允许Bedrock从PDF文件等文档中快速提取非结构化信息，并将其转换为这些分析工具可以理解的格式。
这项功能应该非常有用。例如，大多数银行会把客户贷款的详细信息存储在PDF文件中，而这些文件很难通过分析获得洞察。传统上，转换这些文件一直是个艰苦的过程，需要手动规范客户姓名和出生日期等详细信息以确保一致性。
AWS表示，现在可以更快速、更有效地完成这项工作。客户只需设置预定义的默认值，例如基于数据模式的输出或视频剧照的逐个场景描述，然后将非结构化文件加载到现有的基于SQL的数据库或数据仓库中，之后就可以轻松分析这些文件了。
此外，得益于与改进后的知识库集成，Amazon Bedrock数据自动化还可用于解析RAG应用的内容，从而提高准确性和相关性，每个响应都会给出一个置信度分数，有助于降低AI幻觉的风险。
AWS人工智能和数据副总裁Swami Sivasubramanian表示，得益于广泛的模型和功能选择，Amazon Bedrock正在快速增长。“它正在帮助开发人员解决当前面临的最大障碍，这样客户就可以充分发挥生成式AI的潜力，”他说。
来源：至顶网