摘要：亚马逊网络服务（AWS）在年度AWS re:Invent大会上宣布扩大与英伟达的合作，已将NVIDIA NIM微服务扩展到关键AWS AI服务中，以支持生成式AI应用更快的AI推理和更低的延迟。

生成式人工智能正迅速改变各行各业，推动对安全、高性能推理解决方案的需求，以便高效且经济扩展日益复杂的模型。

亚马逊网络服务（AWS）在年度AWS re:Invent大会上宣布扩大与英伟达的合作，已将NVIDIA NIM微服务扩展到关键AWS AI服务中，以支持生成式AI应用更快的AI推理和更低的延迟。

NVIDIA NIM微服务现可直接从AWS Marketplace、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart获取，这使得开发者可以更轻松大规模部署针对常用模型的NVIDIA优化推理。

NVIDIA NIM是AWS Marketplace中提供的NVIDIA AI Enterprise软件平台的一部分，为开发者提供了一组易于使用的微服务，旨在跨云、数据中心和工作站安全、可靠部署高性能企业级 AI模型推理。

这些预构建的容器建立在强大的推理引擎上，例如NVIDIA Triton推理服务器、NVIDIA TensorRT、NVIDIA TensorRT-LLM和PyTorch，并支持广泛的AI模型——从开源社区模型到NVIDIA AI Foundation模型和自定义模型。

NIM微服务可部署在各种AWS服务中，包括Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）和Amazon SageMaker。

开发者可在NVIDIA API目录中预览由常用模型和模型系列构建的100多个NIM微服务，包括Meta Llama 3、Mistral AI Mistral和Mixtral、NVIDIA Nemotron、Stability AI SDXL等等。最常用的微服务可用于自托管以部署在AWS服务上，并且经过优化可在AWS上的 NVIDIA加速计算实例上运行。

来源：93913虚拟现实