經(jīng)過(guò)優(yōu)化的 NIM 微服務(wù)現(xiàn)可在 Amazon Bedrock Marketplace、SageMaker JumpStart 和 AWS Marketplace 上獲取，用于各種 NVIDIA 和生態(tài)系統(tǒng)模型。

生成式 AI 正在迅速改變各行各業(yè)，同時(shí)推動(dòng)了對(duì)安全、高性能推理解決方案的需求，以便高效且經(jīng)濟(jì)地?cái)U(kuò)展日益復(fù)雜的模型。

在本屆亞馬遜云科技 re:Invent 大會(huì)上，亞馬遜云科技(AWS)宣布其正在擴(kuò)大與 NVIDIA 的合作范圍，現(xiàn)已將 NVIDIA NIM 微服務(wù)擴(kuò)展到各項(xiàng)關(guān)鍵的亞馬遜云科技 AI 服務(wù)中，從而幫助生成式 AI 應(yīng)用提高 AI 推理速度并降低延遲。

NVIDIA NIM微服務(wù)現(xiàn)在可直接通過(guò) AWS Marketplace、Amazon Bedrock Marketplace 以及 Amazon SageMaker JumpStart 獲取，讓開(kāi)發(fā)者能夠更加輕松地為常用模型大規(guī)模部署經(jīng)過(guò) NVIDIA 優(yōu)化的推理。

NVIDIA NIM 是NVIDIA AI Enterprise軟件平臺(tái)的一部分，可在 AWS Marketplace 獲取。它為開(kāi)發(fā)者提供的一套易于使用的微服務(wù)，專為在各種云、數(shù)據(jù)中心和工作站安全、可靠地部署高性能、企業(yè)級(jí) AI 模型推理而設(shè)計(jì)。

這些預(yù)構(gòu)建的容器基于強(qiáng)大的推理引擎(例如NVIDIA Triton 推理服務(wù)器、NVIDIA TensorRT、NVIDIA TensorRT-LLM和 PyTorch)構(gòu)建而成，支持從開(kāi)源社區(qū)模型到NVIDIA AI Foundation模型與定制模型等各種 AI 模型。

NIM 微服務(wù)可部署到各種亞馬遜云科技服務(wù)中，包括 Amazon Elastic Compute Cloud(EC2)、Amazon Elastic Kubernetes Service(EKS)和 Amazon SageMaker。

開(kāi)發(fā)者可以在 NVIDIA API 目錄中預(yù)覽常用模型和系列模型構(gòu)建的 100 多項(xiàng) NIM 微服務(wù)，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 和 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等等。其中最常用的微服務(wù)可以自托管的形式部署于亞馬遜云科技服務(wù)中，并且針對(duì)在亞馬遜云科技中的 NVIDIA 加速計(jì)算實(shí)例運(yùn)行進(jìn)行了優(yōu)化。

目前可直接從亞馬遜云科技獲取的 NIM 微服務(wù)包括：

NVIDIA Nemotron-4：可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 中獲取。這是一款先進(jìn)的 LLM ，其專為生成與現(xiàn)實(shí)世界數(shù)據(jù)高度相似的各種合成數(shù)據(jù)而設(shè)計(jì)，從而提高各領(lǐng)域定制 LLM 的性能和穩(wěn)健性。

Llama 3.1 8B-Instruct：可在 AWS Marketplace 中獲取。這個(gè) 80 億參數(shù)的多語(yǔ)種大語(yǔ)言模型經(jīng)過(guò)預(yù)訓(xùn)練和指令調(diào)整，適用于語(yǔ)言理解、推理和文本生成用例。

Llama 3.1 70B-Instruct：可在 AWS Marketplace 中獲取。這個(gè)經(jīng)過(guò)指令調(diào)整的 700 億參數(shù)預(yù)訓(xùn)練模型針對(duì)多語(yǔ)種對(duì)話進(jìn)行了優(yōu)化。

Mixtral 8x7B Instruct v0.1：可在 AWS Marketplace 中獲取。這個(gè)具有開(kāi)放權(quán)重的高質(zhì)量稀疏混合專家模型可以遵循指令、完成請(qǐng)求并生成創(chuàng)意文本格式。

亞馬遜云科技上的 NIM 適用于所有人

各行各業(yè)的客戶和合作伙伴都在通過(guò)亞馬遜云科技上的 NIM 來(lái)更快地進(jìn)入市場(chǎng)、維護(hù)其生成式 AI 應(yīng)用和數(shù)據(jù)的安全性與可控性，并降低成本。

IT 咨詢和數(shù)字服務(wù)提供商 SoftServe 開(kāi)發(fā)了 6 款生成式 AI 解決方案，完全部署在亞馬遜云科技上，并通過(guò) NVIDIA NIM 和亞馬遜云科技服務(wù)加速。這 6 款解決方案在 AWS Marketplace 中提供，分別為 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。

這些解決方案均基于NVIDIA AI Blueprint。NVIDIA AI Blueprint 是加速 AI 應(yīng)用開(kāi)發(fā)和部署的綜合參考工作流，并具有 NVIDIA 加速程序庫(kù)、軟件開(kāi)發(fā)套件和 NIM 微服務(wù)，適用于 AI 智能體、數(shù)字孿生等。

即刻使用亞馬遜云科技上的 NIM

開(kāi)發(fā)者可以根據(jù)自己的需求和要求在亞馬遜云科技上部署 NVIDIA NIM 微服務(wù)。這樣一來(lái)，開(kāi)發(fā)者和企業(yè)就可以在各種亞馬遜云科技服務(wù)中使用經(jīng)過(guò) NVIDIA 優(yōu)化的推理容器，以實(shí)現(xiàn)高性能 AI。

訪問(wèn) NVIDIA API 目錄，查看 100 多種經(jīng)過(guò) NIM 優(yōu)化的模型，并申請(qǐng)開(kāi)發(fā)者許可證或 NVIDIA AI Enterprise 90 天試用許可證，就可以開(kāi)始在亞馬遜云科技服務(wù)上部署 NVIDIA 微服務(wù)。開(kāi)發(fā)者還可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 中探索 NIM 微服務(wù)。