經(jīng)過優(yōu)化的 NIM 微服務(wù)現(xiàn)可在 Amazon Bedrock Marketplace、SageMaker JumpStart 和 AWS Marketplace 上獲取，用于各種 NVIDIA 和生態(tài)系統(tǒng)模型。

生成式 AI 正在迅速改變各行各業(yè)，同時(shí)推動(dòng)了對(duì)安全、高性能推理解決方案的需求，以便高效且經(jīng)濟(jì)地?cái)U(kuò)展日益復(fù)雜的模型。

在本屆亞馬遜云科技 re:Invent 大會(huì)上，亞馬遜云科技(AWS)宣布其正在擴(kuò)大與 NVIDIA 的合作范圍，現(xiàn)已將 NVIDIA NIM 微服務(wù)擴(kuò)展到各項(xiàng)關(guān)鍵的亞馬遜云科技 AI 服務(wù)中，從而幫助生成式 AI 應(yīng)用提高 AI 推理速度并降低延遲。

NVIDIA NIM微服務(wù)現(xiàn)在可直接通過 AWS Marketplace、Amazon Bedrock Marketplace 以及 Amazon SageMaker JumpStart 獲取，讓開發(fā)者能夠更加輕松地為常用模型大規(guī)模部署經(jīng)過 NVIDIA 優(yōu)化的推理。

NVIDIA NIM 是NVIDIA AI Enterprise軟件平臺(tái)的一部分，可在 AWS Marketplace 獲取。它為開發(fā)者提供的一套易于使用的微服務(wù)，專為在各種云、數(shù)據(jù)中心和工作站安全、可靠地部署高性能、企業(yè)級(jí) AI 模型推理而設(shè)計(jì)。

這些預(yù)構(gòu)建的容器基于強(qiáng)大的推理引擎(例如NVIDIA Triton 推理服務(wù)器、NVIDIA TensorRT、NVIDIA TensorRT-LLM和 PyTorch)構(gòu)建而成，支持從開源社區(qū)模型到NVIDIA AI Foundation模型與定制模型等各種 AI 模型。

NIM 微服務(wù)可部署到各種亞馬遜云科技服務(wù)中，包括 Amazon Elastic Compute Cloud(EC2)、Amazon Elastic Kubernetes Service(EKS)和 Amazon SageMaker。

開發(fā)者可以在 NVIDIA API 目錄中預(yù)覽常用模型和系列模型構(gòu)建的 100 多項(xiàng) NIM 微服務(wù)，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 和 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等等。其中最常用的微服務(wù)可以自托管的形式部署于亞馬遜云科技服務(wù)中，并且針對(duì)在亞馬遜云科技中的 NVIDIA 加速計(jì)算實(shí)例運(yùn)行進(jìn)行了優(yōu)化。

目前可直接從亞馬遜云科技獲取的 NIM 微服務(wù)包括：

NVIDIA Nemotron-4：可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 中獲取。這是一款先進(jìn)的 LLM ，其專為生成與現(xiàn)實(shí)世界數(shù)據(jù)高度相似的各種合成數(shù)據(jù)而設(shè)計(jì)，從而提高各領(lǐng)域定制 LLM 的性能和穩(wěn)健性。

Llama 3.1 8B-Instruct：可在 AWS Marketplace 中獲取。這個(gè) 80 億參數(shù)的多語種大語言模型經(jīng)過預(yù)訓(xùn)練和指令調(diào)整，適用于語言理解、推理和文本生成用例。

Llama 3.1 70B-Instruct：可在 AWS Marketplace 中獲取。這個(gè)經(jīng)過指令調(diào)整的 700 億參數(shù)預(yù)訓(xùn)練模型針對(duì)多語種對(duì)話進(jìn)行了優(yōu)化。

Mixtral 8x7B Instruct v0.1：可在 AWS Marketplace 中獲取。這個(gè)具有開放權(quán)重的高質(zhì)量稀疏混合專家模型可以遵循指令、完成請(qǐng)求并生成創(chuàng)意文本格式。

亞馬遜云科技上的 NIM 適用于所有人

各行各業(yè)的客戶和合作伙伴都在通過亞馬遜云科技上的 NIM 來更快地進(jìn)入市場(chǎng)、維護(hù)其生成式 AI 應(yīng)用和數(shù)據(jù)的安全性與可控性，并降低成本。

IT 咨詢和數(shù)字服務(wù)提供商 SoftServe 開發(fā)了 6 款生成式 AI 解決方案，完全部署在亞馬遜云科技上，并通過 NVIDIA NIM 和亞馬遜云科技服務(wù)加速。這 6 款解決方案在 AWS Marketplace 中提供，分別為 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。

這些解決方案均基于NVIDIA AI Blueprint。NVIDIA AI Blueprint 是加速 AI 應(yīng)用開發(fā)和部署的綜合參考工作流，并具有 NVIDIA 加速程序庫、軟件開發(fā)套件和 NIM 微服務(wù)，適用于 AI 智能體、數(shù)字孿生等。

即刻使用亞馬遜云科技上的 NIM

開發(fā)者可以根據(jù)自己的需求和要求在亞馬遜云科技上部署 NVIDIA NIM 微服務(wù)。這樣一來，開發(fā)者和企業(yè)就可以在各種亞馬遜云科技服務(wù)中使用經(jīng)過 NVIDIA 優(yōu)化的推理容器，以實(shí)現(xiàn)高性能 AI。

訪問 NVIDIA API 目錄，查看 100 多種經(jīng)過 NIM 優(yōu)化的模型，并申請(qǐng)開發(fā)者許可證或 NVIDIA AI Enterprise 90 天試用許可證，就可以開始在亞馬遜云科技服務(wù)上部署 NVIDIA 微服務(wù)。開發(fā)者還可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 中探索 NIM 微服務(wù)。