已發(fā)布的 NeMo 微服務(wù)可與合作伙伴平臺(tái)集成，作為創(chuàng)建 AI 智能體的構(gòu)建模塊，使用商業(yè)智能與強(qiáng)大的邏輯推理模型 (包括 NVIDIA Llama Nemotron) 處理更多任務(wù)。

AI 智能體的準(zhǔn)確性、相關(guān)性和及時(shí)性由驅(qū)動(dòng)它的數(shù)據(jù)所決定。

NVIDIA NeMo微服務(wù)現(xiàn)已全面推出，可幫助企業(yè) IT 部門(mén)快速構(gòu)建 AI 團(tuán)隊(duì)，通過(guò)數(shù)據(jù)飛輪提高員工生產(chǎn)力。這些微服務(wù)提供了一個(gè)端到端的開(kāi)發(fā)者平臺(tái)，用于創(chuàng)建先進(jìn)的代理式 AI 系統(tǒng)，并根據(jù)推理和業(yè)務(wù)數(shù)據(jù)以及用戶(hù)偏好使用數(shù)據(jù)飛輪，以不斷優(yōu)化這些系統(tǒng)。

借助數(shù)據(jù)飛輪，企業(yè) IT 部門(mén)可以讓 AI 智能體作為數(shù)字成員加入。這些智能體可以利用用戶(hù)交互以及 AI 推理過(guò)程中生成的數(shù)據(jù)，不斷提升模型性能——將用例轉(zhuǎn)化為洞察，繼而將洞察轉(zhuǎn)化為行動(dòng)。

為代理式 AI 構(gòu)建強(qiáng)大的數(shù)據(jù)飛輪

如果沒(méi)有來(lái)自數(shù)據(jù)庫(kù)、用戶(hù)交互或現(xiàn)實(shí)世界信號(hào)的持續(xù)高質(zhì)量輸入，智能體的理解能力就會(huì)下降，導(dǎo)致其輸出不再可靠，并且降低智能體的效率。

要維護(hù)和優(yōu)化生產(chǎn)環(huán)境中驅(qū)動(dòng) AI 智能體的模型，需要三類(lèi)數(shù)據(jù)：用于獲取洞察并適應(yīng)數(shù)據(jù)模式演變的推理數(shù)據(jù)，提供智能的最新業(yè)務(wù)數(shù)據(jù)，以及驗(yàn)證模型與應(yīng)用表現(xiàn)是否符合預(yù)期的用戶(hù)反饋數(shù)據(jù)。而 NeMo 微服務(wù)能幫助開(kāi)發(fā)者有效利用這三類(lèi)數(shù)據(jù)。

NeMo 微服務(wù)通過(guò)端到端工具加快 AI 智能體的開(kāi)發(fā)。這些工具可用來(lái)策劃、定制、評(píng)估和保護(hù)驅(qū)動(dòng)智能體的模型。

NVIDIA NeMo 微服務(wù)（包括NeMo Customizer、NeMo Evaluator和NeMo Guardrails）可與NeMo Retriever和NeMo Curator一起使用，通過(guò)定制企業(yè)數(shù)據(jù)飛輪，簡(jiǎn)化企業(yè)構(gòu)建、優(yōu)化和擴(kuò)展 AI 智能體的體驗(yàn)。例如：

NeMo Customizer加速大語(yǔ)言模型微調(diào)，將訓(xùn)練吞吐量提升至高 1.8 倍。這一高性能、可擴(kuò)展的微服務(wù)采用主流的后訓(xùn)練技術(shù)，包括監(jiān)督微調(diào)和低秩自適應(yīng)。

NeMo Evaluator只需五次應(yīng)用程序接口 (API) 調(diào)用，即可簡(jiǎn)化自定義以及行業(yè)基準(zhǔn) AI 模型和工作流的評(píng)估。

NeMo Guardrails僅需額外半秒延遲，即可將合規(guī)性保護(hù)提高至多 1.4 倍，幫助組織實(shí)施符合組織政策和準(zhǔn)則的強(qiáng)效安全防護(hù)措施。

借助 NeMo 微服務(wù)，開(kāi)發(fā)者可以構(gòu)建數(shù)據(jù)飛輪，從而提升 AI 智能體的準(zhǔn)確性和效率。NeMo 微服務(wù)通過(guò)NVIDIA AI Enterprise軟件平臺(tái)部署，易于操作，并且可在任何加速計(jì)算的基礎(chǔ)設(shè)施（本地或云端）上運(yùn)行，提供企業(yè)級(jí)的安全性、穩(wěn)定性和支持。

隨著企業(yè)構(gòu)建大規(guī)模多智能體系統(tǒng)，微服務(wù)已愈發(fā)普及。在多智能體系統(tǒng)中，數(shù)百個(gè)具有不同目標(biāo)和工作流的專(zhuān)用智能體作為數(shù)字員工，協(xié)同處理復(fù)雜的任務(wù)，與員工并肩工作，實(shí)現(xiàn)跨職能的輔助工作并提升效率。

這種企業(yè)范圍的影響使 AI 智能體成為了一個(gè)價(jià)值萬(wàn)億美元的商機(jī)，其應(yīng)用涵蓋自動(dòng)欺詐檢測(cè)、購(gòu)物助手、預(yù)測(cè)性機(jī)器維護(hù)和文檔審查，同時(shí)也突顯了數(shù)據(jù)飛輪在將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為可操作見(jiàn)解方面的關(guān)鍵作用。

使用 NVIDIA NeMo 微服務(wù)構(gòu)建的數(shù)據(jù)飛輪不斷整理數(shù)據(jù)、重新訓(xùn)練模型并評(píng)估其性能，整個(gè)過(guò)程幾乎無(wú)需人工干預(yù)，實(shí)現(xiàn)了最大程度的自主性。

行業(yè)領(lǐng)導(dǎo)者通過(guò) NVIDIA NeMo 微服務(wù)

提升 AI 智能體的準(zhǔn)確性

NVIDIA 合作伙伴和行業(yè)領(lǐng)導(dǎo)者正在使用 NeMo 微服務(wù)構(gòu)建響應(yīng)式 AI 智能體平臺(tái)，以便數(shù)字團(tuán)隊(duì)成員能夠幫助完成更多工作。

AT&T 與 Arize 和 Quantiphi 合作，使用 NVIDIA NeMo 構(gòu)建了一個(gè)先進(jìn)的 AI 智能體，用于處理包含近 10,000 份文檔且每周更新的知識(shí)庫(kù)。這款可擴(kuò)展的高性能 AI 智能體針對(duì)三大關(guān)鍵業(yè)務(wù)重點(diǎn)進(jìn)行了微調(diào)：速度、成本效益和準(zhǔn)確性，隨著應(yīng)用規(guī)模的擴(kuò)大，其重要性與日俱增。

AT&T 使用 NeMo Customizer 和 Evaluator，通過(guò)微調(diào) Mistral 7B 模型，將 AI 智能體的準(zhǔn)確率提高了 40%，從而幫助提供個(gè)性化服務(wù)、防止欺詐并優(yōu)化網(wǎng)絡(luò)性能。

貝萊德 (BlackRock) 正在其 Aladdin 技術(shù)平臺(tái)中應(yīng)用 NeMo 微服務(wù)以實(shí)現(xiàn)代理式 AI 功能，該平臺(tái)通過(guò)通用數(shù)據(jù)語(yǔ)言統(tǒng)一投資管理流程。

思科 Outshift 團(tuán)隊(duì)與 Galileo 一起使用 NVIDIA NeMo 微服務(wù)為編碼助手提供支持，可將工具選擇錯(cuò)誤減少 40%，并將響應(yīng)時(shí)間加快 10 倍。

納斯達(dá)克正在基于 NeMo Retriever 微服務(wù)和NVIDIA NIM微服務(wù)加速納斯達(dá)克生成式 AI 平臺(tái)。NeMo Retriever 增強(qiáng)了該平臺(tái)的搜索功能，使準(zhǔn)確率和響應(yīng)時(shí)間提高了 30%，并節(jié)省了成本。

NVIDIA NeMo 微服務(wù)

獲廣泛模型和合作伙伴生態(tài)系統(tǒng)支持

NeMo 微服務(wù)支持眾多主流的開(kāi)放模型，包括 Llama、微軟 Phi 系列小語(yǔ)言模型、Google Gemma、Mistral 和NVIDIA Llama Nemotron Ultra，Llama Nemotron Ultra 是目前在科學(xué)推理、編碼和復(fù)雜數(shù)學(xué)基準(zhǔn)測(cè)試中領(lǐng)先的開(kāi)放模型。

Meta 已通過(guò)全新連接器 Meta Llamastack 接入 NVIDIA NeMo 微服務(wù)。用戶(hù)可以通過(guò) API 訪問(wèn)相同的功能，包括 NVIDIA Customizer、Evaluator 和 Guardrails，從而能夠在其環(huán)境中運(yùn)行全套智能體構(gòu)建工作流。

Meta GenAI 軟件工程師 Raghotham Murthy 表示：“通過(guò) Llamastack 集成，智能體構(gòu)建者可以應(yīng)用由 NeMo 微服務(wù)驅(qū)動(dòng)的數(shù)據(jù)飛輪，這使他們能夠持續(xù)優(yōu)化模型，從而提高準(zhǔn)確性、提升效率并降低總體擁有成本。”

Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate、Weights & Biases 等領(lǐng)先的 AI 軟件提供商已將 NeMo 微服務(wù)集成到其平臺(tái)中。開(kāi)發(fā)者可以在熱門(mén) AI 框架 (包括 CrewAI、deepset 開(kāi)發(fā)的 Haystack、LangChain、LlamaIndex 和 Llamastack) 中使用 NeMo 微服務(wù)。

企業(yè)可以使用 NVIDIA AI 數(shù)據(jù)平臺(tái)產(chǎn)品，通過(guò) NeMo Retriever 微服務(wù)構(gòu)建數(shù)據(jù)飛輪，這些產(chǎn)品來(lái)自企業(yè)級(jí) NVIDIA 認(rèn)證的存儲(chǔ)合作伙伴，包括 DDN、戴爾科技、慧與、Hitachi Vantara、IBM、NetApp、Nutanix、Pure Storage、VAST Data 和 WEKA。

領(lǐng)先的企業(yè)平臺(tái) (包括 Amdocs、Cadence、Cohesity、SAP、ServiceNow 和 Synopsys) 正在其 AI 智能體解決方案中使用 NeMo Retriever 微服務(wù)。

企業(yè)可以在 NVIDIA 加速的基礎(chǔ)架構(gòu)、網(wǎng)絡(luò)和來(lái)自領(lǐng)先系統(tǒng)提供商（包括思科，戴爾科技，慧與和聯(lián)想）的軟件上運(yùn)行 AI 智能體。

埃森哲、德勤、安永等咨詢(xún)類(lèi)領(lǐng)先企業(yè)正在通過(guò) NeMo 微服務(wù)為企業(yè)構(gòu)建 AI 智能體平臺(tái)。

開(kāi)發(fā)者可以從NVIDIA NGC目錄下載 NeMo 微服務(wù)。這些微服務(wù)可以作為 NVIDIA AI Enterprise 的一部分進(jìn)行部署，提供長(zhǎng)期穩(wěn)定的軟件分支，以實(shí)現(xiàn) API 的穩(wěn)定性、主動(dòng)安全修復(fù)和企業(yè)級(jí)支持。