人工智能機器學習（ ML ）和深度學習（ DL ）正在成為解決機器人、零售、醫(yī)療保健、工業(yè)等領域各種計算問題的有效工具。對低延遲、實時響應和隱私的需求使運行 AI 應用程序處于邊緣。

然而，在邊緣的應用程序和服務中部署 AI 模型對基礎設施和運營團隊來說可能是一項挑戰(zhàn)。不同的框架、端到端延遲要求以及缺乏標準化實施等因素可能會使 AI 部署具有挑戰(zhàn)性。在這篇文章中，我們將探討如何應對這些挑戰(zhàn)，并在邊緣生產(chǎn)中部署 AI 模型。

以下是部署推理模型的最常見挑戰(zhàn)：

多模型框架：數(shù)據(jù)科學家和研究人員使用不同的人工智能和深度學習框架，如 TensorFlow 、 PyTorch 、 TensorRT 、 ONNX 運行時或純 Python 來構建模型。這些框架中的每一個都需要一個執(zhí)行后端來在生產(chǎn)環(huán)境中運行模型。同時管理多個框架后端可能成本高昂，并導致可伸縮性和維護問題。

不同的推理查詢類型：邊緣推理服務需要處理多個同時查詢、不同類型的查詢，如實時在線預測、流式數(shù)據(jù)和多個模型的復雜管道。每一項都需要特殊的推理處理。

不斷發(fā)展的模型：在這個不斷變化的世界中，人工智能模型不斷地根據(jù)新數(shù)據(jù)和新算法進行重新訓練和更新。生產(chǎn)中的型號必須在不重新啟動設備的情況下持續(xù)更新。典型的 AI 應用程序使用許多不同的模型。它使問題的規(guī)模進一步擴大，以更新現(xiàn)場的模型。

NVIDIA Triton 推理服務器是一款開源推理服務軟件，通過解決這些復雜性簡化了推理服務。 NVIDIA Triton 提供了一個單一的標準化推理平臺，可支持在多框架模型和不同部署環(huán)境（如數(shù)據(jù)中心、云、嵌入式設備、，以及虛擬化環(huán)境。它通過高級批處理和調(diào)度算法支持不同類型的推理查詢，并支持實時模型更新。 NVIDIA Triton 還旨在通過并發(fā)模型執(zhí)行和動態(tài)批處理最大限度地提高硬件利用率，從而提高推理性能。

我們用 2021 年 8 月發(fā)布的 Jetson JetPack 4.6 將 Triton 推理服務器引入 Jetson 。有了 NVIDIA Triton ， AI 部署現(xiàn)在可以跨云、數(shù)據(jù)中心和邊緣標準化。

主要特征

以下是 NVIDIA Triton 的一些關鍵功能，它們可以幫助您簡化 Jetson 中的模型部署。

圖 1 Jetson Jetson 上的 Triton 推理服務器架構

嵌入式應用集成

客戶機應用程序和 Triton 推理服務器之間的通信支持直接 C-API 集成，但也支持 gRPC 和 HTTP / REST 。在 Jetson 上，當客戶端應用程序和推理服務都在同一設備上運行時，客戶端應用程序可以直接調(diào)用 Triton 推理服務器 API ，而通信開銷為零。 NVIDIA Triton 是一個帶有 C API 的共享庫，可使完整功能直接包含在應用程序中。這最適合基于 Jetson 的嵌入式應用程序。

多框架支持

NVIDIA Triton 在本機集成了流行的框架后端，如 TensorFlow 1 。 x / 2 。 x 、 ONNX 運行時 TensorRT ，甚至自定義后端。這允許開發(fā)人員直接在 Jetson 上運行他們的模型，而無需經(jīng)過轉換過程。 NVIDIA Triton 還支持添加自定義后端的靈活性。開發(fā)人員有自己的選擇，基礎設施團隊使用單個推理引擎優(yōu)化部署。

DLA 支持

Jetson 上的 Triton 推理服務器可以在 GPU 和 DLA 上運行模型。 DLA 是 Jetson Xavier NX 和 Jetson AGX Xavier 上提供的深度學習加速器。

并發(fā)模型執(zhí)行

Triton 推理服務器通過在 Jetson 上同時運行多個模型，最大限度地提高性能并減少端到端延遲。這些模型可以是所有相同的模型，也可以是來自不同框架的不同模型。 GPU 內(nèi)存大小是對可同時運行的型號數(shù)量的唯一限制。

動態(tài)配料

批處理是一種提高推理吞吐量的技術。批處理推理請求有兩種方法：客戶端批處理和服務器批處理。 NVIDIA Triton 通過將單個推理請求組合在一起來實現(xiàn)服務器批處理，以提高推理吞吐量。它是動態(tài)的，因為它構建一個批處理，直到達到一個可配置的延遲閾值。當達到閾值時， NVIDIA Triton 安排當前批執(zhí)行。調(diào)度和批處理決策對請求推斷的客戶機是透明的，并且根據(jù)模型進行配置。通過動態(tài)批處理， NVIDIA Triton 在滿足嚴格延遲要求的同時最大限度地提高吞吐量。

動態(tài)批處理的一個例子是，應用程序同時運行檢測和分類模型，其中分類模型的輸入是從檢測模型檢測到的對象。在這種情況下，由于可以對任意數(shù)量的檢測進行分類，因此動態(tài)批處理可以確?？梢詣討B(tài)創(chuàng)建檢測對象的批，并且可以將分類作為批處理請求運行，從而減少總體延遲并提高應用程序的性能。

模型組合

模型集成功能用于創(chuàng)建不同模型和預處理或后處理操作的管道，以處理各種工作負載。 NVIDIA Triton 集成允許用戶將多個模型和預處理或后處理操作縫合到一個具有連接輸入和輸出的管道中。 NVIDIA Triton 只需從客戶端應用程序向集成發(fā)出一個推斷請求，即可輕松管理整個管道的執(zhí)行。例如，嘗試對車輛進行分類的應用程序可以使用 NVIDIA Triton 模型集成來運行車輛檢測模型，然后在檢測到的車輛上運行車輛分類模型。

定制后端

除了流行的 AI 后端， NVIDIA Triton 還支持執(zhí)行定制的 C ++后端。這些工具對于創(chuàng)建特殊的邏輯非常有用，比如預處理和后處理，甚至是常規(guī)模型。

動態(tài)模型加載

NVIDIA Triton 有一個模型控制 API ，可用于動態(tài)加載和卸載模型。這使設備能夠在應用程序需要時使用這些型號。此外，當模型使用新數(shù)據(jù)重新訓練時，它可以無縫地重新部署在 NVIDIA Triton 上，而不會重新啟動任何應用程序或中斷服務，從而允許實時模型更新。

結論

Triton 推理服務器作為 Jetson 的共享庫發(fā)布。 NVIDIA Triton 每月發(fā)布一次，增加了新功能并支持最新的框架后端。有關更多信息，請參閱 Triton 推理服務器對 Jetson 和 JetPack 的支持。

NVIDIA Triton 有助于在每個數(shù)據(jù)中心、云和嵌入式設備中實現(xiàn)標準化的可擴展生產(chǎn) AI 。它支持多個框架，在 GPU 和 DLA 等多個計算引擎上運行模型，處理不同類型的推理查詢。通過與 NVIDIA JetPack 的集成， NVIDIA Triton 可用于嵌入式應用。

關于作者

Shankar Chandrasekaran 是 NVIDIA 數(shù)據(jù)中心 GPU 團隊的高級產(chǎn)品營銷經(jīng)理。他負責 GPU 軟件基礎架構營銷，以幫助 IT 和 DevOps 輕松采用 GPU 并將其無縫集成到其基礎架構中。在 NVIDIA 之前，他曾在小型和大型科技公司擔任工程、運營和營銷職位。他擁有商業(yè)和工程學位。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團隊合作，為 NVIDIA 驅(qū)動平臺優(yōu)化系統(tǒng)軟件。Mahan Salehi 是 NVIDIA 的深度學習軟件產(chǎn)品經(jīng)理，專注于 Triton 推理服務器。在 NVIDIA 之前，他是一家人工智能初創(chuàng)公司的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，此前也曾在醫(yī)療器械行業(yè)工作。他擁有多倫多大學的工程學學位。

審核編輯：郭婷