（文/程文智）不久前，AI性能基準評測平臺MLPerf公布了2022年首次推理（Inference v2.0）測試成績，NVIDIA的AI平臺表現(xiàn)依然搶眼。

據(jù)MLPerf官方介紹，它是由來自學術界、研究實驗室和相關行業(yè)的 AI 領導者組成的聯(lián)盟，旨在“構建公平和有用的基準測試”，在規(guī)定的條件下，針對硬件、軟件和服務的訓練和推理性能提供公平的評估。每年組織AI推理和AI訓練測試各兩次，以對迅速增長的AI計算需求與性能進行及時的跟蹤測評。MLPerf比賽通常分為固定任務(Closed)和開放優(yōu)化(Open)兩類任務，開放優(yōu)化能力著重考察參測廠商的AI技術創(chuàng)新力，固定任務則因更公平地考察參測廠商的硬件系統(tǒng)和軟件優(yōu)化的能力，成為更具參考價值的AI性能基準測試。因此，目前MLPerf被看作是AI領域的風向標，誰能夠在這個測試中取得更多的領先，誰的AI能力就越突出。

在最新一期的榜單中，浪潮、NVIDIA、英特爾、高通、阿里巴巴、戴爾、Deci.ai、Azure、富士通、技嘉、聯(lián)想、寧暢、美超微、華碩、浙江實驗室、及新華三等廠商參與了競賽。評測以最新MLPerf Inference V2.0為基準，涵蓋了圖像分類、目標檢測、醫(yī)療圖像分割、自然語言處理、語音轉文字和推薦系統(tǒng)6類AI應用場景，分為數(shù)據(jù)中心和邊緣兩類處理場景，每類場景都包含固定任務(Closed)和開放優(yōu)化(Open)兩類性能競賽。其中，在最新的V2.0規(guī)范中，在邊緣運算環(huán)境導入多資料流（Multi Stream）測試項目，測量邊緣運算設備在多攝影機、多傳感器場景的性能表現(xiàn)，以得到更貼近真實使用情況的數(shù)據(jù)。

據(jù)統(tǒng)計，本輪測試一共展示了超過3900 次性能測試和 2200 次功耗測試，分別是上一輪的2倍和6倍。根據(jù)公開的數(shù)據(jù)顯示，本次測試中除了戴爾科技、富士通、技嘉、浪潮、聯(lián)想、寧暢和美超微等外，華碩和新華三本次測試中首次使用了NVIDIA AI平臺提交MLPerf結果。

Jetson AGX Orin提升邊緣AI性能，取得不俗成績

值得一提的是基于NVIDIA Ampere架構的低功耗系統(tǒng)級芯片NVIDIA Orin首次參加MLPerf基準測試，就取得了不俗的成績。在邊緣AI領域，NVIDIA Orin預生產(chǎn)版本在六項性能測試中的五項處于領先地位，其運行速度比上一代Jetson AGX Xavier快了5倍，能效平均提高了2倍。

根據(jù)NVIDIA官網(wǎng)的介紹，Jetson AGX Orin 系列有32GB和64GB兩個版本，該系列具有高達275TOPS的AI性能，由 Ampere GPU和深度學習加速器 (DLA) 提供支持。CPU配備了多達12個Arm Cortex A78AE內核。

Orin配備了其第三代Tensor Cores，可提高性能并支持稀疏矩陣。基于NVIDIA為 Xavier 所做的多處理器構建，它不僅具有 GPU 和CPU，還具有其他處理器，可以幫助從GPU和CPU卸載應用程序的某些部分。它包括一個專用于 AI 應用的深度學習加速器、一個用于計算機視覺應用和ISP的視覺加速器，以及一個視頻解碼和視頻編碼引擎。與 Xavier 相比，NVIDIA還為 Orin 帶來了 LPDDR5 以提高帶寬，傳輸速度可達204.8GB/s。 Orin 還具備豐富的IO連接，比如其具有多達22個PCIe4.0通道、4個千兆以太網(wǎng)、16個MIPI CSI通道，以及各種其他傳感器接口等。

根據(jù)測試，Jetson AGX Orin提供了8倍于Jetson AGX Xavier的性能，Jetson AGX Orin是能夠運行所有六項MLPerf基準測試的邊緣加速器。憑借JetPack SDK，Orin可以運行整個NVIDIA AI平臺，這個軟件堆棧已經(jīng)在數(shù)據(jù)中心和云端得到了驗證，并且獲得了NVIDIA Jetson平臺100萬名開發(fā)者的支持。

在應用方面，目前，Orin主要關注三大領域，分別為：工業(yè)、自動駕駛和醫(yī)療。Orin現(xiàn)已加入到用于機器人和自動化系統(tǒng)的NVIDIA Jetson AGX Orin開發(fā)者套件。包括亞馬遜網(wǎng)絡服務、約翰迪爾、小松、美敦力和微軟Azure在內的6000多家客戶使用NVIDIA Jetson平臺進行AI推理或其他任務。

Orin也是NVIDIA Hyperion自動駕駛汽車平臺的關鍵組成部分。據(jù)NVIDIA介紹，Orin可處理在自動駕駛汽車和機器人中同時運行的大量應用和深度神經(jīng)網(wǎng)絡，并且達到了ISO 26262 ASIL-D 等系統(tǒng)安全標準。而且，比亞迪近期已經(jīng)宣布，他們將在其新一代自動駕駛電動汽車中使用內置Orin的DRIVE Hyperion架構。

Orin同樣也是NVIDIA Clara Holoscan醫(yī)療設備平臺的關鍵組成部分，且該平臺可供系統(tǒng)制造商和研究人員用來開發(fā)新一代AI儀器。

NVIDIA其他AI成果

除了Orin之外，本輪MLPerf，驗證了NVIDIA的多項成果，包括多實例GPU(MIG)、TensorRT等。比如MIG可提升每個 NVIDIA A100 Tensor 核心 GPU 的性能和價值。MIG可將 A100 GPU 劃分為多達七個實例，每個實例均與各自的高帶寬顯存、緩存和計算核心完全隔離。管理員可以支持從大到小的各項工作負載，為每項工作提供規(guī)模適當?shù)?GPU，而且服務質量 (QoS) 穩(wěn)定可靠，從而優(yōu)化利用率，讓每位用戶都能享用加速計算資源。

而根據(jù)實際測試結果，在使用7個實例時的性能為僅用一個實例的98%，這也意味著MIG可以充分利用GPU，避免了算力的浪費。

軟件是性能提升的關鍵驅動因素，NVIDIA在AI推理方面的軟件包括了用于優(yōu)化 AI 模型的 NVIDIA TensorRT 和用于有效部署它們的 NVIDIA Triton開源推理服務軟件。NVIDIA AI 推理和云高級產(chǎn)品經(jīng)理David Salvator在媒體發(fā)布會上介紹了NVIDIA的Triton開源推理服務軟件。

目前TensorRT廣泛的優(yōu)化GPU內核庫已支持Jetson Orin，MLPerf中使用的插件已全部移植到Orin并添加到 TensorRT 8.4。Triton則Kubernetes緊密集成，可以管理GPU以及x86和Arm CPU上的AI推理工作，NVIDIA宣布，Triton現(xiàn)在可以只在CPU上運行，而無需GPU。

而也正是因為NVIDIA的跨平臺管理能力，使A100在Arm和x86-64平臺上的性能幾乎相同。并且，通過NVIDIA的軟件優(yōu)化，AI性能在過去一年中就增長了高達50%。

結語

這幾年，NVIDIA在AI領域一路狂奔，不僅僅在數(shù)據(jù)中心方面優(yōu)勢明顯，在汽車、邊緣計算方面也正推出優(yōu)勢產(chǎn)品，另外在他們還在準備推出工業(yè)級的AI產(chǎn)品，進入傳統(tǒng)工業(yè)領域。AI正在不斷滲透到人們生活的各個方面。