GPU 加速計(jì)算在云計(jì)算、企業(yè)計(jì)算和邊緣計(jì)算領(lǐng)域的日益普及，越來越依賴于強(qiáng)健而強(qiáng)大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。 NVIDIA ConnectX SmartNICs 和 NVIDIA BlueField DPU 提供了高吞吐量、低延遲的連接，使 GPU 資源能夠跨節(jié)點(diǎn)群擴(kuò)展。為了滿足對(duì)云本地 AI 工作負(fù)載的需求， NVIDIA 提供了 GPU 運(yùn)營商，旨在簡(jiǎn)化 Kubernetes 上的橫向擴(kuò)展 GPU 部署和管理。

今天， NVIDIA 宣布了 NVIDIA 網(wǎng)絡(luò)運(yùn)營商的 1.0 版本。作為 NVIDIA GPU 運(yùn)算符 的一個(gè)模擬，網(wǎng)絡(luò)運(yùn)營商通過自動(dòng)化網(wǎng)絡(luò)部署和配置的各個(gè)方面簡(jiǎn)化了 Kubernetes 的擴(kuò)展網(wǎng)絡(luò)設(shè)計(jì)，否則就需要手工操作。它在具有 NVIDIA 網(wǎng)絡(luò)接口的任何集群節(jié)點(diǎn)上加載所需的驅(qū)動(dòng)程序、庫、設(shè)備插件和 CNI 。

與 GPU 運(yùn)營商配合，網(wǎng)絡(luò)運(yùn)營商啟用了 GPU 直接 RDMA ，這是一項(xiàng)關(guān)鍵技術(shù)，可將云本地 AI 工作負(fù)載加速幾個(gè)數(shù)量級(jí)。該技術(shù)在 NVIDIA GPU 之間提供了高效的零拷貝數(shù)據(jù)傳輸，同時(shí)利用了 SmartNICs 和 DPU 中的硬件引擎。圖 1 顯示了兩個(gè) GPU 節(jié)點(diǎn)之間的 GPU 直接 RDMA 技術(shù)。節(jié)點(diǎn) 1 上的 GPU 通過網(wǎng)絡(luò)直接與節(jié)點(diǎn) 2 上的 GPU 通信，繞過 CPU 設(shè)備。

圖 1 。 GPU 兩個(gè) GPU 節(jié)點(diǎn)之間的直接 RDMA 技術(shù)

NGC 網(wǎng)絡(luò)運(yùn)營商現(xiàn)在可在 NGC 和 NVIDIA 上使用 Kubernetes 自定義資源 （ CRD ）和 操作員框架 來提供實(shí)現(xiàn)加速聯(lián)網(wǎng)所需的主機(jī)軟件。這篇文章討論了網(wǎng)絡(luò)運(yùn)營商內(nèi)部的內(nèi)容，包括它的特性和功能。

易于部署和操作的 Kubernetes 網(wǎng)絡(luò)

網(wǎng)絡(luò)運(yùn)營商致力于使 Kubernetes 網(wǎng)絡(luò)變得簡(jiǎn)單和輕松。它是 Apache2 。 0 許可下的一個(gè)開源軟件項(xiàng)目。 1.0 版本針對(duì)運(yùn)行在裸機(jī)服務(wù)器基礎(chǔ)設(shè)施和 Linux 虛擬化環(huán)境中的 Kubernetes 進(jìn)行了驗(yàn)證。以下是 1.0 版的主要功能：

在裸機(jī) Kubernetes 環(huán)境中自動(dòng)部署主機(jī)軟件組件，以實(shí)現(xiàn)以下功能：

macvlan 輔助網(wǎng)絡(luò)

SR-IOV 二次網(wǎng)絡(luò)（分配給 pod 的 VF ）

主機(jī)設(shè)備輔助網(wǎng)絡(luò)（分配給 pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運(yùn)算符）

在嵌套的 Kubernetes 環(huán)境（在 Linux VMs 中運(yùn)行的 Kubernetes Pods ）中自動(dòng)部署主機(jī)軟件組件，以創(chuàng)建以下內(nèi)容：

SR-IOV 二級(jí)網(wǎng)絡(luò)（分配給 VM 的 VF 的#個(gè)，并通過不同的 POD ）

主機(jī)設(shè)備輔助網(wǎng)絡(luò)（分配給 Pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運(yùn)算符）

平臺(tái)支持：

Kubernetes v1 。 17 或更高版本

容器運(yùn)行時(shí)： Containerd

裸機(jī)主機(jī)操作系統(tǒng)/ Linux 來賓操作系統(tǒng)： Ubuntu 20 。 04

Linux KVM 虛擬化

舵圖安裝

雖然啟用了 GPU 的節(jié)點(diǎn)是一個(gè)主要用例，但是網(wǎng)絡(luò)運(yùn)營商對(duì)于啟用獨(dú)立于 NVIDIA GPU 的加速 Kubernetes 網(wǎng)絡(luò)環(huán)境也很有用。一些示例包括設(shè)置 SR-IOV 網(wǎng)絡(luò)和 DPDK 以加速電信 NFV 應(yīng)用程序、建立 RDMA 連接以快速訪問 NVMe 存儲(chǔ)等等。

NVIDIA 網(wǎng)絡(luò)運(yùn)營商內(nèi)部

網(wǎng)絡(luò)運(yùn)營商被設(shè)計(jì)成一個(gè) Kubernetes 運(yùn)營商，它利用多個(gè)定制資源為一個(gè)節(jié)點(diǎn)添加加速的網(wǎng)絡(luò)功能。 1 。 0 版本支持多種網(wǎng)絡(luò)模型，可適應(yīng)各種 Kubernetes 網(wǎng)絡(luò)環(huán)境和不同的應(yīng)用程序需求。如今，網(wǎng)絡(luò)運(yùn)營商只為二級(jí)網(wǎng)絡(luò)配置 RoCE 。這意味著主吊艙網(wǎng)絡(luò)保持不變。將來的工作可能會(huì)允許為主網(wǎng)絡(luò)配置 RoCE 。

以下各節(jié)介紹網(wǎng)絡(luò)運(yùn)營商打包和使用的不同組件。

節(jié)點(diǎn)功能發(fā)現(xiàn)

節(jié)點(diǎn)功能發(fā)現(xiàn) （ NFD ）是一個(gè) Kubernetes 插件，用于檢測(cè)硬件特性和系統(tǒng)配置。網(wǎng)絡(luò)運(yùn)營商使用 NFD 來檢測(cè)安裝了 NVIDIA SmartNICs 和 GPU 的節(jié)點(diǎn)，并將它們標(biāo)記為這樣的節(jié)點(diǎn)?；谶@些標(biāo)簽，網(wǎng)絡(luò)運(yùn)營商安排適當(dāng)?shù)能浖Y源。

CNI 木耳

Multus CNI 是 Kubernetes 的容器網(wǎng)絡(luò)接口（ CNI ）插件，支持將多個(gè)網(wǎng)絡(luò)接口連接到 pod 。通常在庫伯內(nèi)特斯，每個(gè)吊艙只有一個(gè)網(wǎng)絡(luò)接口。使用 Multus ，您可以創(chuàng)建具有多個(gè)接口的多宿主 Pod 。 Multus 充當(dāng)一個(gè) meta-plugin ，一個(gè)可以調(diào)用多個(gè)其他 CNI 插件的 CNI 插件。 NVIDIA 網(wǎng)絡(luò)運(yùn)營商安裝 Multus ，將用于高速 GPU – GPU 通信的二級(jí)網(wǎng)絡(luò)添加到集裝箱吊艙中。

NVIDIA OFED 驅(qū)動(dòng)器

NVIDIA OpenFabrics 企業(yè)分銷（ OFED ） 網(wǎng)絡(luò)庫和驅(qū)動(dòng)程序由 節(jié)點(diǎn)標(biāo)簽 網(wǎng)絡(luò)團(tuán)隊(duì)打包和測(cè)試。 NVIDIA OFED 通過 Infiniband 和以太網(wǎng)互連支持 遠(yuǎn)程直接內(nèi)存訪問 （ RDMA ）。網(wǎng)絡(luò)運(yùn)營商使用 NVIDIA 將預(yù)編譯的 NVIDIA OFED 驅(qū)動(dòng)程序容器部署到每個(gè) Kubernetes 主機(jī)上。容器在啟動(dòng)或停止時(shí)加載和卸載 NVIDIA OFED 驅(qū)動(dòng)程序。

NVIDIA 對(duì)等內(nèi)存驅(qū)動(dòng)程序

NVIDIA 對(duì)等內(nèi)存驅(qū)動(dòng)程序 是一個(gè)客戶端，它與網(wǎng)絡(luò)驅(qū)動(dòng)程序交互，以在 GPU 和主機(jī)內(nèi)存之間提供 RDMA 。網(wǎng)絡(luò)運(yùn)營商在同時(shí)具有 ConnectX 適配器和 NVIDIA GPU 的節(jié)點(diǎn)上安裝 NVIDIA 對(duì)等內(nèi)存驅(qū)動(dòng)程序。當(dāng)容器啟動(dòng)和停止時(shí)，此驅(qū)動(dòng)程序也會(huì)自動(dòng)加載和卸載。

RDMA 共享設(shè)備插件

Kubernetes 設(shè)備插件框架 向 Kubernetes 節(jié)點(diǎn)上運(yùn)行的 Kubelet 代理播發(fā)系統(tǒng)硬件資源。網(wǎng)絡(luò)運(yùn)營商部署 RDMA 共享設(shè)備插件 向 Kubelet 播發(fā) RDMA 資源，并向節(jié)點(diǎn)上運(yùn)行的 pod 公開 RDMA 設(shè)備。它允許吊艙執(zhí)行 RDMA 操作。節(jié)點(diǎn)上運(yùn)行的所有 pod 共享對(duì)相同 RDMA 設(shè)備文件的訪問。

容器網(wǎng)絡(luò) CNI 插件

Macvlan CNI 公司 和 主機(jī)設(shè)備 CNI 是在 CNI 項(xiàng)目下托管的通用容器網(wǎng)絡(luò)插件。 macvlan CNI 創(chuàng)建一個(gè)新的 MAC 地址，并將所有通信轉(zhuǎn)發(fā)到容器。主機(jī)設(shè)備 CNI 將已經(jīng)存在的設(shè)備移動(dòng)到容器中。網(wǎng)絡(luò)運(yùn)營商使用這些 CNI 插件創(chuàng)建 macvlan 網(wǎng)絡(luò)，并將 NIC 物理功能分別分配給容器或虛擬機(jī)。

SR-IOV 設(shè)備插件和 CNI

SR-IOV 是一種在虛擬機(jī)或容器吊艙與 NIC 硬件之間提供直接接口的技術(shù)。它繞過了主機(jī) CPU 和操作系統(tǒng)，從 I / O 任務(wù)中釋放出昂貴的 CPU 資源，并大大加快了連接速度。 SR-IOV 設(shè)備插件 和 CNI 插件 啟用 Kubernetes 節(jié)點(diǎn)上可用的 SR-IOV 虛擬功能（ VF ）。這兩者都是網(wǎng)絡(luò)運(yùn)營商創(chuàng)建 SR-IOV VF 并將其分配給處理 GPU -to- GPU 通信的二級(jí)網(wǎng)絡(luò)所必需的。

SR-IOV 操作員

SR-IOV 操作符旨在幫助用戶在集群中提供和配置 SR-IOV 設(shè)備插件和 SR-IOV CNI 插件。網(wǎng)絡(luò)運(yùn)營商使用 SR-IOV 操作員 在 Kubernetes 集群中部署和管理 SR-IOV 。

Whereabouts CNI

Whereabouts CNI 是一個(gè) IP 地址管理（ IPAM ） CNI 插件，可以在 Kubernetes 集群中分配 IP 地址。網(wǎng)絡(luò)運(yùn)營商使用此 CNI 為承載 GPU -to- GPU 通信的二級(jí)網(wǎng)絡(luò)分配 IP 地址。

更好的結(jié)合： NVIDIA 加速計(jì)算和網(wǎng)絡(luò)

圖 2 顯示了網(wǎng)絡(luò)運(yùn)營商如何與 GPU 運(yùn)營商協(xié)同工作來部署和管理主機(jī)網(wǎng)絡(luò)軟件。

圖 2 。網(wǎng)絡(luò)運(yùn)營商與 NVIDIA GPU 運(yùn)營商一起安裝，以在 EGX 堆棧上自動(dòng)化 GPU 直接 RDMA 配置

以下部分描述了支持的網(wǎng)絡(luò)模型和相應(yīng)的主機(jī)軟件組件。

RoCE 共享模式

共享模式意味著在節(jié)點(diǎn)上的多個(gè)容器 pod 之間共享單個(gè) IB 設(shè)備的方法。此網(wǎng)絡(luò)模型針對(duì)需要高性能網(wǎng)絡(luò)的企業(yè)和邊緣環(huán)境進(jìn)行了優(yōu)化，無需多租戶。網(wǎng)絡(luò)運(yùn)營商安裝以下軟件組件：

Multus CNI

RoCE 共享模式設(shè)備插件

Macvlan CNI

Whereabouts IPAM CNI

網(wǎng)絡(luò)運(yùn)營商還在 GPU 節(jié)點(diǎn)上安裝 NVIDIA OFED 驅(qū)動(dòng)程序和 NVIDIA 對(duì)等內(nèi)存。

SR-IOV 、 RoCE 和 DPDK 網(wǎng)絡(luò)

如前所述， SR-IOV 是一種提供對(duì) NIC 硬件的直接訪問的加速技術(shù)。此網(wǎng)絡(luò)模型針對(duì)運(yùn)行在裸機(jī)上的多租戶 Kubernetes 環(huán)境進(jìn)行了優(yōu)化。網(wǎng)絡(luò)運(yùn)營商安裝以下軟件組件：

Multus CNI

SR-IOV 設(shè)備插件

SR-IOV CN

Whereabouts IPAM CNI

網(wǎng)絡(luò)運(yùn)營商還在 GPU 節(jié)點(diǎn)上安裝 NVIDIA OFED 驅(qū)動(dòng)程序和 NVIDIA 對(duì)等內(nèi)存。

NIC PF 直通

這種網(wǎng)絡(luò)模式適合要求極高的應(yīng)用。網(wǎng)絡(luò)運(yùn)營商可以將 NIC 物理功能分配給 Pod ，以便 Pod 充分利用它。網(wǎng)絡(luò)運(yùn)營商安裝以下主機(jī)軟件組件：

Multus CNI

SR-IOV 設(shè)備插件

主機(jī)開發(fā) CNI

Whereabouts IPAM CNI

網(wǎng)絡(luò)運(yùn)營商還在 GPU 節(jié)點(diǎn)上安裝 NVIDIA OFED 驅(qū)動(dòng)程序和 NVIDIA 對(duì)等內(nèi)存。

為橫向擴(kuò)展 GPU 集群優(yōu)化 Kubernetes 網(wǎng)絡(luò)

NVIDIA GPU 和網(wǎng)絡(luò)運(yùn)營商都是 NVIDIA EGX 企業(yè)平臺(tái)的一部分，該平臺(tái)允許 GPU 加速計(jì)算與傳統(tǒng)企業(yè)應(yīng)用程序在同一 IT 基礎(chǔ)設(shè)施上協(xié)同工作。總而言之，運(yùn)營商使 NVIDIA GPU 成為庫伯內(nèi)特斯的一等公民?，F(xiàn)在發(fā)布用于生產(chǎn)環(huán)境，網(wǎng)絡(luò)運(yùn)營商簡(jiǎn)化了 Kubernetes 網(wǎng)絡(luò)，帶來了必要的簡(jiǎn)單性和可擴(kuò)展性級(jí)別，以便在企業(yè)中實(shí)現(xiàn)擴(kuò)展培訓(xùn)和邊緣推斷。

關(guān)于作者

Itay Ozery 是 NVIDIA 網(wǎng)絡(luò)產(chǎn)品營銷總監(jiān)。他為 Mellanox 的云網(wǎng)絡(luò)解決方案推動(dòng)戰(zhàn)略性產(chǎn)品營銷和產(chǎn)品管理計(jì)劃。 Itay 在網(wǎng)絡(luò)安全領(lǐng)域領(lǐng)導(dǎo)了大規(guī)模的業(yè)務(wù)和項(xiàng)目，并與數(shù)據(jù)中心和電信服務(wù)提供商在 IT 系統(tǒng)和網(wǎng)絡(luò)工程領(lǐng)域擔(dān)任過多個(gè)職位。

審核編輯：郭婷