Napatech是全球領(lǐng)先的智能網(wǎng)卡(SmartNIC)和IPU解決方案供 應(yīng)商，業(yè)務(wù)范圍涵蓋云計(jì)算、企 業(yè)和電信數(shù)據(jù)中心應(yīng)用等領(lǐng)域。Napatech將商用級軟件套件與高 性能硬件相結(jié)合，致力于加速網(wǎng)絡(luò) 基礎(chǔ)設(shè)施、安全和存儲(chǔ)工作負(fù)載，從而實(shí)現(xiàn)一流的系統(tǒng)級性能，同時(shí)為應(yīng)用和服務(wù)提供最大化的服務(wù)器計(jì)算資源。

越來越多的企業(yè)和云數(shù)據(jù)中心開始采用NVMe/TCP存儲(chǔ)技術(shù)，因?yàn)樗谛阅?、時(shí)延、可擴(kuò)展性、管理和資源利用率等方面優(yōu)勢顯著。然而，在服務(wù)器上實(shí)施所需的存儲(chǔ)啟動(dòng)器工作負(fù)載會(huì)帶來巨大的計(jì)算開銷，并限制可用于運(yùn)行服務(wù)和應(yīng)用的CPU內(nèi)核數(shù)量。

這篇解決方案簡介介紹了Napatech的集成式軟硬件解決方案如何將存儲(chǔ)工作負(fù)載從主機(jī)CPU卸載到IPU，同時(shí)在應(yīng)用級別保持完整的軟件兼容性。

該解決方案釋放了主機(jī)CPU內(nèi)核，避免其被存儲(chǔ)功能占用。它的性能明顯優(yōu)于基于軟件的實(shí)施方案，可顯著降低數(shù)據(jù)中心的資本支出、運(yùn)營支出和能耗。它還在系統(tǒng)中引入了安全隔離，增強(qiáng)了對網(wǎng)絡(luò)攻擊的保護(hù)，這有助于降低數(shù)據(jù)中心遭受安全漏洞和高價(jià)值客戶數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

NVMe/TCP：面向現(xiàn)代化數(shù)據(jù)中心的卓越存儲(chǔ)技術(shù)

NVMe/TCP是一種存儲(chǔ)技術(shù)，它允許使用標(biāo)準(zhǔn)數(shù)據(jù)中心結(jié)構(gòu)通過網(wǎng)絡(luò)訪問快速非易失性內(nèi)存 (NVMe) 存儲(chǔ)設(shè)備。見圖1。

圖 1. 分散式存儲(chǔ)架構(gòu)

越來越多的現(xiàn)代云和企業(yè)數(shù)據(jù)中心開始采用NVME/TCP，因?yàn)橄啾扰f的存儲(chǔ)協(xié)議（如互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口 (iSCSI) 光纖通道），它擁有極具吸引力的優(yōu)勢：

更高的性能：NVMe旨在充分利用基于NAND的現(xiàn)代高速固態(tài)盤 (SSD)，并提供比傳統(tǒng)存儲(chǔ)協(xié)議更快的數(shù)據(jù)傳輸速率。NVMe/TCP將這些優(yōu)勢擴(kuò)展到網(wǎng)絡(luò)存儲(chǔ)環(huán)境，允許數(shù)據(jù)中心通過網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)高性能存儲(chǔ)訪問。

更低的延遲：NVMe/TCP的低延遲特性對于數(shù)據(jù)密集型應(yīng)用和實(shí)時(shí)工作負(fù)載至關(guān)重要。NVMe/TCP可以最大限度地減少通信開銷和消除協(xié)議轉(zhuǎn)換需求，幫助減少存儲(chǔ)訪問延遲并提高整體應(yīng)用性能。

可擴(kuò)展性：數(shù)據(jù)中心經(jīng)常處理大規(guī)模存儲(chǔ)部署，NVMe/TCP通過網(wǎng)絡(luò)提供靈活高效的存儲(chǔ)訪問解決方案，從而實(shí)現(xiàn)無縫的可擴(kuò)展性。隨著NVMe設(shè)備數(shù)量的增長，數(shù)據(jù)中心可以在沒有明顯瓶頸的情況下保持高性能水平。

共享存儲(chǔ)池：NVMe/TCP允許創(chuàng)建可同時(shí)訪問多個(gè)服務(wù)器和應(yīng)用的共享存儲(chǔ)池。這種共享存儲(chǔ)架構(gòu)提高了資源利用率，簡化了存儲(chǔ)管理，大大節(jié)省了成本。

傳統(tǒng)基礎(chǔ)設(shè)施兼容性：數(shù)據(jù)中心的現(xiàn)有基礎(chǔ)設(shè)施通常建立在以太網(wǎng)、InfiniBand或光纖通道網(wǎng)絡(luò)上。NVMe/TCP允許他們利用現(xiàn)有的結(jié)構(gòu)投資，同時(shí)集成創(chuàng)新的基于NVMe的存儲(chǔ)技術(shù)，而無需大幅調(diào)整整個(gè)網(wǎng)絡(luò)基礎(chǔ)設(shè)施。

高效的資源利用：NVMe/TCP通過減少應(yīng)用對每個(gè)服務(wù)器上專用存儲(chǔ)資源的需求，實(shí)現(xiàn)了更高的資源利用率。多個(gè)服務(wù)器可以通過網(wǎng)絡(luò)訪問共享NVMe存儲(chǔ)設(shè)備，從而優(yōu)化使用昂貴的NVMe存儲(chǔ)資源。

面向未來：隨著數(shù)據(jù)中心不斷發(fā)展并采用更快的存儲(chǔ)技術(shù)， NVMe/TCP提供了一種前瞻性的存儲(chǔ)訪問方法，確保存儲(chǔ)網(wǎng)絡(luò)能夠滿足不斷增長的現(xiàn)代應(yīng)用和工作負(fù)載需求。

整體而言，NVMe/TCP為數(shù)據(jù)中心提供了一個(gè)強(qiáng)大而靈活的存儲(chǔ)解決方案，在共享和可擴(kuò)展的存儲(chǔ)環(huán)境中實(shí)現(xiàn)了高性能、低延遲和高效的資源利用。

純軟件存儲(chǔ)架構(gòu)的限制

盡管NVMe/TCP在存儲(chǔ)方面具有顯著的優(yōu)勢，但數(shù)據(jù)中心運(yùn)營商必須意識到，在方案實(shí)施中，如果所需的所有存儲(chǔ)啟動(dòng)器服務(wù)都在服務(wù)器的CPU上運(yùn)行，這會(huì)帶來很大的局限性。見圖2。

圖 2. 基于軟件的網(wǎng)絡(luò)存儲(chǔ)

首先，如果存儲(chǔ)虛擬化軟件、管理程序或虛擬交換機(jī) (vSwitch) 在網(wǎng)絡(luò)攻擊中受損，則會(huì)出現(xiàn)系統(tǒng)級安全風(fēng)險(xiǎn)。

其次，無法確保租戶工作負(fù)載之間的完全隔離。單個(gè)架構(gòu)在多租戶環(huán)境中托管多個(gè)客戶的應(yīng)用和數(shù)據(jù)。當(dāng)應(yīng)用或虛擬機(jī) (VM) 占用最多可用資源并降低共享基礎(chǔ)設(shè)施上其他租戶的系統(tǒng)性能時(shí)，就會(huì)出現(xiàn)“噪鄰”效應(yīng)。

最后，運(yùn)行基礎(chǔ)設(shè)施服務(wù)（如存儲(chǔ)虛擬化軟件、管理程序和vSwitch）需要很大一部分主機(jī)CPU內(nèi)核。這減少了可用于虛擬機(jī)、容器和應(yīng)用的CPU內(nèi)核數(shù)量。報(bào)告指出，30%到50%的數(shù)據(jù)中心CPU資源通常被基礎(chǔ)設(shè)施服務(wù)消耗。

在高性能存儲(chǔ)子系統(tǒng)中，主機(jī)CPU可能需要運(yùn)行多個(gè)協(xié)議， 如傳輸控制協(xié)議 (TCP)、基于融合以太網(wǎng)的遠(yuǎn)程直接內(nèi)存訪問 (RoCEv2)、InfiniBand和光纖通道。當(dāng)主機(jī)CPU被大量用于運(yùn)行這些存儲(chǔ)協(xié)議和其他基礎(chǔ)設(shè)施服務(wù)時(shí)，租戶應(yīng)用可用的CPU內(nèi)核數(shù)量將大大減少。例如，16核CPU可能只能提供10核CPU的性能。

由于這些原因和其他原因，純軟件架構(gòu)給數(shù)據(jù)中心存儲(chǔ)帶來了重大的業(yè)務(wù)和技術(shù)挑戰(zhàn)。

基于IPU的存儲(chǔ)卸載解決方案

將NVMe/TCP工作負(fù)載卸載到IPU，以及其他基礎(chǔ)設(shè)施服務(wù)（如管理程序和vSwitch，見圖3），解決了純軟件實(shí)施方案的局限性，并為數(shù)據(jù)中心運(yùn)營商帶來了顯著優(yōu)勢：

CPU利用：NVMe/TCP通信需要將NVMe命令和數(shù)據(jù)封裝在TCP傳輸協(xié)議中，主機(jī)CPU處理則會(huì)這些封裝和解封裝任務(wù)。將這些操作卸載到專用硬件上可以讓CPU專注于其他關(guān)鍵任務(wù)，從而提高整體系統(tǒng)性能和CPU利用率。

更低延遲：將NVMe/TCP通信任務(wù)卸載到專用硬件可以顯著減少處理存儲(chǔ)命令的延遲。因此，在訪問遠(yuǎn)程N(yùn)VMe存儲(chǔ)設(shè)備時(shí)，應(yīng)用可以體驗(yàn)到更快的響應(yīng)速度和更高的性能。

高效數(shù)據(jù)移動(dòng)：將非CPU應(yīng)用任務(wù)卸載到獨(dú)立的硬件加速器上，可以比使用通用CPU更高效地執(zhí)行數(shù)據(jù)移動(dòng)操作。它可以有效地處理大數(shù)據(jù)傳輸和緩沖區(qū)管理，減少延遲并提高總體吞吐量。

更高的可擴(kuò)展性：卸載NVMe/TCP任務(wù)可以提高大規(guī)模存儲(chǔ)部署的可擴(kuò)展性。通過減輕CPU處理網(wǎng)絡(luò)通信的負(fù)擔(dān)，系統(tǒng)可以支持更多的并發(fā)連接和存儲(chǔ)設(shè)備，而不會(huì)受到CPU的限制。

高能效：通過將某些任務(wù)卸載到專用硬件，可以降低主機(jī)CPU的功耗。這種能效在大型數(shù)據(jù)中心環(huán)境中尤其重要，因?yàn)楣氖且粋€(gè)重要的考慮因素。

除了上述適用于NVMe/TCP存儲(chǔ)工作負(fù)載的優(yōu)勢之外，基于IPU的系統(tǒng)架構(gòu)還提供了增量安全隔離選項(xiàng)，從而將基礎(chǔ)設(shè)施服務(wù)與租戶應(yīng)用隔離開來。這樣可以確保存儲(chǔ)、管理程序和vSwitch服務(wù)免受租戶應(yīng)用發(fā)起的網(wǎng)絡(luò)攻擊?；A(chǔ)設(shè)施服務(wù)是安全的，因?yàn)镮PU本身的啟動(dòng)過程是安全的；而IPU充當(dāng)主機(jī)服務(wù)器的信任根。

圖 3. 支持IPU的分散式存儲(chǔ)

Napatech存儲(chǔ)卸載解決方案

Napatech為數(shù)據(jù)中心存儲(chǔ)卸載提供了一個(gè)集成的系統(tǒng)級解決方案，包括在F2070X IPU上運(yùn)行的高性能Link-Storage軟件堆棧。見圖4。

圖 4. Napatech存儲(chǔ)卸載

Link-Storage軟件包含一套豐富的功能，包括：

將NVMe/TCP工作負(fù)載從主機(jī)完全卸載到IPU；

將TCP工作負(fù)載從主機(jī)完全卸載到IPU；

NVMe到TCP啟動(dòng)器；

通過存儲(chǔ)性能開發(fā)套件遠(yuǎn)程過程調(diào)用 (SPDK RPC) 接口進(jìn)行存儲(chǔ)配置；

多路徑NVMe支持；

通過virtio- blk接口向主機(jī)顯示16塊設(shè)備；

兼容普通Linux* 發(fā)行版中的標(biāo)準(zhǔn)virtio-blk驅(qū)動(dòng)程序；

主機(jī)CPU和IPU之間的安全隔離，沒有暴露于主機(jī)的網(wǎng)絡(luò)接口。

除了Link-Storage，F(xiàn)2070X還支持Link-Virtualization軟件，該軟件提供了一個(gè)卸載和加速的虛擬化數(shù)據(jù)平面，包括開放式vSwitch (OVS)、實(shí)時(shí)遷移、虛擬機(jī)到虛擬機(jī)鏡像、 VLAN/VxLAN封裝/解封裝、Q-in-Q、接收端擴(kuò)展 (RSS) 負(fù)載均衡、鏈路聚合和服務(wù)質(zhì)量 (QoS) 等功能。

由于F2070X基于FPGA和CPU（而非ASIC），因此可以在部署后更新平臺(tái)的完整功能。無論是修改現(xiàn)有服務(wù)、添加新功能還是微調(diào)特定的性能參數(shù)，這種重新編程都可以純粹作為現(xiàn)有服務(wù)器環(huán)境中的軟件升級來執(zhí)行，而無需斷開、移除或更換任何硬件。

Napatech F2070X IPU

基于英特爾F2000X-PL的Napatech F2070X IPU是一款2x100G PCIe卡，采用英特爾 Agilex 7 FPGA F系列和英特爾 至強(qiáng) D處理器，擁有全高半長 (FHHL) 雙插槽外形。請見圖5了解詳情。

圖 5. F2000X-PL結(jié)構(gòu)圖

F2070X IPU的標(biāo)準(zhǔn)配置包括一個(gè)帶有四組4GB DDR4內(nèi)存的英特爾 Agilex 7 FPGA AGF023和一個(gè)帶有兩組8GB DDR4內(nèi)存的2.3 GHz英特爾 至強(qiáng)D-1736處理器?？梢蕴峁┢渌渲眠x項(xiàng)來支持特定的工作負(fù)載。

F2070X IPU通過PCIe 4.0 x16 (16 GTps) 接口連接到主機(jī)，F(xiàn)PGA和處理器之間還有一個(gè)額外的PCIe 4.0 x16 (16 GTps) 接口。

兩個(gè)前面板QSFP28/56網(wǎng)絡(luò)接口支持以下網(wǎng)絡(luò)配置：

2x100G；

8x10G或8x25G（使用分支電纜）。

專用PTPRJ45端口提供與外部SMA-F和內(nèi)部MCX-F接口的可選時(shí)間同步。支持IEEE 1588v2時(shí)間戳。

專用的RJ45以太網(wǎng)連接器提供主板管理功能。安全的FPGA圖像更新支持在IPU部署完成后增加新功能或更新現(xiàn)有功能。

處理器運(yùn)行Fedora Linux，具有UEFI BIOS、PXE啟動(dòng)支持、通過SSH進(jìn)行完整shell訪問和UART。

總 結(jié)

越來越多的企業(yè)和云數(shù)據(jù)中心開始采用NVMe/TCP存儲(chǔ)技術(shù)，因?yàn)樗谛阅?、時(shí)延、可擴(kuò)展性、管理和資源利用率等方面優(yōu)勢顯著。然而，在服務(wù)器的主機(jī)CPU上實(shí)施所需的存儲(chǔ)啟動(dòng)器工作負(fù)載會(huì)帶來巨大的計(jì)算開銷，并限制可用于運(yùn)行服務(wù)和應(yīng)用的CPU內(nèi)核數(shù)量。

Napatech的集成式軟硬件解決方案包括在F2070X IPU（圖6）上運(yùn)行的Link-Storage軟件堆棧，通過將存儲(chǔ)工作負(fù)載從主機(jī)CPU卸載到IPU來解決此問題，同時(shí)在應(yīng)用級別保持完整的軟件兼容性。

圖 6. Napatech F2070X IPU

Napatech的存儲(chǔ)卸載解決方案釋放了主機(jī)CPU內(nèi)核，避免其被存儲(chǔ)功能占用。它的性能明顯優(yōu)于基于軟件的實(shí)施，可顯著降低數(shù)據(jù)中心的資本支出、運(yùn)營支出和能耗。

Napatech解決方案還在系統(tǒng)中引入了安全隔離，增強(qiáng)了對網(wǎng)絡(luò)攻擊的保護(hù)，這有助于降低數(shù)據(jù)中心遭受安全漏洞和高價(jià)值客戶數(shù)據(jù)泄露的風(fēng)險(xiǎn)。