近日，2025年USENIX年度技術(shù)會(huì)議（ATC'25,The 2025 USENIX Annual Technical Conference）在美國(guó)波士頓與OSDI聯(lián)合召開(kāi)。作為計(jì)算機(jī)系統(tǒng)領(lǐng)域頂級(jí)的CCF-A類(lèi)會(huì)議，本屆ATC共收到634篇論文投稿，僅100篇成功入選，中稿率低至15.8%。其中，華為數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室與中國(guó)科學(xué)院計(jì)算技術(shù)研究所合作完成的論文——基于Compute Express Link(CXL)的解耦式機(jī)架架構(gòu)DRack，成功獲收錄。該論文提出在機(jī)柜規(guī)模內(nèi)，通過(guò)以太網(wǎng)與CXL總線多模式互連構(gòu)建網(wǎng)卡池-內(nèi)存池架構(gòu)DRack，為解決數(shù)據(jù)中心跨機(jī)柜網(wǎng)絡(luò)通信帶寬瓶頸提供了創(chuàng)新方案。

研究背景

跨機(jī)柜網(wǎng)絡(luò)通信帶寬逐漸成為
分布式計(jì)算的性能瓶頸

隨著數(shù)據(jù)密集型應(yīng)用的廣泛部署，其計(jì)算規(guī)模已擴(kuò)展至多主機(jī)、多機(jī)柜并行，并依托GPU、領(lǐng)域定制加速器等高性能計(jì)算單元實(shí)現(xiàn)高吞吐處理。這一趨勢(shì)對(duì)網(wǎng)卡帶寬及網(wǎng)絡(luò)帶寬提出更高要求，以滿足機(jī)柜間數(shù)據(jù)同步的時(shí)效性需求。

但在傳統(tǒng)柜頂交換機(jī)（Top of Rack，ToR）架構(gòu)中，主機(jī)私有網(wǎng)卡與機(jī)柜間核心網(wǎng)絡(luò)常因資源超額認(rèn)購(gòu)（over-subscription），成為跨機(jī)柜通信的性能瓶頸。研究通過(guò)實(shí)證發(fā)現(xiàn)：盡管跨機(jī)柜通信流量規(guī)模大，但單個(gè)機(jī)柜內(nèi)主機(jī)網(wǎng)卡利用率普遍偏低，核心原因有兩點(diǎn)：一是不同主機(jī)計(jì)算負(fù)載不均衡，數(shù)據(jù)訪問(wèn)量差異顯著；二是部分主機(jī)僅運(yùn)行非分布式任務(wù)，無(wú)數(shù)據(jù)同步需求。若能實(shí)現(xiàn)機(jī)柜內(nèi)閑置網(wǎng)卡資源的動(dòng)態(tài)共享與靈活調(diào)度，可有效提升跨機(jī)柜通信效率。

研究創(chuàng)新性提出DRack新型機(jī)柜架構(gòu)，通過(guò)CXL總線與以太網(wǎng)融合，構(gòu)建“網(wǎng)卡池-內(nèi)存池”雙池體系，核心設(shè)計(jì)包含三點(diǎn)：

網(wǎng)卡解耦與共享池構(gòu)建：將機(jī)柜內(nèi)所有網(wǎng)卡從主機(jī)解耦，形成集中式共享網(wǎng)卡池，可向單個(gè)主機(jī)提供短時(shí)聚合帶寬，大幅提升網(wǎng)卡資源利用率

內(nèi)存解耦與大帶寬池構(gòu)建：考慮到主機(jī)本地內(nèi)存及PCIe鏈路帶寬遠(yuǎn)低于網(wǎng)卡池總帶寬，單一主機(jī)難以充分利用網(wǎng)卡資源，DRack進(jìn)一步解耦主機(jī)內(nèi)存，構(gòu)建聚合讀寫(xiě)帶寬超越網(wǎng)卡池的機(jī)柜級(jí)內(nèi)存池，支持網(wǎng)卡池向多內(nèi)存設(shè)備并行讀寫(xiě)數(shù)據(jù)。

內(nèi)存語(yǔ)義直訪優(yōu)化：允許主機(jī)處理器或加速器在計(jì)算過(guò)程中，通過(guò)內(nèi)存語(yǔ)義直接讀寫(xiě)內(nèi)存池?cái)?shù)據(jù)，無(wú)需先經(jīng)DMA將數(shù)據(jù)遷移至本地內(nèi)存，減少數(shù)據(jù)傳輸環(huán)節(jié)，提升效率。

選擇CXL互連實(shí)現(xiàn)DRack架構(gòu)，核心在于其兩大特性與設(shè)計(jì)需求高度契合：一是CXL2.0標(biāo)準(zhǔn)通過(guò)CXL交換機(jī)支持內(nèi)存與IO設(shè)備池化，CXL3.0進(jìn)一步實(shí)現(xiàn)機(jī)柜級(jí)內(nèi)存共享；二是CXL支持CXL.mem協(xié)議（內(nèi)存語(yǔ)義），可滿足主機(jī)直訪內(nèi)存池的需求。

通過(guò)上述設(shè)計(jì)，DRack不僅有效緩解傳統(tǒng)ToR架構(gòu)的跨機(jī)柜通信瓶頸，其更優(yōu)的通信效率還能為現(xiàn)有任務(wù)調(diào)度算法（如 Crux@Sigcomm24）提供有力補(bǔ)充。相較于現(xiàn)有方案，DRack采用靜態(tài)架構(gòu)設(shè)計(jì)，無(wú)需應(yīng)對(duì)可重構(gòu)性與流量預(yù)測(cè)的復(fù)雜性，也無(wú)需額外增置硬件；同時(shí)可通過(guò)向CXL互連架構(gòu)接入更多內(nèi)存、網(wǎng)卡設(shè)備，實(shí)現(xiàn)系統(tǒng)靈活擴(kuò)展。

實(shí)驗(yàn)效果：多場(chǎng)景性能顯著提升

鑒于目前尚無(wú)商業(yè)化CXL3.0產(chǎn)品，研究團(tuán)隊(duì)開(kāi)發(fā)了原型驗(yàn)證系統(tǒng)，用于模擬四機(jī)柜DRack架構(gòu)：每個(gè)機(jī)柜配備2個(gè)定制化 MPSoC FPGA（模擬計(jì)算主機(jī)，集成四核CPU、雙通道內(nèi)存、四個(gè)光纖端口），CPU通過(guò)HP/HPC端口將內(nèi)存總線信號(hào)傳至FPGA側(cè)，并實(shí)現(xiàn)類(lèi)CXL協(xié)議軟IP；同一機(jī)柜的2個(gè)FPGA連接服務(wù)器雙端口網(wǎng)卡，基于DPDK技術(shù)在服務(wù)器上仿真網(wǎng)卡池與CXL互連功能。

測(cè)試結(jié)果顯示，在DNN訓(xùn)練、圖計(jì)算（數(shù)據(jù)密集型）及鍵值存儲(chǔ)（延遲敏感型）等典型應(yīng)用場(chǎng)景中，DRack較傳統(tǒng)ToR架構(gòu)平均降低37.3%的數(shù)據(jù)同步時(shí)間。此外，網(wǎng)卡池帶寬利用率表現(xiàn)優(yōu)異：?jiǎn)蝹€(gè)主機(jī)可充分利用帶寬，兩臺(tái)主機(jī)同時(shí)通信時(shí)，能根據(jù)流量大小動(dòng)態(tài)共享資源，總體帶寬利用率接近1。

技術(shù)突破意義
獲國(guó)際認(rèn)可，夯實(shí)創(chuàng)新地位

DRack相關(guān)技術(shù)有望與業(yè)界scaleup方案形成深度協(xié)同，整體提升高性能計(jì)算與分布式系統(tǒng)能力。在面向大規(guī)模人工智能計(jì)算場(chǎng)景時(shí)，該架構(gòu)能夠顯著增強(qiáng)基于萬(wàn)卡、千機(jī)柜的大語(yǔ)言模型訓(xùn)練與推理任務(wù)的執(zhí)行效率，降低通信開(kāi)銷(xiāo)、提升資源利用率。同時(shí)，在傳統(tǒng)分布式應(yīng)用（如圖計(jì)算、內(nèi)存鍵值存儲(chǔ)（如Memcached））等系統(tǒng)中，該技術(shù)也可有效優(yōu)化通訊表現(xiàn)與資源利用率，進(jìn)一步提升整體系統(tǒng)吞吐與響應(yīng)性能，為下一代數(shù)據(jù)中心基礎(chǔ)設(shè)施構(gòu)建提供可擴(kuò)展、高效率的架構(gòu)支撐。

此次DRack相關(guān)論文獲USENIX ATC收錄，不僅意味著華為與中國(guó)科學(xué)院計(jì)算技術(shù)研究所在CXL技術(shù)與數(shù)據(jù)中心機(jī)柜架構(gòu)融合領(lǐng)域的探索，得到國(guó)際頂級(jí)學(xué)術(shù)界的高度認(rèn)可，更標(biāo)志著華為在數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域的又一重大突破。