本文主要交流設(shè)計(jì)思路，在本博客已給出相關(guān)博文近100篇，希望對初學(xué)者有用。注意這里只是拋磚引玉，切莫認(rèn)為參考這就可以完成商用IP設(shè)計(jì)。

連接管理模塊負(fù)責(zé)管理 RoCE v2 高速數(shù)據(jù)傳輸系統(tǒng)與后端PC/服務(wù)器/GPU等主機(jī)之間的連接和斷開。
在 RoCE v2 中，有兩種建立連接的方式，分別是基于 CM API 的 QP 間建鏈和基于Socket API 的 QP 間建鏈。其中，CM API 是一種建立在 Infiniband/RoCE 協(xié)議基礎(chǔ)之上的通信管理協(xié)議；Socket 是基于 TCP/IP 協(xié)議的一個(gè)中間層，其建鏈過程需要兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)先建立 TCP/IP 連接，然后通過該連接來交換雙方 QP 信息。針對FPGA實(shí)際應(yīng)用需求，本IP使用 RoCEv2 協(xié)議，它基于 UDP/IP 的傳輸協(xié)議。因此，使用 CM API 進(jìn)行建鏈的方式可以避免搭建 TCP/IP 協(xié)議棧，從而節(jié)約系統(tǒng)資源并提高建鏈效率。

在 CM API 中，每條 CM 指令由多個(gè)字段組成，不同指令的包長度及對應(yīng)字段的含義也不相同。因此當(dāng)系統(tǒng)控制模塊發(fā)起建鏈或斷鏈請求時(shí)，連接管理模塊將對應(yīng)寄存器中的信息整合為CM 包，并將該數(shù)據(jù)包寫入發(fā)送隊(duì)列中。在接收到完成隊(duì)列中的條目后，連接管理模塊提取其中的信息并執(zhí)行指令完成流程。

隊(duì)列管理模塊負(fù)責(zé) RoCE v2 發(fā)送隊(duì)列、接收隊(duì)列和完成隊(duì)列的創(chuàng)建、存儲(chǔ)、仲裁，以及 RoCE v2 指令的提交和完成機(jī)制。RoCE v2 隊(duì)列對是實(shí)現(xiàn) RoCE v2 指令提交與完成機(jī)制的核心組件，其隊(duì)列數(shù)量、隊(duì)列深度和仲裁方式將直接影響數(shù)據(jù)傳輸性能。為了適應(yīng)不同的應(yīng)用場景，隊(duì)列管理模塊將隊(duì)列存儲(chǔ)與隊(duì)列指令控制分離，實(shí)現(xiàn)了運(yùn)行時(shí)的動(dòng)態(tài)隊(duì)列配置功能，以更少的資源消耗實(shí)現(xiàn)多場景下更優(yōu)的性能表現(xiàn)。

RoCE v2 發(fā)送模塊及 RoCE v2 接收模塊則負(fù)責(zé)發(fā)送或接收 RoCE v2 數(shù)據(jù)包。其中，RoCE v2 發(fā)送模塊從隊(duì)列管理模塊中提取用戶指令并將其轉(zhuǎn)換為 RoCE v2 包，然后發(fā)送到遠(yuǎn)程主機(jī)。對于包含數(shù)據(jù)的 RoCE v2 包，RoCE v2 發(fā)送模塊將同時(shí)與 DMA控制器進(jìn)行數(shù)據(jù)交換，從系統(tǒng)存儲(chǔ)中讀取數(shù)據(jù)后發(fā)送到遠(yuǎn)程主機(jī)。同樣的，RoCE v2接收模塊接收并解析 RoCE v2 數(shù)據(jù)包，而后根據(jù)包類型與 DMA 控制器進(jìn)行數(shù)據(jù)交換，進(jìn)行數(shù)據(jù)讀取或?qū)懭氩僮鳌Ｍ瑫r(shí)其也將包信息發(fā)送到隊(duì)列管理模塊以實(shí)現(xiàn)指令釋放。

ICRC 生成校驗(yàn)?zāi)K負(fù)責(zé) RoCE v2 包 ICRC 的計(jì)算、插入、校驗(yàn)和刪除工作。其中，對于即將發(fā)送的 RoCE v2 包，ICRC 生成校驗(yàn)?zāi)K通過內(nèi)置的 CRC 計(jì)算單元計(jì)算 ICRC 并插入到包尾部。此模塊同樣負(fù)責(zé)對接收到的 RoCE v2 包進(jìn)行 ICRC 校驗(yàn)，若校驗(yàn)通過，該包進(jìn)入 RoCE v2 接收模塊；若校驗(yàn)未通過，則該包由隊(duì)列管理模塊進(jìn)行丟棄。
擁塞管理模塊采用 DCQCN 算法進(jìn)行網(wǎng)絡(luò)擁塞的監(jiān)測及處理，其由通知單元和響應(yīng)單元組成。通知單元檢測到報(bào)文 ECN 標(biāo)志位有效時(shí)，將其轉(zhuǎn)換為 CNP 包反饋給發(fā)送方以降低速度。而響應(yīng)單元收到 CNP 包后降速，未收到時(shí)則升速。上述功能僅在含交換機(jī)的多主機(jī)連接鏈路中生效。
DMA 控制器則負(fù)責(zé)對 RoCE v2 發(fā)送模塊和 RoCE v2 接收模塊的數(shù)據(jù)請求進(jìn)行仲裁，并將這些請求轉(zhuǎn)換為 AXI4 總線請求，與系統(tǒng)內(nèi)存儲(chǔ)進(jìn)行交互。DMA 控制器支持突發(fā)傳輸和 Outstanding 功能，以進(jìn)一步提高數(shù)據(jù)吞吐量。

B站已給出相關(guān)性能的視頻，如想進(jìn)一步了解，請搜索B站用戶：專注與守望

https://www.bilibili.com/video/BV1mPV5eCE8z/?spm_id_from=333.337.search-card.all.click&vd_source=c355545d27a44fe96188b7caefeda6e7

審核編輯 黃宇