三、FPGA 在云計算中的角色

最后談一點我個人對 FPGA 在云計算中角色的思考。作為三年級博士生，我在微軟亞洲研究院的研究試圖回答兩個問題：

1.FPGA 在云規(guī)模的網絡互連系統(tǒng)中應當充當怎樣的角色？

2.如何高效、可擴放地對 FPGA + CPU 的異構系統(tǒng)進行編程？

我對 FPGA 業(yè)界主要的遺憾是，FPGA 在數據中心的主流用法，從除微軟外的互聯網巨頭，到兩大 FPGA 廠商，再到學術界，大多是把 FPGA 當作跟 GPU 一樣的計算密集型任務的加速卡。然而 FPGA 真的很適合做 GPU 的事情嗎？前面講過，FPGA 和 GPU 最大的區(qū)別在于體系結構，FPGA 更適合做需要低延遲的流式處理，GPU 更適合做大批量同構數據的處理。

PCIe I/O channel 與 OpenCL 的性能比較?？v坐標為對數坐標

由于很多人打算把 FPGA 當作計算加速卡來用，兩大 FPGA 廠商推出的高層次編程模型也是基于 OpenCL，模仿 GPU 基于共享內存的批處理模式。CPU 要交給 FPGA 做一件事，需要先放進 FPGA 板上的 DRAM，然后告訴 FPGA 開始執(zhí)行，FPGA 把執(zhí)行結果放回 DRAM，再通知 CPU 去取回。CPU 和 FPGA 之間本來可以通過 PCIe 高效通信，為什么要到板上的 DRAM 繞一圈？也許是工程實現的問題，我們發(fā)現通過 OpenCL 寫 DRAM、啟動 kernel、讀 DRAM 一個來回，需要 1.8 毫秒。而通過 PCIe DMA 來通信，卻只要 1~2 微秒。

ClickNP 使用 channel 在 FPGA 和 CPU 間通信

OpenCL 里面多個 kernel 之間的通信就更夸張了，默認的方式也是通過共享內存。本文開篇就講，FPGA 比 CPU 和 GPU 能效高，體系結構上的根本優(yōu)勢是無指令、無需共享內存。使用共享內存在多個 kernel 之間通信，在順序通信（FIFO）的情況下是毫無必要的。況且 FPGA 上的 DRAM 一般比 GPU 上的 DRAM 慢很多。

因此我們提出了 ClickNP 網絡編程框架 ［5］，使用管道（channel）而非共享內存來在執(zhí)行單元（element/kernel）間、執(zhí)行單元和主機軟件間進行通信。需要共享內存的應用，也可以在管道的基礎上實現，畢竟 CSP（Communicating Sequential Process）和共享內存理論上是等價的嘛。ClickNP 目前還是在 OpenCL 基礎上的一個框架，受到 C 語言描述硬件的局限性（當然 HLS 比 Verilog 的開發(fā)效率確實高多了）。理想的硬件描述語言，大概不會是 C 語言吧。

低延遲的流式處理，需要最多的地方就是通信。然而 CPU 由于并行性的限制和操作系統(tǒng)的調度，做通信效率不高，延遲也不穩(wěn)定。此外，通信就必然涉及到調度和仲裁，CPU 由于單核性能的局限和核間通信的低效，調度、仲裁性能受限，硬件則很適合做這種重復工作。因此我的博士研究把 FPGA 定義為通信的「大管家」，不管是服務器跟服務器之間的通信，虛擬機跟虛擬機之間的通信，進程跟進程之間的通信，CPU 跟存儲設備之間的通信，都可以用 FPGA 來加速。

成也蕭何，敗也蕭何。缺少指令同時是 FPGA 的優(yōu)勢和軟肋。每做一點不同的事情，就要占用一定的 FPGA 邏輯資源。如果要做的事情復雜、重復性不強，就會占用大量的邏輯資源，其中的大部分處于閑置狀態(tài)。這時就不如用馮·諾依曼結構的處理器。數據中心里的很多任務有很強的局部性和重復性：一部分是虛擬化平臺需要做的網絡和存儲，這些都屬于通信；另一部分是客戶計算任務里的，比如機器學習、加密解密。我們首先把 FPGA 用于它最擅長的通信，日后也許也會像 AWS 那樣把 FPGA 作為計算加速卡租給客戶。

不管通信還是機器學習、加密解密，算法都是很復雜的，如果試圖用 FPGA 完全取代 CPU，勢必會帶來 FPGA 邏輯資源極大的浪費，也會提高 FPGA 程序的開發(fā)成本。更實用的做法是FPGA 和 CPU 協(xié)同工作，局部性和重復性強的歸 FPGA，復雜的歸 CPU。

當我們用 FPGA 加速了 Bing 搜索、深度學習等越來越多的服務；當網絡虛擬化、存儲虛擬化等基礎組件的數據平面被 FPGA 把持；當 FPGA 組成的「數據中心加速平面」成為網絡和服務器之間的天塹……似乎有種感覺，FPGA 將掌控全局，CPU 上的計算任務反而變得碎片化，受 FPGA 的驅使。以往我們是 CPU 為主，把重復的計算任務卸載（offload）到 FPGA 上；以后會不會變成 FPGA 為主，把復雜的計算任務卸載到 CPU 上呢？隨著 Xeon + FPGA 的問世，古老的 SoC 會不會在數據中心煥發(fā)新生？