CPU+GPU架構(gòu)的區(qū)別、優(yōu)勢及應(yīng)用

近年來，隨著AI應(yīng)用的快速發(fā)展，引發(fā)一場算力革命，異構(gòu)計算也站在風(fēng)口浪尖。

異構(gòu)計算主要是指使用不同類型指令集和體系架構(gòu)的計算單元組成系統(tǒng)的計算方式。常見的計算單元類別包括CPU、GPU、DSP、ASIC、FPGA等。目前“CPU+GPU”以及“CPU+FPGA”都是受業(yè)界關(guān)注的異構(gòu)計算平臺。

近日，英特爾宣布將在未來一年半內(nèi)取消多款服務(wù)器GPU產(chǎn)品的發(fā)布計劃，其中包括HPC級的Rialto Bridge GPU，以全力開發(fā)基于Falcon Shores的混合芯片。英特爾新一代Falcon Shores 專為超級計算應(yīng)用而設(shè)計，將CPU和GPU技術(shù)結(jié)合到一個芯片封裝中，屆時將作為純GPU架構(gòu)面世。

值得注意的是，AMD 的Instinct MI300和英偉達(dá)的Grace Hopper超級芯片也是采用“CPU+GPU”的異構(gòu)形式。

CPU與GPU的區(qū)別

CPU即中央處理器（Central Processing Unit），作為計算機系統(tǒng)的運算和控制核心，主要負(fù)責(zé)多任務(wù)管理、調(diào)度，具有很強的通用性，是計算機的核心領(lǐng)導(dǎo)部件，好比人的大腦。不過其計算能力并不強，更擅長邏輯控制。

GPU即圖形處理器（Graphics Processing Unit），采用數(shù)量眾多的計算單元和超長的流水線，擅長進(jìn)行圖像處理、并行計算。對于復(fù)雜的單個計算任務(wù)來說，CPU 的執(zhí)行效率更高，通用性更強；對于圖形圖像這種矩陣式多像素點的簡單計算，更適合用 GPU 來處理。AI 領(lǐng)域中用于圖像識別的深度學(xué)習(xí)、用于決策和推理的機器學(xué)習(xí)以及超級計算都需要大規(guī)模的并行計算，因此更適合采用 GPU 架構(gòu)。

多核 CPU 與 GPU 的計算網(wǎng)格（圖中綠色方格為計算單元）

CPU和GPU還有一個很大的區(qū)別就是：CPU可單獨作用，處理復(fù)雜的邏輯運算和不同的數(shù)據(jù)類型，但當(dāng)需要處理大量類型統(tǒng)一的數(shù)據(jù)時，則可調(diào)用GPU進(jìn)行并行計算。但GPU無法單獨工作，必須由CPU進(jìn)行控制調(diào)用才能工作。

CPU+GPU架構(gòu)的優(yōu)勢及應(yīng)用

當(dāng)CPU和GPU協(xié)同工作時，因為 CPU 包含幾個專為串行處理而優(yōu)化的核心，而 GPU 則由數(shù)以千計更小、更節(jié)能的核心組成，這些核心專為提供強勁的并行運算性能而設(shè)計。程序的串行部分在 CPU 上運行，而并行部分則在 GPU上運行。GPU 已經(jīng)發(fā)展到成熟階段，可輕松執(zhí)行現(xiàn)實生活中的各種應(yīng)用程序，而且程序運行速度已遠(yuǎn)遠(yuǎn)超過使用多核系統(tǒng)時的情形。因此，CPU和GPU的結(jié)合剛好可以解決深度學(xué)習(xí)模型訓(xùn)練在CPU上耗時長的問題，提升深度學(xué)習(xí)模型的訓(xùn)練效率。

隨著CPU與GPU的結(jié)合，其相較于單獨CPU與GPU的應(yīng)用場景也不斷拓寬。

第一，CPU+GPU架構(gòu)適用于處理高性能計算。伴隨著高性能計算類應(yīng)用的發(fā)展，驅(qū)動算力需求不斷攀升，但目前單一計算類型和架構(gòu)的處理器已經(jīng)無法處理更復(fù)雜、更多樣的數(shù)據(jù)。數(shù)據(jù)中心如何在增強算力和性能的同時，具備應(yīng)對多類型任務(wù)的處理能力，成為全球性的技術(shù)難題。CPU+GPU的異構(gòu)并行計算架構(gòu)作為高性能計算的一種主流解決方案，受到廣泛關(guān)注。

第二，CPU+GPU架構(gòu)適用于處理數(shù)據(jù)中心產(chǎn)生的海量數(shù)據(jù)。數(shù)據(jù)爆炸時代來臨，使用單一架構(gòu)來處理數(shù)據(jù)的時代已經(jīng)過去。比如：個人互聯(lián)網(wǎng)用戶每天產(chǎn)生約1GB數(shù)據(jù)，智能汽車每天約50GB，智能醫(yī)院每天約3TB數(shù)據(jù)，智慧城市每天約50PB數(shù)據(jù)。數(shù)據(jù)的數(shù)量和多樣性以及數(shù)據(jù)處理的地點、時間和方式也在迅速變化。無論工作任務(wù)是在邊緣還是在云中，不管是人工智能工作任務(wù)還是存儲工作任務(wù)，都需要有正確的架構(gòu)和軟件來充分利用這些特點。

第三，CPU+GPU架構(gòu)可以共享內(nèi)存空間，消除冗余內(nèi)存副本來改善問題。在此前的技術(shù)中，雖然GPU和CPU已整合到同一個芯片上，但是芯片在運算時要定位內(nèi)存的位置仍然得經(jīng)過繁雜的步驟，這是因為CPU和GPU的內(nèi)存池仍然是獨立運作。為了解決兩者內(nèi)存池獨立的運算問題，當(dāng)CPU程式需要在GPU上進(jìn)行部分運算時，CPU都必須從CPU的內(nèi)存上復(fù)制所有的資料到GPU的內(nèi)存上，而當(dāng)GPU上的運算完成時，這些資料還得再復(fù)制回到CPU內(nèi)存上。然而，將CPU與GPU放入同一架構(gòu)，就能夠消除冗余內(nèi)存副本來改善問題，處理器不再需要將數(shù)據(jù)復(fù)制到自己的專用內(nèi)存池來訪問/更改該數(shù)據(jù)。統(tǒng)一內(nèi)存池還意味著不需要第二個內(nèi)存芯片池，即連接到CPU的DRAM。

因此，通過CPU+GPU異構(gòu)并行計算架構(gòu)組成的服務(wù)器，正成為服務(wù)器市場中的一匹黑馬?，F(xiàn)在已有多家芯片廠商開始跟進(jìn)。

芯片巨頭的香餑餑？

英特爾的Falcon Shores

英特爾的Falcon Shores XPU專為超級計算應(yīng)用而設(shè)計，其將CPU和GPU合并到一個混合匹配芯片包中。Falcon Shores代表了英特爾異構(gòu)架構(gòu)設(shè)計的延續(xù)，其最終目標(biāo)是每瓦性能提高5倍，x86插槽計算密度提高5倍以及現(xiàn)有服務(wù)器芯片的內(nèi)存容量和帶寬提高5倍。英特爾的高性能計算CPU和GPU路線圖與Falcon Shores匯合，表明這些芯片將在未來同時發(fā)揮這兩個作用。

英特爾超級計算集團(tuán)副總裁兼總經(jīng)理杰夫·麥克維（Jeff McVeigh）說，延遲推出的Falcon Shores將在2025年首次推出GPU內(nèi)核，但尚未表明何時將CPU內(nèi)核集成到設(shè)計中。因此，英特爾以HPC為中心的設(shè)計將落后于競爭對手?jǐn)?shù)年。

英偉達(dá)的Grace Hopper超級芯片

2021年，英偉達(dá)推出解決HPC和大規(guī)模人工智能應(yīng)用程序的Grace Hopper超級芯片。這是一款完全專為大規(guī)模?AI?和高性能計算應(yīng)用打造的突破性加速 CPU。它通過英偉達(dá) NVLink-C2C 技術(shù)將 Grace 和 Hopper 架構(gòu)相結(jié)合，為加速 AI 和 HPC 應(yīng)用提供 CPU+GPU 相結(jié)合的一致內(nèi)存模型。

英偉達(dá)官方表示，使用NVLink-C2C互連，Grace CPU將數(shù)據(jù)傳輸?shù)紿opper GPU的速度比傳統(tǒng)CPU快15倍。另外，采用CPU+GPU的Grace Hopper核心數(shù)減半，LPDDR5X內(nèi)存也只有512GB，但多了顯卡的80GB HBM3內(nèi)存，總帶寬可達(dá)3.5TB/s，代價是功耗1000W，每個機架容納42個節(jié)點。

英偉達(dá)Grace Hopper超級芯片計劃于2023年上半年推出。

AMD的?Instinct MI300

在近日的 CES 2023 展會上，AMD 披露了面向下一代數(shù)據(jù)中心的 APU 加速卡產(chǎn)品 Instinct MI300。這顆芯片采用多芯片、多IP整合封裝設(shè)計，5nm先進(jìn)制造工藝，晶體管數(shù)量多達(dá)1460億個。它同時集成CDNA3架構(gòu)的GPU單元(具體核心數(shù)量未公開)、Zen4架構(gòu)的24個CPU核心、大容量的Infinity Cache無限緩存，還有8192-bit位寬、128GB容量的HBM3高帶寬內(nèi)存。

在技術(shù)方面，MI300支持第四代Infinity Fabric總線、CXL 3.0總線、統(tǒng)一內(nèi)存架構(gòu)、新的數(shù)學(xué)計算格式，號稱AI性能比上代提升多達(dá)8倍，可滿足百億億次計算需求。

AMD CEO蘇姿豐近日確認(rèn)，Instinct MI300將在今年下半年正式推出。

英特爾的Falcon Shores XPU是與英偉達(dá)的Grace Hopper 超級芯片和AMD Instinct MI300數(shù)據(jù)中心APU競爭的關(guān)鍵。英偉達(dá)的Grace和AMD的MI300都將于今年推出。值得注意的是，三家均選擇了Chiplet技術(shù)。

未來押注超異構(gòu)計算

關(guān)于異構(gòu)計算，英特爾中國研究院院長宋繼強曾表示：“在2023年，大家已經(jīng)完全接受了要通過異構(gòu)計算解決未來系統(tǒng)的設(shè)計和優(yōu)化問題。在2020年的時候，市場還在討論異構(gòu)集成是怎么一回事。而在2023年，大家都會基于功能的有效性、設(shè)計的難易程度、成本等方面的考量，自覺采用異構(gòu)計算的方式?！?/p>

關(guān)于對當(dāng)下的算力演進(jìn)方向的新判斷，宋繼強還提到：“傳統(tǒng)異構(gòu)計算并不能滿足現(xiàn)在計算的要求。而“超異構(gòu)計算”，已逐漸成為業(yè)界思考的一個趨勢”。

從實際來看，英特爾也確實正在押注“超異構(gòu)計算”這條道路。

英特爾提出的“超異構(gòu)計算”概念，在一定程度上可以理解為通過封裝技術(shù)所實現(xiàn)的模塊級系統(tǒng)集成，即通過先進(jìn)封裝技術(shù)將多個Chiplet裝配到一個封裝模塊當(dāng)中，既簡化了SOC的復(fù)雜技術(shù)，更加靈活，又避免了PCB板級集成的性能和功耗瓶頸。

英特爾的“超異構(gòu)計算”路線以“Foveros”3D封裝技術(shù)為基礎(chǔ)。相比SiP只能實現(xiàn)邏輯芯片與內(nèi)存的集成，“Foveros”可以在邏輯芯片與邏輯芯片之間實現(xiàn)真正的三維集成，使得芯片面積更小，同時保證芯片間的帶寬更大、速度更快、功耗更低。

不過，英特爾的“超異構(gòu)計算”的創(chuàng)新之處并不僅局限于3D封裝這一個層面。事實上，在制程、架構(gòu)、內(nèi)存、互連、安全、軟件等多個層面均具有領(lǐng)先優(yōu)勢?！俺悩?gòu)計算”的實現(xiàn)是建立在整合其多層面技術(shù)優(yōu)勢基礎(chǔ)上的。

除了英特爾之外，英偉達(dá)也已經(jīng)在執(zhí)行層面全面行動。英偉達(dá)在云、網(wǎng)、邊、端等復(fù)雜計算場景，基本上都有重量級的產(chǎn)品和非常清晰的迭代路線圖。

編輯：黃飛

閱讀全文