高性能計算

高性能計算簡稱 HPC，是指利用聚集起來的計算能力來處理標準工作站無法完成的數(shù)據(jù)密集型計算任務，包括仿真、建模和渲染等。我們在處理各種計算問題時常常遇到這樣的情況：由于需要大量的運算，一臺通用的計算機無法在合理的時間內(nèi)完成工作，或者由于所需的數(shù)據(jù)量過大而可用的資源有限，導致根本無法執(zhí)行計算。HPC 方法通過使用專門或高端的硬件，或是將多個單元的計算能力進行整合，能夠有效地克服這些限制。將數(shù)據(jù)和運算相應地分布到多個單元中，這就需要引入并行 概念。就硬件配置而言，常用的類型有兩種：

共享內(nèi)存計算機

分布式內(nèi)存集群

在共享內(nèi)存計算機上，所有處理單元都可以訪問隨機存取存儲器（RAM）；而在分布式內(nèi)存集群中，不同的處理單元或節(jié)點 之間無法訪問內(nèi)存。在使用分布式內(nèi)存配置時，由于不同的處理單元不能訪問同一個內(nèi)存空間，因此必須存在一個相互連接的網(wǎng)絡，才能在這些單元之間發(fā)送消息（或者使用其他通信機制）。鑒于有些單元共享共同的內(nèi)存空間，而其他單元又是另一種情況，現(xiàn)代 HPC 系統(tǒng)通常是融合了這兩個概念的混合體。

混合并行計算能夠最大程度地發(fā)揮共享內(nèi)存的性能優(yōu)勢。

為什么要使用 HPC

使用 HPC 的原因主要體現(xiàn)在兩個方面。首先，隨著中央處理單元（CPU）和節(jié)點數(shù)量的不斷增加，人們可以使用的計算能力越來越多。有了強大的計算能力，就能在單位時間內(nèi)執(zhí)行更多運算，從而提高特定模型的計算速度。這就是我們所說的加速比。加速比通常定義為：同一個任務在并行系統(tǒng)的執(zhí)行時間與在串行系統(tǒng)的執(zhí)行時間的比值。加速比的上限取決于模型并行求解的程度。舉個例子，假設一個運算量固定的計算任務，其中 50% 的代碼可以并行執(zhí)行。在這種情況下，理論最大加速比為 2。如果并行執(zhí)行的代碼能夠上升至 95%，則理論最大加速比很可能達到 20。對于能夠?qū)崿F(xiàn)完全并行的代碼，可以不斷向系統(tǒng)中添加計算單元，因此不存在理論上的最大限制。阿姆達爾定律對這一現(xiàn)象進行了解釋。

根據(jù)阿姆達爾定律得到的理論最大加速比。另一方面，在集群的情況下，可用的內(nèi)存量通常以線性方式增加，同時包含更多的節(jié)點。如此一來，隨著計算單元數(shù)量的增加，就能夠處理越來越大的模型。這稱為擴展加速比。從某種意義上來說，運用這種方法可以對阿姆達爾定律提出的限制加以“欺騙”——該定律適用于固定大小的計算問題。將計算能力和內(nèi)存提高一倍，就可以在相同的時間內(nèi)完成大小為基本任務兩倍的計算任務。Gustafson-Barsis 定律對這一現(xiàn)象作出了解釋。

根據(jù) Gustafson-Barsis 定律得到的理論最大加速比。

并行化

不同類型的建模問題具有不同的可并行程度。以參數(shù)化掃描為例，這種問題求解多個具有獨立的幾何、邊界條件或材料屬性的相似的模型，幾乎可以完全并行計算。具體的實現(xiàn)方法是為將每一個模型設置分配給一個計算單元。這類問題非常適合并行計算，因此通常稱為“易并行問題”（embarrassingly parallel problem）。易并行問題對集群中的網(wǎng)絡速度和延遲非常敏感。（在其他情況下，由于網(wǎng)絡速度不夠快，無法有效處理通信，很可能導致速度減慢。）因此，可以將通用硬件連接起來，加快這類問題的計算速度（例如，構(gòu)建 Beowulf 集群）。

一個由六臺筆記本電腦和一臺舊交換機構(gòu)成的 Beowulf 集群。有些問題可以分解為多個更小的部分，或者說是子問題。例如，可以通過數(shù)據(jù)分解（數(shù)據(jù)并行）或任務分解（任務并行）來進一步分解問題，通常這些子問題之間的耦合程度會直接影響它們的并行化程度。舉例來說，易并行問題便是一個幾乎可以完全解耦的問題，如前面討論的參數(shù)化掃描。而完全耦合問題的例子則是一個迭代過程 的計算必須以嚴格的串行方式進行。當多個子問題相互耦合時，由于一個子問題的中間結(jié)果可能依賴于其他子問題，因此不能單獨進行處理。我們需要通過信息交換（與原始串行問題相比，還包含一些其他工作）來處理這些依賴關(guān)系。共享內(nèi)存或互連網(wǎng)絡可用于在不同的計算單元之間進行通信和同步。根據(jù)計算任務是在共享內(nèi)存環(huán)境下還是在分布式內(nèi)存環(huán)境下運行，有眾多因素會對可并行化以及潛在加速比產(chǎn)生影響。在多個節(jié)點上運行分布式內(nèi)存仿真時，各個計算單元必須使用網(wǎng)絡進行通信。此時，網(wǎng)絡延遲和帶寬會進一步影響通信速度。正因如此，大多數(shù) HPC 集群都配備了高帶寬/低延遲網(wǎng)絡，實現(xiàn)在集群的各個節(jié)點之間快速傳輸數(shù)據(jù)。