NVIDIA 平臺是最成熟、最完整的加速計算平臺。在這篇文章中，我將介紹最簡單、最高效、最可移植的加速計算方法。有三種編程方法 GPU （圖 1 ）。

圖 1 。NVIDIA 平臺編程的三種方法

CUDA C ++ Fortran 是 NVIDIA 可以展示新硬件和軟件創(chuàng)新的創(chuàng)新平臺，在這里，您可以調(diào)整應(yīng)用程序以在 NVIDIA GPU 上實(shí)現(xiàn)最佳性能。許多開發(fā)人員認(rèn)為這就是 NVIDIA 希望每個人為 GPU 編程的方式。

相反，我們預(yù)計，開發(fā)者首次來到NVIDIA平臺將使用標(biāo)準(zhǔn)的并行編程語言，如 ISO C ++、 ISO Fortran 和 Python 。在這篇文章中，我強(qiáng)調(diào)了使用這種方法進(jìn)行并行編程的一些成功，以證明進(jìn)入NVIDIA CUDA 生態(tài)系統(tǒng)的最有成效的途徑。

NVIDIA 戰(zhàn)略的基礎(chǔ)是提供一套豐富、成熟的 SDK 和庫，在這些數(shù)據(jù)庫上可以構(gòu)建應(yīng)用程序。 NVIDIA 已經(jīng)提供了高度優(yōu)化的數(shù)學(xué)庫，如 cuBLAS 、 cuSolver 和 cuFFT ；核心庫，如 Thrust 和 libcu++ ；和通信庫，如 NCCL 和 NVSHMEM ，以及其他可用于構(gòu)建應(yīng)用程序的包和框架。

除此之外， NVIDIA 還將三種不同的編程方法分層：

標(biāo)準(zhǔn)語言并行性，這是本文的主題

用于平臺專業(yè)化的語言，如 CUDA C ++和 CUDA FORTRAN ，以獲得NVIDIA 平臺上的最佳性能

編譯器指令，通過啟用增量性能優(yōu)化來彌合這兩種方法之間的差距

每種方法都在性能、生產(chǎn)率和代碼可移植性方面進(jìn)行權(quán)衡。因?yàn)樗鼈兌伎梢曰ゲ僮?，所以您不必使用特定的模型，但可以根?jù)需要混合任何或所有模型。

如果您開始使用標(biāo)準(zhǔn)編程語言中的并行性編寫代碼，那么您可以來到NVIDIA 平臺或任何其他已經(jīng)具有并行運(yùn)行能力的基線代碼平臺。這就是為什么我們在標(biāo)準(zhǔn)語言委員會中投入了十多年的時間來合作，采用特性來支持并行編程，而不需要額外的擴(kuò)展或 API 。標(biāo)準(zhǔn)語言并行性是一股興起的潮流，它讓所有人都感到振奮。

ISO C ++

在編程趨勢的最近研究中， C ++編程語言一直是最高級的編程語言之一。它在科學(xué)計算中的應(yīng)用有了顯著的增長。其標(biāo)準(zhǔn)模板庫的豐富性使其成為新代碼開發(fā)的高效語言，自 C ++ 17 發(fā)布以來，它支持并行編程的幾個重要特性。

我看到幾個應(yīng)用程序從傳統(tǒng)的循環(huán)中重構(gòu)，有利于這些 C ++并行算法。下面是其中幾個的結(jié)果。

Lulesh

Lulesh 是勞倫斯 LIVEMOR 國家實(shí)驗(yàn)室（ LLNL ）的流體動力學(xué)迷你應(yīng)用程序，用 C++ 編寫。 mini 應(yīng)用程序有幾個版本用于評估不同的編程方法，包括代碼質(zhì)量和性能。我們與開發(fā)人員一起工作，以重寫他們現(xiàn)有的基于 OpenMP 的代碼，使用 C ++并行算法。圖 2 顯示了應(yīng)用程序重要功能之一的示例。

圖 2 。從 OpenMP 到 ISOC ++并行重構(gòu) Lulesh 會導(dǎo)致代碼更簡單、更容易閱讀、 ISO 標(biāo)準(zhǔn)，并可移植到支持 ISOC ++的所有編譯器中。

左邊的代碼使用 OpenMP 跨 CPU 線程并行化代碼中的循環(huán)。為了維護(hù)串行和并行版本的代碼，開發(fā)人員使用了#ifdef宏和編譯器雜注。結(jié)果是重復(fù)代碼，并在源代碼中引入額外的 API OpenMP 。

右邊的代碼是相同的例程，但是使用 C ++ transform_reduce算法重寫。生成的代碼更加緊湊，不易出錯，更易于閱讀，更易于維護(hù)。它還移除了 OpenMP 的依賴性，依賴于 C ++標(biāo)準(zhǔn)模板庫，同時為所有平臺維護(hù)單個源代碼。此代碼完全符合 ISO C ++，能夠由支持 C ++ 17 的任何 C ++編譯器構(gòu)建。事實(shí)證明，它也更快！

圖 3 。 ISOLC ++版本的 Lulesh 比原始 OpenMP 代碼和便攜式多編譯器和 CPU 和 GPU 之間的速度快。

作為性能基準(zhǔn)，我們使用運(yùn)行在 AMD EPYC 7742 處理器所有核心上的 OpenMP 代碼，并使用 GCC 構(gòu)建。使用 NVIDIA nvc++編譯器重建此基線代碼在 CPU 上實(shí)現(xiàn)了基本相同的性能。

如果您使用同一版本的 GCC 來構(gòu)建 ISO C ++代碼，并在同一 CPU 上運(yùn)行，則性能將提高約 50% ，這是由于編譯器的各種改進(jìn)開銷和機(jī)會來更好地優(yōu)化代碼。

當(dāng)使用nvc++構(gòu)建此代碼并在同一 CPU 上運(yùn)行時，這將使性能提高 2 倍。這已經(jīng)是一項(xiàng)激動人心的成就，但最重要的是，您可以構(gòu)建相同的代碼，只需將編譯器選項(xiàng)更改為針對 NVIDIA GPU 而不是多核 CPU 。現(xiàn)在，同樣的代碼在 NvidiaA100 GPU 上運(yùn)行速度快了 13 倍以上。從原始代碼中得到 13.5x 性能改進(jìn)，在 CPU 和 GPU 上并行運(yùn)行，使用嚴(yán)格的 ISO C ++代碼。

STLBM

應(yīng)用 C ++標(biāo)準(zhǔn)并行性的另一個例子是 STLBM ，來自日內(nèi)瓦大學(xué)的格子 Boltzmann 求解器。 Jonas Latt 教授在幾次 GTC 會議上討論了這一應(yīng)用 顯示了如何在沒有任何外部 SDK 依賴關(guān)系的情況下編寫代碼在 ISO C ++中運(yùn)行，可以使用多個編譯器和多個硬件平臺，包括 NVIDIA GPU 。有關(guān)詳細(xì)信息，請參閱 基于 C ++并行算法的 GPU 流體力學(xué)：一種硬件無關(guān)方法的最新進(jìn)展 和 利用 C++ 標(biāo)準(zhǔn)并行技術(shù)在 GPU 中移植科學(xué)應(yīng)用

他的應(yīng)用程序使用 GPU 實(shí)現(xiàn)了超過 12 倍的性能改進(jìn)。值得注意的是，他的比較基準(zhǔn)是默認(rèn)情況下并行的源代碼，使用 C ++ 17 標(biāo)準(zhǔn)模板庫中的并行算法來表示應(yīng)用程序中固有的并行性。

他將使用ISO C++作為GPU編程的經(jīng)驗(yàn)歸類為“跨平臺CPU/GPU編程的范式轉(zhuǎn)換”。他的團(tuán)隊(duì)沒有編寫一個默認(rèn)為串行的應(yīng)用程序，然后再添加并行性，而是編寫了一個適用于他們希望運(yùn)行的任何并行平臺的應(yīng)用程序。

圖 4 。 STLBM 能夠在多核 CPU 節(jié)點(diǎn)和 NVIDIA GPU 上運(yùn)行相同的源代碼

NVIDIA 在 C ++中并行開發(fā)和并發(fā)性的大量投資，并為即將到來的 C ++ 23 規(guī)范編寫了各種建議，以進(jìn)一步提高您編寫并行的代碼的能力。

ISO Fortran

Fortran 仍然是一種主要關(guān)注科學(xué)和高性能計算的語言。最初， Fortran 是公式轉(zhuǎn)換器，它為開發(fā)人員和編譯器提供了多種優(yōu)勢，并且還擁有用于建模和仿真代碼的龐大現(xiàn)有代碼庫。

Fortran 在 2008 年開始添加支持并行編程的功能，在 2018 年增強(qiáng)了這些功能，并在即將發(fā)布的版本（目前稱為 Fortran 202X ）中繼續(xù)完善這些功能。與 ISOC ++一樣， NVIDIA 也一直在與應(yīng)用程序開發(fā)人員一起使用 FORTRAN 中的標(biāo)準(zhǔn)語言并行化來實(shí)現(xiàn)它們的應(yīng)用程序的現(xiàn)代化，并使它們并行。

計算化學(xué)

我的同事杰夫·哈蒙德在他的 FortranCon2021:GPU 上的標(biāo)準(zhǔn) Fortran 及其在量子化學(xué)代碼中的應(yīng)用 session 在 NWChem 應(yīng)用程序和另一個計算化學(xué)應(yīng)用程序 GAMESS 的內(nèi)核中使用 Fortran do concurrent循環(huán)，給出了一些有希望的結(jié)果。

對于 NWChem ，他分離了幾個執(zhí)行張量收縮的性能關(guān)鍵循環(huán)，并使用幾個編程模型編寫了它們。在多核 CPU 上，這些張量收縮使用 OpenMP 跨 CPU 核進(jìn)行線程。對于 GPU ，有使用 OpenACC 、 OpenMP 目標(biāo)卸載和現(xiàn)在的 Fortran do concurrent循環(huán)的版本可用。

圖 5 顯示了do concurrent循環(huán)的性能與 NVIDIA GPU 上的 OpenACC 和 OpenMP 目標(biāo)卸載相同，但不需要在應(yīng)用程序中包含這些附加 API 。這都是標(biāo)準(zhǔn)的 Fortran 。

圖 5 使用幾種編程模型的一系列 NWChem 應(yīng)用程序內(nèi)核的性能

高性能通量傳輸

在 SC21 會議的最近一次加速器編程使用指令研討會（ WACCPD ）上， 預(yù)測科學(xué)公司。 的一組開發(fā)人員展示了他們重構(gòu)其中一個生產(chǎn)代碼的結(jié)果，該代碼以前使用 OpenACC 在 NVIDIA GPU 上運(yùn)行，使用do concurrent循環(huán)。

他們比較了使用 NVIDIA nvfortran、gfortran和ifort構(gòu)建這個純 ISO Fortran 應(yīng)用程序的結(jié)果。他們得出結(jié)論，在使用nvfortran編譯器的應(yīng)用程序中，純 Fortran 提供了他們所需的性能，而不需要任何指令。此外，此代碼可以在 GPU 和多核 CPU 上并行運(yùn)行，無需修改。

圖 6 。使用 nvfortran compiler

這篇論文在研討會上獲得了最佳論文獎，盡管它根本不需要加速器編程的指導(dǎo)。當(dāng)被問及他們是否會在其他應(yīng)用程序中繼續(xù)采用標(biāo)準(zhǔn)語言并行方法時，演示者回答說，他們已經(jīng)計劃在公司的其他重要應(yīng)用程序中采用這種方法。

Python 帶有連字符和楔形文字

Python 語言在過去十年中迅速流行起來。它現(xiàn)在通常用于機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)，甚至是傳統(tǒng)的建模和仿真應(yīng)用。雖然 Python 不是 ISO 編程語言，像 C ++和 FORTRAN ，但是我們也在 Python 語言中實(shí)現(xiàn)標(biāo)準(zhǔn)語言并行性的精神。

在 GTC ‘ 21 秋季的基調(diào)演講中， NVIDIA 首席執(zhí)行官 Jensen Huang 介紹了 cuNumeric 的 alpha 版本，該庫是在 NumPy 之后建模的，它能夠?qū)崿F(xiàn)與我所討論的關(guān)于 ISO C ++和 FORTRAN 的特性。 NumPy 包在 Python 開發(fā)中非常普遍，幾乎可以肯定，任何用 Python 編寫的 HPC 應(yīng)用程序都會使用它。

在名為 Legate 的包之上編寫的cuNumeric包使 NumPy 應(yīng)用程序不僅能夠在 GPU 上，而且能夠在大型集群中跨 GPU 自動擴(kuò)展其工作。我已經(jīng)看到了幾個例子，簡單地替換代碼中的NumPy引用，而不是引用cuNumeric，我可以將該應(yīng)用程序弱地縮放到 NVIDIA 內(nèi)部集群的完整大小， Selene，這是世界上10個最快的超級計算機(jī)之一。

結(jié)論

我希望這篇文章能讓你看到 GPU 編程并不像你可能聽說的那么困難。如果使用標(biāo)準(zhǔn)語言并行性，甚至可能不需要任何代碼更改。

NVIDIA 鼓勵您先編寫并行應(yīng)用程序，這樣就不需要將應(yīng)用程序“移植”到新平臺，而標(biāo)準(zhǔn)語言并行是實(shí)現(xiàn)這一點(diǎn)的最佳方法，因?yàn)樗恍枰?ISO 標(biāo)準(zhǔn)語言。這就是為什么我們繼續(xù)投資于 ISO 編程語言，并為這些語言帶來更多并行和并發(fā)特性。

總之，使用標(biāo)準(zhǔn)語言并行性有以下好處：

完全符合 ISO 語言，從而產(chǎn)生更可移植的代碼

更緊湊、更易于閱讀、不易出錯的代碼

默認(rèn)情況下是并行的代碼，因此它可以在更多平臺上運(yùn)行而無需修改

關(guān)于作者

Jeff Larkin 是 NVIDIA HPC 軟件團(tuán)隊(duì)的首席 HPC 應(yīng)用程序架構(gòu)師。他熱衷于高性能計算并行編程模型的發(fā)展和采用。他曾是 NVIDIA 開發(fā)人員技術(shù)小組的成員，專門從事高性能計算應(yīng)用程序的性能分析和優(yōu)化。 Jeff 還是 OpenACC 技術(shù)委員會主席，曾在 OpenACC 和 OpenMP 標(biāo)準(zhǔn)機(jī)構(gòu)工作。在加入NVIDIA 之前，杰夫在位于橡樹嶺國家實(shí)驗(yàn)室的克雷超級計算卓越中心工作。

審核編輯：郭婷