在近期舉行的處理器和系統(tǒng)工程師年度盛會Hot Chips上，NVIDIA 首席科學家 Bill Dally 發(fā)表了主題演講。在演講中，其描述了后摩爾定律時代計算機性能正在發(fā)生結構性的變化。

點擊觀看 Bill Dally 在 Hot Chips 主題演講完整視頻

他表示，每一款新處理器都具備獨創(chuàng)性，需要經(jīng)過不懈的努力，發(fā)明并驗證新的電子元件。這與上一代產(chǎn)品的開發(fā)截然不同，當時的工程師主要依賴于芯片更小、更快的物理特性。

Dally 在 NVIDIA Research 領導著一支 300 多人的團隊，過去十年間他們將單個 GPU 的 AI 推理性能提高了 1000 倍（詳見下圖）。

IEEE Spectrum 最先以 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的名字將這一驚人的性能提升命名為 "黃氏定律（Huang’s Law） "，后來《華爾街日報》的一篇專欄文章又讓該定律廣為流傳。

這樣的飆升速度是對以同樣驚人的速度崛起的大語言模型的回應，該模型用于生成式 AI，并且每年都以數(shù)量級的速度增長。

Dally 說："這為硬件行業(yè)的發(fā)展設定了步調(diào)，因為我們必須滿足這種需求。”

在演講中，Dally 詳細介紹了推動性能提升 1000 倍的要素。

其中，提升幅度最大的一次達到了 16 倍，這源于人們找到了更簡單的方法來表示計算機運算使用的數(shù)字。

新的運算方法

最新的 NVIDIA Hopper 架構及其 Transformer 引擎采用 8 位和 16 位浮點與整數(shù)運算的動態(tài)組合。這種運算方法專為滿足當今生成式 AI 模型的需求而量身定制。Dally 詳細介紹了該運算方法帶來的性能提升和節(jié)能效果。

Dally 領導的團隊通過編寫高級指令，指導 GPU 組織工作，實現(xiàn)了 12.5 倍的性能提升。這些復雜的指令有助于以更低的能耗做更多的工作。

因此，計算機就可以像“專用加速器一樣高效，同時保留 GPU 的所有可編程性”，Dally 介紹道。

此外，NVIDIA Ampere 架構還增加了結構化稀疏功能，這種創(chuàng)新方法可以在不影響模型精度的前提下簡化了 AI 模型的權重。Dally 表示，這項技術將性能提高了兩倍，并且未來有望實現(xiàn)更大的性能提升。

Dally 還介紹了可實現(xiàn) GPU 之間高速互聯(lián)的 NVLink 以及用于系統(tǒng)間的 NVIDIA 網(wǎng)絡如何使單個 GPU 的性能提高 1000 倍。

進步之路不止步

Dally 指出，盡管 NVIDIA 在過去十年里將 GPU 的半導體節(jié)點從 28 納米推進到 5 納米，但這種技術僅僅貢獻了性能提升總量的 2.5 倍。

與摩爾定律下的前一代計算機設計相比，這是巨大的轉變。摩爾定律認為，隨著芯片變得越來越小、越來越快，處理器的性能每隔兩年翻一倍。

登納德縮放比例定律（Dennard scaling）在某種程度上對此進行了描述。該定律由 IBM 科學家 Robert Denard 在 1974 年與人合著的一篇論文中提出。但遺憾的是，物理微縮遇到了自然限制，例如更小、更快的器件所能承受的熱量。

前景樂觀

Dally 表示，盡管摩爾定律提出的性能提升在放緩，但黃氏定律仍將繼續(xù)存在，他對此充滿信心。

例如，他概括介紹了未來的幾個機會，包括進一步簡化數(shù)字表示方式、在 AI 模型中創(chuàng)建更多稀疏性以及設計更優(yōu)的內(nèi)存和通信電路。

因為每一代新的芯片和系統(tǒng)都需要新的創(chuàng)新，所以這是屬于計算機工程師的美好時代，Dally 補充說。

Dally 相信，計算機設計領域的新動態(tài)為 NVIDIA 工程師們提供了他們最渴望的三個機會：成為致勝團隊的一員、與聰明人共事以及從事有影響力的設計。