Ian Finder，加速高性能計(jì)算基礎(chǔ)架構(gòu)高級(jí)項(xiàng)目經(jīng)理

當(dāng)前，使用大規(guī)模AI模型執(zhí)行大量任務(wù)的趨勢(shì)正在改變AI的構(gòu)建方式。在微軟Build 2020上，我們利用Azure最先進(jìn)的AI超級(jí)計(jì)算和支持下一代AI的新型大規(guī)模AI模型，分享了我們“AI at Scale”的愿景。大規(guī)模模型的優(yōu)勢(shì)在于，僅需使用AI超級(jí)計(jì)算，基于海量數(shù)據(jù)，對(duì)其進(jìn)行一次大規(guī)模訓(xùn)練，而后模型就能通過自身“微調(diào)”，基于更小的數(shù)據(jù)集及資源來處理不同的任務(wù)、應(yīng)對(duì)不同的領(lǐng)域。模型參數(shù)越多，就越能更好地捕獲數(shù)據(jù)之間的細(xì)微差別。例如，我們的Turing Natural Language Generation（T-NLG）模型具有170億參數(shù)，能夠理解語(yǔ)言，因此可以在第一時(shí)間回答問題或總結(jié)首次看到的文件。此類自然語(yǔ)言模型，比一年前最先進(jìn)的模型大得多，與早期以圖像為中心的模型相比，更是大出好幾個(gè)數(shù)量級(jí)，而且支持Bing、Word、Outlook和Dynamics中的任務(wù)。

為訓(xùn)練此類大規(guī)模的模型，需要將具備專用AI加速器的數(shù)百臺(tái)機(jī)器組合成為大型集群，這些加速器通過機(jī)器內(nèi)部和機(jī)器之間的高帶寬網(wǎng)絡(luò)互連。為使所有微軟產(chǎn)品具備全新自然語(yǔ)言生成和理解的能力，并支持OpenAI完成“建立安全的通用AI”的使命，我們不斷在Azure中構(gòu)建這樣的集群。我們最新的集群具備強(qiáng)大的聚合計(jì)算能力，因此被稱為AI超級(jí)計(jì)算機(jī)，其中有一臺(tái)專為OpenAI打造，已躋身全球前五大公開發(fā)布的超級(jí)計(jì)算機(jī)。得益于這臺(tái)超級(jí)計(jì)算機(jī)，OpenAI在5月發(fā)布了其1750億參數(shù)GPT-3模型，該模型可完成多種未進(jìn)行過針對(duì)性訓(xùn)練的任務(wù)，如詩(shī)歌寫作或翻譯。

我們?cè)诠芾泶笠?guī)模計(jì)算集群、領(lǐng)先網(wǎng)絡(luò)設(shè)計(jì)和軟件堆棧（包括Azure機(jī)器學(xué)習(xí)、ONNX運(yùn)行時(shí)和其他Azure AI服務(wù)）時(shí)，所采取的方法與我們的AI at Scale 戰(zhàn)略保持高度一致。一路以來的創(chuàng)新將使Azure能夠更好地滿足客戶各種規(guī)模的AI需求。例如，在NDv2虛擬機(jī)系列中，Azure是第一個(gè)，也是唯一一個(gè)提供NVIDIA V100 Tensor Core GPU虛擬機(jī)集群的公有云，這些集群通過高帶寬、低延遲的NVIDIA Mellanox InfiniBand網(wǎng)絡(luò)互連。這種創(chuàng)新如同將高端賽車行業(yè)所開創(chuàng)的汽車技術(shù)，應(yīng)用于我們?nèi)粘ｑ{駛的普通汽車。

前沿創(chuàng)新規(guī)模空前

OpenAI首席執(zhí)行官Sam Altman 表示：“若要將AI發(fā)展成為通用智能，那么在某種程度上就需要強(qiáng)大的系統(tǒng)來訓(xùn)練日益強(qiáng)大的模型。如今我們終于擁有了所需的算力。Azure AI及其超算能力為我們提供了領(lǐng)先的系統(tǒng)，讓我們能夠加速創(chuàng)新進(jìn)程。”

通過不斷創(chuàng)新，Azure宣布推出全新ND A100 v4虛擬機(jī)系列，這是我們迄今為止功能最強(qiáng)大、可擴(kuò)展性最強(qiáng)的AI虛擬機(jī)。該虛擬機(jī)可根據(jù)需求，通過數(shù)百臺(tái)虛擬機(jī)調(diào)用八至數(shù)千個(gè)互連NVIDIA GPU。

最基本的ND A100 v4 虛擬機(jī)系列由一臺(tái)虛擬機(jī)和八個(gè)NVIDIA Ampere A100 Tensor Core GPU組成。但如同人腦由相互連接的神經(jīng)元組成一樣，ND A100 v4集群可以擴(kuò)展到數(shù)千個(gè)GPU，且每臺(tái)虛擬機(jī)都具有1.6 TB互連帶寬，這是前所未有的。每個(gè)GPU均具有專屬200 GB/s NVIDIA Mellanox HDR InfiniBand連接，兼容所有拓?fù)浣Y(jié)構(gòu)。數(shù)十、數(shù)百甚至數(shù)千個(gè)GPU均可連接到同一個(gè)Mellanox InfiniBand HDR集群進(jìn)行工作，從而實(shí)現(xiàn)任何級(jí)別的AI目標(biāo)。由于專用的GPU互連帶寬比任何其他公有云產(chǎn)品高16倍，因此可以更快地實(shí)現(xiàn)任何AI目標(biāo)，如從零開始訓(xùn)練模型、繼續(xù)使用自己的數(shù)據(jù)進(jìn)行訓(xùn)練或針對(duì)特定任務(wù)進(jìn)行微調(diào)等。

ND A100 v4虛擬機(jī)系列由內(nèi)置全新Azure AMD Rome的平臺(tái)提供支持，該平臺(tái)所有主要系統(tǒng)組件均符合最新的硬件標(biāo)準(zhǔn)，如PCIe Gen4。PCIe Gen 4和NVIDIA第三代NVLINK架構(gòu)可為每臺(tái)虛擬機(jī)實(shí)現(xiàn)最快的GPU互連，使數(shù)據(jù)在系統(tǒng)中的傳輸速度提升2倍以上。

大多數(shù)客戶無需開展任何技術(shù)工作，即可將其計(jì)算性能提升至基于上一代NVIDIA V100 GPU的系統(tǒng)的2至3倍。如果客戶使用具備結(jié)構(gòu)化稀疏加速、高精度Tensor Core核心和多實(shí)例GPU（MIG）功能的全新A100，可將性能提高多達(dá)20倍。

NVIDIA加速計(jì)算總經(jīng)理兼副總裁Ian Buck表示：“Azure利用NVIDIA最先進(jìn)的計(jì)算和網(wǎng)絡(luò)功能構(gòu)建了一個(gè)令人難以置信的大型云端AI平臺(tái)。其具備的彈性架構(gòu)，可將NVIDIA A100 GPU上的單一分區(qū)擴(kuò)展至數(shù)千個(gè)通過NVIDIA Mellanox InfiniBand互連的A100 GPU。得益于該彈性架構(gòu)，Azure客戶可運(yùn)行全球最高要求的AI工作負(fù)載?！?/p>

ND A100 v4 虛擬機(jī)系列運(yùn)用VM Scale Set等Azure核心可擴(kuò)展模塊，可對(duì)任何規(guī)模的集群進(jìn)行自動(dòng)、動(dòng)態(tài)且透明的配置，讓所有人在任何地方都可以實(shí)現(xiàn)各種規(guī)模的AI，甚至可以在數(shù)分鐘內(nèi)按需對(duì)AI超級(jí)計(jì)算機(jī)進(jìn)行實(shí)例化。隨后，便可使用Azure機(jī)器學(xué)習(xí)服務(wù)，獨(dú)立訪問虛擬機(jī)或啟動(dòng)、管理整個(gè)集群的訓(xùn)練任務(wù)。

ND A100 v4虛擬機(jī)系列和集群目前可供預(yù)覽，之后將成為Azure產(chǎn)品組合中的標(biāo)準(zhǔn)產(chǎn)品，讓所有人都能夠在云端挖掘AI at Scale的潛力。