5月17日，神州鯤泰智算中國(guó)行北京站盛大召開。在本次活動(dòng)上，神州鯤泰針對(duì)用戶對(duì)大模型訓(xùn)練、大算力需求的痛點(diǎn)，重磅發(fā)布多云異構(gòu)環(huán)境下智算中心綠色著陸的產(chǎn)品及方案，包含異構(gòu)智算調(diào)度運(yùn)營(yíng)平臺(tái)HISO、異構(gòu)智算加速平臺(tái)HICA以及一體化交付的神州鯤泰全液冷整機(jī)柜產(chǎn)品。幫助企業(yè)客戶在整個(gè)異構(gòu)智算資源池中匹配更優(yōu)算力組合、有效提升GPU服務(wù)器集群的資源使用效率、有效解決節(jié)點(diǎn)和節(jié)點(diǎn)間互聯(lián)的能耗問(wèn)題，助力企業(yè)構(gòu)建性能更優(yōu)、成本更低、能效更高、能耗更低的智算基礎(chǔ)設(shè)施底座。

神州數(shù)碼信創(chuàng)業(yè)務(wù)集團(tuán)副總裁、研發(fā)中心總經(jīng)理周川

異構(gòu)智算時(shí)代，企業(yè)智算落地如何降本增效？

在全新的異構(gòu)智算時(shí)代，多云異構(gòu)智算基礎(chǔ)設(shè)施已成為必然，一個(gè)獨(dú)特的“智算攢機(jī)時(shí)代”，正在呼喚全新的智算架構(gòu)。與此同時(shí)，隨著大模型和生成式AI加速落地，大量的模型訓(xùn)練和推理任務(wù)，在喚醒底層算力海量需求的同時(shí)，也對(duì)資源利用率提出了巨大挑戰(zhàn)。有關(guān)資料顯示，OpenAI訓(xùn)練GPT-4的MFU（Model Flops Utility）在32%到36%之間。而目前行業(yè)MFU利用率的平均水平僅為30%~40%，智算資源利用率的提升將為企業(yè)節(jié)省大量成本。

能耗是另一個(gè)大的挑戰(zhàn)，算力本身會(huì)成為主要的能耗和二氧化碳排放來(lái)源，更不用說(shuō)GPU的能耗本身是CPU能耗的2倍以上。根據(jù)MIT研究表明，未來(lái)人類需要為人工智能相關(guān)應(yīng)用新增10%的能源需求，形象的說(shuō)，“煉”大模型會(huì)比煉鋼還費(fèi)電。對(duì)于一個(gè)企業(yè)來(lái)說(shuō)，每新增一個(gè)用于智算的機(jī)架，其運(yùn)行一年約等于增加15w度電，夠100個(gè)家庭生活用電一年，約排放1.5噸二氧化碳，能耗和碳排放都十分巨大。

盡精微，神州鯤泰“雙管齊下”提升算力資源利用率

神州鯤泰推出異構(gòu)智算調(diào)度運(yùn)營(yíng)平臺(tái)HISO、異構(gòu)智算加速平臺(tái)HICA，有效解決智算集群間以及集群內(nèi)面臨的復(fù)雜異構(gòu)兼容問(wèn)題，顯著提升算力資源的利用率。

神州鯤泰異構(gòu)智算調(diào)度運(yùn)營(yíng)平臺(tái)HISO基于云原生技術(shù)，整合GPU硬分片和虛擬分片技術(shù)，能實(shí)現(xiàn)GPU資源虛擬化或池化，完成跨集群之間的算力調(diào)度。根據(jù)用戶業(yè)務(wù)需求，該平臺(tái)可以在整個(gè)異構(gòu)智算資源池中匹配優(yōu)選算力組合，提升GPU服務(wù)器集群的資源使用率。神州鯤泰異構(gòu)智算調(diào)度運(yùn)營(yíng)平臺(tái)HISO擁有將國(guó)內(nèi)外GPU資源混合組網(wǎng)、混搭調(diào)度，算力精細(xì)隔離等關(guān)鍵能力，可以“像管理一臺(tái)GPU主機(jī)一樣，管理和調(diào)度多個(gè)集群的GPU資源”。通過(guò)GPU容器直通、IaaS卸載，該平臺(tái)加速了模型加載時(shí)間，相比傳統(tǒng)方式，模型加載速度提升３倍。同時(shí)還能實(shí)時(shí)收集智算中心全棧、全鏈路指標(biāo)，發(fā)現(xiàn)和定位軟硬件故障，實(shí)現(xiàn)算力可觀測(cè)性。

神州鯤泰異構(gòu)智算加速平臺(tái)HICA則著重解決集群內(nèi)部的算力調(diào)度優(yōu)化問(wèn)題，通過(guò)屏蔽集群內(nèi)底層算力生態(tài)差異，突破關(guān)鍵計(jì)算效率瓶頸，有效提升算力利用率與可用性。神州鯤泰異構(gòu)智算加速平臺(tái)HICA通過(guò)自研的服務(wù)層、中間適配層以及調(diào)度編排算法，采用數(shù)據(jù)并行、模型并行等方式，把并行計(jì)算任務(wù)進(jìn)行有效分解，匹配相應(yīng)的軟件棧和算力資源來(lái)承接。當(dāng)GPU資源變化，該平臺(tái)可以實(shí)時(shí)動(dòng)態(tài)調(diào)度計(jì)算子任務(wù)并調(diào)整模型拓?fù)浜图軜?gòu)，以充分聚合各種算力資源。

神州鯤泰異構(gòu)智算加速平臺(tái)HICA具有一云多芯特性，支持國(guó)內(nèi)外主流AI芯片，可實(shí)現(xiàn)訓(xùn)練推理任務(wù)在不同品牌、不同型號(hào)芯片組成的智算集群中的混合訓(xùn)練推理，預(yù)計(jì)可降低20%閑置算力。

此外，根據(jù)不同模型、不同算子之間集合通信流特點(diǎn)，該平臺(tái)還可自適應(yīng)選擇最合適的通信參數(shù)，達(dá)到更高的通信效率。同時(shí)，在不同模型運(yùn)行過(guò)程中，充分考慮存算比要求的不同，異構(gòu)智算加速平臺(tái)HICA還可從宏觀到微觀多個(gè)尺度選擇最合適的存算比資源加載模型，加速吞吐，降低時(shí)延，使MFU提升10~20%，MBU提升5%。

硅光+液冷冷卻跳動(dòng)的電表，一體化交付讓客戶省時(shí)省力

隨著生成式AI落地對(duì)算力需求的暴漲、帶寬的狂飆提速，智算中心節(jié)點(diǎn)的高能耗痛點(diǎn)日益加劇。而以一個(gè)萬(wàn)卡智算中心為例，采用200G接口互聯(lián)，需要約80000個(gè)光模塊，其互聯(lián)所需的能耗則占到總體的5%。節(jié)點(diǎn)間互聯(lián)的高能耗問(wèn)題也日益凸顯。

針對(duì)節(jié)點(diǎn)間互聯(lián)的能耗問(wèn)題，神州鯤泰采用硅光技術(shù)，通過(guò)單光源多調(diào)制器，降低調(diào)制器電壓，同時(shí)采用分布式反饋激光器等一系列技術(shù)，有效降低25%的互聯(lián)能耗。

同時(shí)，針對(duì)節(jié)點(diǎn)的能耗問(wèn)題，神州鯤泰推出液冷服務(wù)器，通過(guò)一體化冷板，智能流量調(diào)節(jié)來(lái)提升系統(tǒng)的散熱效率，采用負(fù)壓管線系統(tǒng)，漏液近端探測(cè)技術(shù)，并聯(lián)動(dòng)服務(wù)管控系統(tǒng)提升冷卻系統(tǒng)的可靠性，有效降低30%的節(jié)點(diǎn)能耗。

而為了幫助客戶規(guī)避接口多、接頭復(fù)雜、現(xiàn)場(chǎng)實(shí)施部署難度大、實(shí)施周期長(zhǎng)等難題，數(shù)云原力大會(huì)2024開幕式上，神州鯤泰正式發(fā)布“KunTai Pod2000全液冷整機(jī)柜”方案產(chǎn)品。采用一體化交付方式，有效降低部署和運(yùn)維的復(fù)雜度的同時(shí)，整機(jī)柜還能實(shí)現(xiàn)100%全液冷及高性價(jià)比液冷方案，助力數(shù)據(jù)中心PUE邁向1.15，并且憑借60KW+的最大單柜功率，實(shí)現(xiàn)1.5倍于行業(yè)平均水平的能效比，在為客戶提供強(qiáng)大算力的同時(shí)有效控制能耗成本。

神州鯤泰整機(jī)柜產(chǎn)品搭載鯤鵬+昇騰主板，一體化交付的方式已經(jīng)在運(yùn)營(yíng)商客戶得到落地驗(yàn)證，廣受好評(píng)，硅光+液冷更是讓整機(jī)柜產(chǎn)品得到全面升級(jí)，為客戶打造出功能更強(qiáng)、能耗更低、效率更高的智算中心。

隨著2022年底ChatGPT的問(wèn)世，AI正成為推動(dòng)創(chuàng)新的核心引擎?，F(xiàn)在的IT基礎(chǔ)架構(gòu)已經(jīng)到了一個(gè)由模型和算力相互促進(jìn)，螺旋上升的新發(fā)展階段。面對(duì)新的發(fā)展機(jī)遇，神州鯤泰從智算中心系統(tǒng)整體性能提升出發(fā)，提出了走新智算架構(gòu)之路的策略，建立了高通量、高并行、高效率，低能耗的多樣化智算架構(gòu)。新的智算架構(gòu)能夠快部署、低投入地突破算力瓶頸，構(gòu)建出性能更優(yōu)、成本更低、能效更高的智算中心。未來(lái)每個(gè)智算中心，每臺(tái)計(jì)算機(jī)都將是這樣一種新的智算架構(gòu)，從而實(shí)現(xiàn)算力的普惠。

審核編輯 黃宇