在數(shù)字化轉(zhuǎn)型和智能化升級(jí)的大背景下，數(shù)據(jù)的處理和計(jì)算能力的部署正逐漸向網(wǎng)絡(luò)邊緣和設(shè)備邊緣轉(zhuǎn)移。這種轉(zhuǎn)變不僅能夠顯著降低應(yīng)用的響應(yīng)延遲，確保數(shù)據(jù)安全，還能夠減少對(duì)集中式云服務(wù)和核心網(wǎng)絡(luò)的依賴，同時(shí)提升對(duì)多樣化應(yīng)用場(chǎng)景的適應(yīng)性和服務(wù)能力。隨著大模型和人工智能領(lǐng)域的快速發(fā)展，算力需求將愈發(fā)成為制約企業(yè)轉(zhuǎn)型、成長(zhǎng)的因素。

從邊緣計(jì)算向邊緣智算邁進(jìn)

隨著邊緣計(jì)算逐步進(jìn)入穩(wěn)健發(fā)展期，使用單一邊緣計(jì)算技術(shù)構(gòu)建的應(yīng)用難以充分發(fā)揮其價(jià)值。2023年，大模型的突破和生成式 AI 的興起，帶來(lái)了新的技術(shù)發(fā)展轉(zhuǎn)折點(diǎn)，重塑算力格局。邊緣計(jì)算與 AI 的結(jié)合尤為亮眼，帶來(lái)了各種本地化的智能邊緣應(yīng)用，如智慧交通、智能制造和智慧零售等。

為滿足大模型在行業(yè)和企業(yè)的落地，基礎(chǔ)大模型會(huì)結(jié)合行業(yè)獨(dú)有的知識(shí)、流程和數(shù)據(jù)資源，彌合技術(shù)與需求間的差距，進(jìn)一步分化為行業(yè)大模型或企業(yè)大模型。在生成式 AI 的驅(qū)動(dòng)力下，邊緣計(jì)算加速向邊緣智算邁進(jìn)，邊緣智算承載行業(yè)/企業(yè)大模型，滿足無(wú)處不在的智能化需求，為數(shù)字化轉(zhuǎn)型與智能化升級(jí)提供強(qiáng)大的技術(shù)支撐。不僅可以保證私有數(shù)據(jù)的調(diào)用安全，降低云端微調(diào)或推理的成本，還可以降低網(wǎng)絡(luò)延時(shí)，滿足用戶個(gè)性化的表達(dá)需求，助力落地“人工智能+”的最后一公里。

大模型時(shí)代

邊緣智算面臨的挑戰(zhàn)

大模型工作負(fù)載主要分成兩類(lèi)：訓(xùn)練和推理。其中，訓(xùn)練的工作負(fù)載用于訓(xùn)練人工智能模型，如 GPT4、LLM，推理的工作負(fù)載用于接受用戶的輸入，產(chǎn)生對(duì)應(yīng)的輸出。

相對(duì)來(lái)說(shuō)，訓(xùn)練所需的算力資源遠(yuǎn)遠(yuǎn)高于推理，因此對(duì)應(yīng)的算力資源需求也有所差異。在這個(gè)背景下，企業(yè)在邊緣使用大模型通常會(huì)遇到以下挑戰(zhàn)：算力需求多元、算力成本需不斷優(yōu)化、部署環(huán)境較為苛刻和計(jì)算架構(gòu)多樣且管理復(fù)雜。

基于英特爾 至強(qiáng) 可擴(kuò)展處理器的

邊緣服務(wù)器

為了有效應(yīng)對(duì)大模型時(shí)代邊緣智算的挑戰(zhàn)，浪潮信息構(gòu)建了全棧的邊緣計(jì)算產(chǎn)品家族，包括四大硬件產(chǎn)品系列、支撐邊緣海量設(shè)備終端的三大管理軟件，以及邊緣 AI、云邊協(xié)同等多種解決方案。搭載第五代英特爾至強(qiáng)可擴(kuò)展處理器的2U元腦 邊緣服務(wù)器 NE5260G7 和 1U元腦邊緣服務(wù)器 NE3160G7，融合了英特爾最新的處理器技術(shù)，支持多種加速算力選項(xiàng)。不僅提供了卓越的計(jì)算性能和能效，還具備強(qiáng)大的 AI 推理能力，支持國(guó)內(nèi)主流大模型及行業(yè)大模型應(yīng)用。

基于第五代英特爾 至強(qiáng) 可擴(kuò)展處理器的元腦 邊緣服務(wù)器 NE5260G7，是浪潮信息推出的旗艦 2U 雙路邊緣服務(wù)器，同時(shí)搭載面向邊緣的英特爾銳炫 GPU，提供了強(qiáng)大的大模型適配能力：

英特爾銳炫 GPU：基于X? HPG 微架構(gòu)構(gòu)建，包括 16GB 的大顯存以及稱為英特爾 X? Matrix Extensions（英特爾XMX）的專用 AI 加速硬件，這些內(nèi)核專門(mén)用于 AI 工作負(fù)載中常用的矩陣運(yùn)算，包括深度學(xué)習(xí)和大模型推理任務(wù)。

開(kāi)放標(biāo)準(zhǔn)軟件堆棧：基于英特爾的開(kāi)源 OpenVINO 工具套件，開(kāi)發(fā)者可以輕松編寫(xiě)能在 GPU、CPU 及其他硬件加速器上運(yùn)行的代碼，避免了供應(yīng)商鎖定和潛在的斷供風(fēng)險(xiǎn)。

全面的大模型支持：無(wú)論是國(guó)內(nèi)還是國(guó)外的主流大模型，NE5260G7 都能提供完善的訓(xùn)練和推理支持，滿足不同行業(yè)對(duì)于大模型應(yīng)用的需求。

元腦NE5260G7 支持高達(dá)近百 TB 的存儲(chǔ)容量，還可支持多種無(wú)線模組靈活接入，無(wú)論是面向 AI 算力、大模型應(yīng)用場(chǎng)景還是存儲(chǔ)場(chǎng)景，都能提供靈活的解決方案。

元腦 NE3160G7 則是針對(duì)小基站場(chǎng)景推出的解決方案，單機(jī)可處理128路攝像頭接入數(shù)據(jù)，靈活應(yīng)對(duì)貨架缺貨量分析、商品智能結(jié)算、客流量統(tǒng)計(jì)等各類(lèi) AI 推理任務(wù)。支持靈活的網(wǎng)絡(luò)和 AI 加速卡擴(kuò)展、適應(yīng)惡劣的邊緣環(huán)境，支持1588、GPS、級(jí)聯(lián)3類(lèi)時(shí)鐘同步通信，保證海量數(shù)據(jù)處理準(zhǔn)確無(wú)誤，可以穩(wěn)定用于智能基站、邊緣輕量化推理等場(chǎng)景。

同時(shí)，兩款產(chǎn)品均遵循最新的開(kāi)放計(jì)算 OTII (Open Telecom IT Infrastructure) 標(biāo)準(zhǔn)，設(shè)計(jì)緊湊，適應(yīng)性強(qiáng)，能夠輕松適應(yīng)各種邊緣環(huán)境。目前的應(yīng)用場(chǎng)景/實(shí)例有：

大模型推理

智能電網(wǎng)調(diào)度

智能AGV/AMR調(diào)度

智慧交通

智慧物流

小基站

結(jié)語(yǔ)

邊緣向 AI 而行，邊緣智算將無(wú)處不在。邊緣智算作為新一代計(jì)算模式與智能化服務(wù)的重要載體，正引領(lǐng)著數(shù)字化轉(zhuǎn)型與智能化升級(jí)的新潮流。生成式AI與邊緣計(jì)算的融合正在激發(fā)全行業(yè)數(shù)智化創(chuàng)新，英特爾將AI能力融入所有軟硬件產(chǎn)品與方案，力求云、網(wǎng)、邊、端每個(gè)觸點(diǎn)支持AI應(yīng)用，滿足客戶應(yīng)用場(chǎng)景多元復(fù)雜、數(shù)據(jù)多樣化、算力性能等挑戰(zhàn)。

英特爾將與浪潮信息等生態(tài)伙伴攜手共進(jìn)，共同推動(dòng)邊緣智算技術(shù)的創(chuàng)新與發(fā)展，為構(gòu)建更加智慧、高效、可持續(xù)的未來(lái)世界貢獻(xiàn)力量。