5月28日，浪潮信息發(fā)布“源2.0-M32”開(kāi)源大模型?！霸?.0-M32”在基于”源2.0”系列大模型已有工作基礎(chǔ)上，創(chuàng)新性地提出和采用了“基于注意力機(jī)制的門控網(wǎng)絡(luò)”技術(shù)，構(gòu)建包含32個(gè)專家（Expert）的混合專家模型（MoE），并大幅提升了模型算力效率，模型運(yùn)行時(shí)激活參數(shù)為37億，在業(yè)界主流基準(zhǔn)評(píng)測(cè)中性能全面對(duì)標(biāo)700億參數(shù)的LLaMA3開(kāi)源大模型。

■ 算法層面，源2.0-M32提出并采用了一種新型的算法結(jié)構(gòu)：基于注意力機(jī)制的門控網(wǎng)絡(luò)（Attention Router），針對(duì)MoE模型核心的專家調(diào)度策略，這種新的算法結(jié)構(gòu)關(guān)注專家模型之間的協(xié)同性度量，有效解決傳統(tǒng)門控網(wǎng)絡(luò)下，選擇兩個(gè)或多個(gè)專家參與計(jì)算時(shí)關(guān)聯(lián)性缺失的問(wèn)題，使得專家之間協(xié)同處理數(shù)據(jù)的水平大為提升。源2.0-M32采用源2.0-2B為基礎(chǔ)模型設(shè)計(jì)，沿用并融合局部過(guò)濾增強(qiáng)的注意力機(jī)制（LFA, Localized Filtering-based Attention），通過(guò)先學(xué)習(xí)相鄰詞之間的關(guān)聯(lián)性，然后再計(jì)算全局關(guān)聯(lián)性的方法，能夠更好地學(xué)習(xí)到自然語(yǔ)言的局部和全局的語(yǔ)言特征，對(duì)于自然語(yǔ)言的關(guān)聯(lián)語(yǔ)義理解更準(zhǔn)確，進(jìn)而提升了模型精度。

Figure1基于注意力機(jī)制的門控網(wǎng)絡(luò)（Attention Router）

■ 數(shù)據(jù)層面，源2.0-M32基于2萬(wàn)億的token進(jìn)行訓(xùn)練、覆蓋萬(wàn)億量級(jí)的代碼、中英文書籍、百科、論文及合成數(shù)據(jù)。大幅擴(kuò)展代碼數(shù)據(jù)占比至47.5%，從6類最流行的代碼擴(kuò)充至619類，并通過(guò)對(duì)代碼中英文注釋的翻譯，將中文代碼數(shù)據(jù)量增大至1800億token。結(jié)合高效的數(shù)據(jù)清洗流程，滿足大模型訓(xùn)練“豐富性、全面性、高質(zhì)量”的數(shù)據(jù)集需求。基于這些數(shù)據(jù)的整合和擴(kuò)展，源2.0-M32在代碼生成、代碼理解、代碼推理、數(shù)學(xué)求解等方面有著出色的表現(xiàn)。

■ 算力層面，源2.0-M32采用了非均勻流水并行的方法，綜合運(yùn)用流水線并行+數(shù)據(jù)并行的策略，顯著降低了大模型對(duì)芯片間P2P帶寬的需求，為硬件差異較大訓(xùn)練環(huán)境提供了一種高性能的訓(xùn)練方法。針對(duì)MoE模型的稀疏專家計(jì)算，采用合并矩陣乘法的方法，模算效率得到大幅提升。

基于在算法、數(shù)據(jù)和算力方面全面創(chuàng)新，源2.0-M32的性能得以大幅提升，在多個(gè)業(yè)界主流的評(píng)測(cè)任務(wù)中，展示出了較為先進(jìn)的能力表現(xiàn)，在MATH（數(shù)學(xué)競(jìng)賽）、ARC-C（科學(xué)推理）榜單上超越了擁有700億參數(shù)的LLaMA3大模型。

Figure2 源2.0-M32業(yè)界主流評(píng)測(cè)任務(wù)表現(xiàn)

源2.0-M32大幅提升了模型算力效率，在實(shí)現(xiàn)與業(yè)界領(lǐng)先開(kāi)源大模型性能相當(dāng)?shù)耐瑫r(shí)，顯著降低了在模型訓(xùn)練、微調(diào)和推理所需的算力開(kāi)銷。在模型推理運(yùn)行階段，M32處理每token所需算力為7.4GFLOPs，而LLaMA3-70B所需算力為140GFLOPs。在模型微調(diào)訓(xùn)練階段，對(duì)1萬(wàn)條平均長(zhǎng)度為1024 token的樣本進(jìn)行全量微調(diào)，M32消耗算力約0.0026PD(PetaFLOPs/s-day)，而LLaMA3消耗算力約為0.05PD。M32憑借特別優(yōu)化設(shè)計(jì)的模型架構(gòu)，在僅激活37億參數(shù)的情況下，取得了和700億參數(shù)LLaMA3相當(dāng)?shù)男阅芩?，而所消耗算力僅為L(zhǎng)LaMA3的1/19，從而實(shí)現(xiàn)了更高的模算效率。

浪潮信息人工智能首席科學(xué)家吳韶華表示：當(dāng)前業(yè)界大模型在性能不斷提升的同時(shí)，也面臨著所消耗算力大幅攀升的問(wèn)題，對(duì)企業(yè)落地應(yīng)用大模型帶來(lái)了極大的困難和挑戰(zhàn)。源2.0-M32是浪潮信息在大模型領(lǐng)域持續(xù)耕耘的最新探索成果，通過(guò)在算法、數(shù)據(jù)、算力等方面的全面創(chuàng)新，M32不僅可以提供與業(yè)界領(lǐng)先開(kāi)源大模型相當(dāng)?shù)男阅埽梢源蠓档痛竽Ｐ退杷懔ο摹?strong>大幅提升的模算效率將為企業(yè)開(kāi)發(fā)應(yīng)用生成式AI提供模型高性能、算力低門檻的高效路徑。M32開(kāi)源大模型配合企業(yè)大模型開(kāi)發(fā)平臺(tái)EPAI（Enterprise Platform of AI），將助力企業(yè)實(shí)現(xiàn)更快的技術(shù)迭代與高效的應(yīng)用落地，為人工智能產(chǎn)業(yè)的發(fā)展提供堅(jiān)實(shí)的底座和成長(zhǎng)的土壤，加速產(chǎn)業(yè)智能化進(jìn)程。