江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）自主研發(fā)的StackRUNS異構(gòu)分布式推理框架已在實(shí)際場景中取得顯著成效，成功應(yīng)用于大型園區(qū)多模態(tài)模型演練及高校滿血版DeepSeek-MoE 671B的運(yùn)行，有效推動(dòng)了大模型技術(shù)的快速落地。

案例一：大型園區(qū)多模態(tài)模型演練

案例背景：

由于建設(shè)分期不同及承建單位多樣，該智慧園區(qū)的AI基礎(chǔ)設(shè)施呈現(xiàn)出高度異構(gòu)特征，包括NVIDIA T4、NVIDIA 3090、Atlas 300I DUO等多種AI加速設(shè)備，并在不同場景下協(xié)同運(yùn)行。這些設(shè)備承擔(dān)著包括人流密度監(jiān)測、人臉識別、車牌抓拍等計(jì)算機(jī)視覺任務(wù)，系統(tǒng)負(fù)載、資源調(diào)度與運(yùn)維策略已形成穩(wěn)定運(yùn)行機(jī)制。

近期，該園區(qū)在安防升級過程中面臨一項(xiàng)臨時(shí)但復(fù)雜的智能分析挑戰(zhàn)：在突發(fā)事件響應(yīng)、演練預(yù)警或夜間非業(yè)務(wù)時(shí)段，需臨時(shí)部署并運(yùn)行多模態(tài)大模型，實(shí)現(xiàn)圖文聯(lián)合理解、行為鏈條分析、場景異常檢測等復(fù)雜推理任務(wù)。該需求需在不增加硬件投入、不影響現(xiàn)有業(yè)務(wù)運(yùn)行的前提下完成。

應(yīng)對方案：

為應(yīng)對這一挑戰(zhàn)，潤和軟件自研的StackRUNS異構(gòu)分布式推理框架成為關(guān)鍵解決方案。該框架具備以下核心能力：

1. 異構(gòu)算力識別與建模：自動(dòng)識別各設(shè)備的計(jì)算能力、顯存規(guī)格與精度支持能力，為模型切片和任務(wù)分配提供實(shí)時(shí)依據(jù)；

2. 模型智能切分與并行執(zhí)行：支持基于專家路由與自動(dòng)切分策略，將超大模型按需劃分為多個(gè)計(jì)算子任務(wù)，分布式調(diào)度到可用節(jié)點(diǎn)；

3. 輕量級調(diào)度與動(dòng)態(tài)推理通路編排：在不干擾現(xiàn)有CV業(yè)務(wù)的前提下，構(gòu)建獨(dú)立推理通路，臨時(shí)占用空閑資源執(zhí)行推理任務(wù)，任務(wù)完成后自動(dòng)回收；

4. 混合精度與量化模型支持：支持INT8、INT4等低精度模型快速加載，提升內(nèi)存利用率與執(zhí)行效率；

5. 統(tǒng)一通信與高效協(xié)同機(jī)制：通過通信適配層封裝多協(xié)議通信接口，實(shí)現(xiàn)多設(shè)備間高效數(shù)據(jù)傳輸與協(xié)同執(zhí)行。

StackRUNS多模態(tài)模型場景圖

應(yīng)用效果：

StackRUNS幫助超大模型在資源受限、基礎(chǔ)設(shè)施異構(gòu)的環(huán)境中，實(shí)現(xiàn)“即需即調(diào)、彈性運(yùn)行、無感部署”的能力，顯著提升園區(qū)對突發(fā)安防場景的智能響應(yīng)水平，為大模型在城市級AI基礎(chǔ)設(shè)施中的靈活應(yīng)用提供了可復(fù)制范式。

案例二：高校運(yùn)行滿血版DeepSeek-MoE 671B

案例背景：

某高校在人工智能教學(xué)與科研實(shí)踐中，面臨運(yùn)行超大規(guī)模模型的現(xiàn)實(shí)挑戰(zhàn)。一方面，教學(xué)樓、實(shí)驗(yàn)樓與計(jì)算中心分布著多種異構(gòu)計(jì)算資源，包括GPU、NPU設(shè)備及部分高性能CPU節(jié)點(diǎn)；另一方面，受限于經(jīng)費(fèi)與硬件條件，難以通過集中式部署滿足超大模型推理需求。

為此，該高校引入潤和軟件自研的StackRUNS異構(gòu)分布式推理框架，成功在現(xiàn)有資源基礎(chǔ)上部署并運(yùn)行了DeepSeek-MoE 671B級別的多模態(tài)大模型。

攻克難點(diǎn)：

1. 通信開銷高，跨設(shè)備、節(jié)點(diǎn)推理效率受限：傳統(tǒng)通信架構(gòu)難以適配異構(gòu)環(huán)境，頻繁阻塞；

2. 模型規(guī)模大、結(jié)構(gòu)復(fù)雜度高：單個(gè)子模型或路由后激活路徑仍需百GB級顯存支撐，傳統(tǒng)GPU、NPU單卡難以支撐模型加載與中間態(tài)存儲；

3. 切片并行策略自動(dòng)生成難：模型需劃分為跨卡跨節(jié)點(diǎn)子圖，兼顧通信代價(jià)、算子依賴與硬件負(fù)載能力，自動(dòng)化策略生成復(fù)雜；

4. 模型運(yùn)行狀態(tài)監(jiān)控與可視化困難：推理過程中需監(jiān)控路由結(jié)果、設(shè)備負(fù)載、通信代價(jià)、緩存命中率等。

通過StackRUNS部署滿血版DeepSeek示例圖

最終效果：

借助StackRUNS，高校成功打通了異構(gòu)設(shè)備之間的算力協(xié)同壁壘，實(shí)現(xiàn)了超大模型的低門檻部署與高效推理，廣泛應(yīng)用于圖文語義理解、跨模態(tài)知識挖掘、學(xué)生AI實(shí)驗(yàn)等場景。該方案不僅顯著提升了設(shè)備利用率與推理任務(wù)執(zhí)行效率，也加速了人工智能專業(yè)課程與科研課題向真實(shí)算力環(huán)境的落地驗(yàn)證，真正實(shí)現(xiàn)了“在資源有限條件下，用分布式智能拼出超級算力”，為高校人工智能教學(xué)與科研提供了強(qiáng)有力的技術(shù)支撐。

江蘇潤和軟件股份有限公司（簡稱“潤和軟件”）成立于2006年，2012年在深圳證券交易所創(chuàng)業(yè)板上市（證券代碼：300339），是國家重點(diǎn)規(guī)劃布局內(nèi)的大型軟件企業(yè)。公司總部位于南京，在北京、上海、深圳、香港等22個(gè)國內(nèi)主要城市設(shè)有研發(fā)中心或分子公司，在日本、美國、新加坡等國設(shè)有海外分支機(jī)構(gòu)，全球員工約13000人，擁有全球化的技術(shù)整合、客戶響應(yīng)與服務(wù)到達(dá)能力。

秉承“做民族軟件脊梁，擔(dān)世界進(jìn)步責(zé)任”的使命，潤和軟件致力成為“中國數(shù)智技術(shù)與服務(wù)創(chuàng)新的引領(lǐng)者”，通過國產(chǎn)化、數(shù)字化、智能化創(chuàng)新技術(shù)，軟硬件一體化解決方案能力及全生命周期軟件服務(wù)體系，激活行業(yè)新動(dòng)能、發(fā)展新質(zhì)生產(chǎn)力，助力廣大客戶數(shù)字化轉(zhuǎn)型和智能化升級。