近日，在高效適配Qwen3系列模型推理后，壁仞科技宣布完成旗艦版Qwen3-235B-A22B模型的訓練適配和優(yōu)化。由此，壁仞科技已實現(xiàn)Qwen3系列模型在國產GPU平臺的高效全棧式訓練與推理支持。

近日，阿里巴巴通義千問正式發(fā)布并開源8款新版Qwen3系列“混合推理模型”。從官方披露的數(shù)據(jù)來看，旗艦模型Qwen3-235B-A22B在代碼、數(shù)學、通用能力等基準測試中，與DeepSeek-R1等頂級模型相比，表現(xiàn)出極具競爭力的結果。

壁仞科技在Qwen3發(fā)布后數(shù)小時內完成了全系列模型的推理支持。受益于前期適配DeepSeek-V3滿血版訓練的關鍵技術和成功經(jīng)驗，壁仞科技進一步升級快速實現(xiàn)Qwen3-235B-A22B旗艦版最大參數(shù)量模型的訓練適配與優(yōu)化支持?；诒谪鹂萍甲匝蠱egatron-LM-BR訓練插件，用戶可實現(xiàn)大模型零代碼修改下無縫運行，開箱即用。

值得關注的是，Megatron-LM-BR融合了壁仞科技自主知識產權的三大核心技術：虛擬層+動態(tài)重排、Async Offload、多維算子融合，實現(xiàn)了適配通用性與訓練性能的雙重保障。

01業(yè)界首創(chuàng)"虛擬層+動態(tài)重排"技術

顯著降低流水線氣泡

阿里開源的Pai-Megatron-Patch發(fā)布了Qwen3 MoE 模型的最佳實踐，但Qwen3-235B-A22B模型包含94個Transformer Layer，其默認的策略如PP8無法均衡切分Layer導致無法使用Interleave with Virtual Pipeline高效流水線機制，因此造成流水線等待問題。壁仞科技基于Megatron-LM-BR自主研發(fā)了"虛擬層+動態(tài)重排"技術：通過插入兩個虛擬層將總層數(shù)擴展至96層，實現(xiàn)均勻切分以支持Interleave with Virtual Pipeline機制；同時對部分Layer進行動態(tài)重排，使流水線計算通信負載均衡，從而顯著降低流水線氣泡率。

02業(yè)界首創(chuàng)Async Offload技術

實現(xiàn)精度無損極速預訓練

為發(fā)揮算力優(yōu)勢和提升顯存效率，壁仞科技自主研發(fā)Async Offload（異步卸載）機制：將大量激活張量和優(yōu)化器狀態(tài)異步遷移至CPU內存，僅使用64張GPU卡即可支持Qwen3-235B-A22B精度無損的全參模型高效預訓練；而業(yè)界其他已發(fā)布案例至少需要256卡，另外其他方案如FP8可以降低顯存消耗，但容易對精度產生影響。壁仞科技同時還支持智能重計算策略，動態(tài)識別顯存瓶頸層，實現(xiàn)"算力換空間"智能決策。通過Async Offload和重計算顯存優(yōu)化雙擎技術，壁仞科技實現(xiàn)了算力開銷和顯存節(jié)約的最佳均衡。

03融合算子多維加速體系

充分釋放算力潛能

針對GroupedMLP、Permutation、Unpermutation等關鍵耗時算子，壁仞科技基于其GPU架構特點實現(xiàn)了泛化的圖算/通算融合優(yōu)化。支持多計算操作極致的片上融合、張量處理器與矢量處理器極致異步融合、多級緩存的流水融合、以及計算與通信融合，并進一步引入自動化的Kernel Selection技術，基于硬件計算/通信/訪存建模的Cost Model針對不同工作負載自適應選擇最優(yōu)內核實現(xiàn)，將芯片綜合能效發(fā)揮到極致，同時也確保了通用的泛化能力。在保持精度無損的同時，達成計算效率、硬件利用率與內存帶寬的多維度協(xié)同優(yōu)化。