字節(jié)跳動(dòng)豆包大模型Foundation團(tuán)隊(duì)近期在稀疏模型架構(gòu)領(lǐng)域取得了新突破，提出了一種名為UltraMem的新型架構(gòu)。這一架構(gòu)通過(guò)將計(jì)算和參數(shù)解耦，成功解決了模型推理過(guò)程中的訪(fǎng)存問(wèn)題，為大規(guī)模模型的應(yīng)用提供了有力支持。

據(jù)介紹，UltraMem架構(gòu)針對(duì)MoE(Mixture of Experts，專(zhuān)家混合)模型推理時(shí)存在的高額訪(fǎng)存問(wèn)題進(jìn)行了優(yōu)化。傳統(tǒng)MoE模型在推理時(shí)，由于需要頻繁訪(fǎng)問(wèn)大量參數(shù)，導(dǎo)致推理速度受限，成本高昂。而UltraMem架構(gòu)通過(guò)創(chuàng)新的稀疏設(shè)計(jì)，有效降低了模型推理時(shí)的訪(fǎng)存需求，從而大幅提升了推理速度。

具體來(lái)說(shuō)，UltraMem架構(gòu)的推理速度較傳統(tǒng)MoE架構(gòu)提升了2-6倍，同時(shí)推理成本最高可降低83%。這一成果在保證模型效果的前提下，顯著提高了模型推理的效率和經(jīng)濟(jì)效益，為大規(guī)模模型在實(shí)際場(chǎng)景中的應(yīng)用開(kāi)辟了新途徑。

UltraMem架構(gòu)的提出，標(biāo)志著字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)在稀疏模型架構(gòu)領(lǐng)域取得了重要進(jìn)展。未來(lái)，該團(tuán)隊(duì)將繼續(xù)致力于優(yōu)化和完善稀疏模型架構(gòu)，推動(dòng)人工智能技術(shù)的進(jìn)一步發(fā)展和應(yīng)用。