日前，云天勵(lì)飛中標(biāo)湛江市AI滲透支撐新質(zhì)生產(chǎn)力基礎(chǔ)設(shè)施建設(shè)項(xiàng)目。根據(jù)項(xiàng)目規(guī)劃，公司將基于自研國(guó)產(chǎn)AI推理加速卡，參與建設(shè)AI推理算力集群，并推動(dòng)DeepSeek等國(guó)產(chǎn)大模型在相關(guān)應(yīng)用場(chǎng)景中的適配與部署，為政務(wù)和產(chǎn)業(yè)數(shù)字化應(yīng)用提供算力基礎(chǔ)設(shè)施支持。

面向大模型應(yīng)用構(gòu)建推理算力基礎(chǔ)設(shè)施

本次項(xiàng)目建設(shè)的AI推理算力集群將圍繞大模型推理任務(wù)需求進(jìn)行系統(tǒng)設(shè)計(jì)。

在大模型推理過(guò)程中，不同計(jì)算階段對(duì)系統(tǒng)資源的需求存在差異。當(dāng)前業(yè)界普遍采用“Prefill–Decode分離”的推理架構(gòu)，通過(guò)針對(duì)不同階段的資源配置優(yōu)化，提高整體系統(tǒng)運(yùn)行效率。

在該架構(gòu)下，Prefill階段主要負(fù)責(zé)長(zhǎng)上下文理解和計(jì)算，對(duì)算力和帶寬需求較高；Decode階段則持續(xù)生成Token，對(duì)系統(tǒng)延遲更加敏感。項(xiàng)目建設(shè)過(guò)程中，將結(jié)合不同階段的特點(diǎn)進(jìn)行算力資源配置和系統(tǒng)優(yōu)化。

同時(shí)，隨著模型上下文長(zhǎng)度不斷增加，大量中間狀態(tài)需要以KV Cache形式存儲(chǔ)。圍繞這一特點(diǎn)，項(xiàng)目在系統(tǒng)設(shè)計(jì)中對(duì)計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)之間的協(xié)同進(jìn)行了優(yōu)化，以提升數(shù)據(jù)訪問(wèn)效率和整體系統(tǒng)性能。

在網(wǎng)絡(luò)架構(gòu)方面，系統(tǒng)將采用統(tǒng)一高速互聯(lián)架構(gòu)，通過(guò)400G光網(wǎng)絡(luò)構(gòu)建集群物理層網(wǎng)絡(luò)，實(shí)現(xiàn)節(jié)點(diǎn)之間的高帶寬、低延遲通信，并支持從單節(jié)點(diǎn)數(shù)十卡規(guī)模擴(kuò)展至千卡級(jí)集群規(guī)模，以滿足不同規(guī)模AI應(yīng)用需求。

項(xiàng)目整體建設(shè)完成后，將形成面向大模型推理任務(wù)的算力基礎(chǔ)設(shè)施，為相關(guān)應(yīng)用場(chǎng)景提供穩(wěn)定的算力支撐。

持續(xù)推進(jìn)AI推理芯片與算力系統(tǒng)技術(shù)研發(fā)

根據(jù)項(xiàng)目規(guī)劃，本次AI推理算力集群將分三期建設(shè)，并將采用云天勵(lì)飛自研的國(guó)產(chǎn)AI推理加速卡。

一期項(xiàng)目將部署云天勵(lì)飛 X6000 推理加速卡；未來(lái)將率先搭載公司最新一代芯片產(chǎn)品。

在AI推理芯片研發(fā)方面，云天勵(lì)飛正持續(xù)推進(jìn)面向不同推理階段的技術(shù)布局。根據(jù)公司戰(zhàn)略規(guī)劃，未來(lái)將逐步推出針對(duì)Prefill階段優(yōu)化的芯片產(chǎn)品，以及面向Decode階段低延遲需求的推理芯片，并通過(guò)系統(tǒng)級(jí)協(xié)同優(yōu)化進(jìn)一步提升整體推理效率。

其中，公司首款面向長(zhǎng)上下文推理場(chǎng)景優(yōu)化的Prefill芯片DeepVerse100預(yù)計(jì)將在年內(nèi)完成流片，并計(jì)劃在相關(guān)算力系統(tǒng)中開(kāi)展部署。

在長(zhǎng)期技術(shù)規(guī)劃方面，公司提出“1001計(jì)劃”，即以“百億Token一分錢”為長(zhǎng)期目標(biāo)，通過(guò)芯片架構(gòu)與算力系統(tǒng)協(xié)同優(yōu)化，持續(xù)推動(dòng)大模型推理成本下降。

未來(lái)，公司將繼續(xù)推進(jìn)AI推理芯片相關(guān)技術(shù)研發(fā)，推動(dòng)人工智能技術(shù)在更多行業(yè)中的普惠落地。