隨著大模型時代的到來，AI算力逐漸變成重要的戰(zhàn)略資源，對現(xiàn)有AI芯片也提出了前所未有的挑戰(zhàn)：大算力的需求、高吞吐量與低延時、高效內(nèi)存管理、能耗等等。

存算一體架構(gòu)是可能有效解決當(dāng)前芯片瓶頸的路徑之一，通過將數(shù)據(jù)存儲與處理單元集成，顯著減少了數(shù)據(jù)在芯片內(nèi)部的傳輸，降低延遲和能耗，提高計算速度。

此外，針對大模型的特定需求，芯片設(shè)計也在不斷創(chuàng)新，以更好地支持并行處理和高效率的數(shù)據(jù)流動。這些技術(shù)發(fā)展不僅對推動人工智能領(lǐng)域的進(jìn)步至關(guān)重要，也為芯片設(shè)計和制造業(yè)帶來了新的機(jī)遇和挑戰(zhàn)。

Q1?當(dāng)前主流的大模型對于底層推理芯片提出了哪些挑戰(zhàn)？

1、算力需求：由于大模型計算量的提升，對算力的需求也飛速增長?？紤]到芯片光罩面積的限制，一方面需要通過電路優(yōu)化提升算力密度，另一方面需要通過先進(jìn)集成等手段突破芯片面積的限制。

2、高吞吐量與低延時：大模型推理分為prefill和decoding兩個階段，兩階段的推理延遲分別影響用戶得到首個token的延遲（time to first token，TTFT）和生成階段逐token的輸出延遲（time per output token，TPOT），優(yōu)化兩個階段的延遲可以提升用戶在使用推理服務(wù)時的體驗。由于prefill階段需要在單次推理處理完整的prompt輸入，是計算密集的，所以prefill階段需要通過提升芯片的算力來降低延遲。另一方面，decoding階段中，每個請求只處理一個token，是訪存密集的，因此需要提升芯片的訪存帶寬來降低延遲。

3、高效內(nèi)存管理：在提供大模型推理服務(wù)時，不同用戶的請求到達(dá)時間，prompt長度，以及生成長度均不相同，所以在動態(tài)batching時不同請求間的KV Cache長度往往不同，從而導(dǎo)致KV Cache的碎片化問題。因此，諸如vLLM等優(yōu)化KV Cache的碎片化問題的內(nèi)存管理方案被提出，從而顯著提升GPU上的內(nèi)存利用率。

4、能耗：對于每個sequence的生成，decoding階段每次只處理單個token，從而導(dǎo)致在生成的過程中需要反復(fù)搬運權(quán)重到片上緩存，產(chǎn)生高訪存能耗。

5、可編程性與靈活性：隨著深度學(xué)習(xí)和人工智能領(lǐng)域快速發(fā)展，新的算法和模型不斷涌現(xiàn)。芯片應(yīng)具有一定的可編程性和靈活性，以適應(yīng)這些變化，不僅僅針對當(dāng)前的算法進(jìn)行優(yōu)化。

Q2?大模型時代的需求，存算一體芯片會是更優(yōu)解嗎？

1、存算一體的優(yōu)勢與大模型需求的契合點：CIM（Computing in Memory）具備高計算密度、高計算能效的優(yōu)勢，適合大模型Prefill階段的處理。在同樣芯片面積限制下，有望提供超過當(dāng)前GPU的算力。另外，對圖片、視頻等領(lǐng)域生成模型，算力的需求將進(jìn)一步上升，CIM高算力密度的優(yōu)勢可以進(jìn)一步發(fā)揮。

2、方向一：近存路線：基于DRAM的近存計算架構(gòu)能夠處理decoding階段訪存密集的矩陣向量乘法操作。通過在DRAM的bank附近放置處理單元，它們可以減少搬運權(quán)重的能耗，并且通過近bank處理單元的并行計算提升訪存帶寬，從而獲得推理加速。但是由于DRAM的工藝限制，近存處理單元的算力較弱，無法高效處理prefill階段的計算密集算子，因此往往需要與GPU配合工作，完成整個推理流程。

3、方向二：近存+存算路線：CIM+PIM的混合異構(gòu)方案，可以同時滿足Prefill高算力和Decode高存儲帶寬和容量的需求，實現(xiàn)優(yōu)勢互補(bǔ)，超過當(dāng)前的同構(gòu)方案。

未來，隨著技術(shù)進(jìn)步和創(chuàng)新設(shè)計的不斷涌現(xiàn)，芯片技術(shù)將進(jìn)一步突破現(xiàn)有極限，實現(xiàn)更低的能耗和更高的計算性能。存算一體技術(shù)也將為芯片行業(yè)提供更多創(chuàng)新發(fā)展路徑。