電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）從最近英偉達(dá)公布的財(cái)報(bào)中就可以看出，AI應(yīng)用的火熱使其賺得盆滿缽滿，原本就在AI軟硬件生態(tài)稱王的英偉達(dá)，現(xiàn)今更是如日中天。而這樣的處境也讓不少AI芯片初創(chuàng)公司不好過(guò)，他們的產(chǎn)品有的還沒(méi)落地，有的則難以與A100、H100這樣的產(chǎn)品匹敵。這幾年沉寂下去的AI芯片初創(chuàng)公司著實(shí)不少，但還是有的廠商敢于繼續(xù)往這個(gè)市場(chǎng)里鉆。

水平擴(kuò)展性的限制

隨著AI/ML的模型越來(lái)越大，甚至是以5年內(nèi)翻4萬(wàn)倍的速度提升，要想在硬件上跟上軟件進(jìn)度已經(jīng)越來(lái)越難了?？杉幢闳绱?，從16nm到4nm，從低精度到脈動(dòng)陣列，都給了我們巨大的優(yōu)勢(shì)去追隨這些大模型。

但運(yùn)行這些大模型終究不是靠單個(gè)芯片的力量，而是整個(gè)規(guī)模集群需要面臨的問(wèn)題，所以這就牽扯到了水平擴(kuò)展性。工藝制程的提高帶來(lái)了5倍的性能提升，芯片架構(gòu)帶來(lái)了14倍的性能提升，而水平擴(kuò)展則要實(shí)現(xiàn)600倍的性能提升，才能滿足未來(lái)的AI/ML計(jì)算要求。這也就是目前AI計(jì)算存在的問(wèn)題，大模型往往需要更大的內(nèi)存、更高的算力和更大的帶寬，隨著設(shè)備數(shù)量越多，這三大硬件要求的分配復(fù)雜程度就變得越來(lái)越高。

比如在GPU上就已經(jīng)嘗試了不少并行擴(kuò)展方案，比如數(shù)據(jù)并行、流水線模型并行或張量模型并行等，但以上方案往往都會(huì)受到內(nèi)存、帶寬和參數(shù)量的限制，并沒(méi)有單一通用的解決方案，大模型往往需要同時(shí)結(jié)合這三種方案，所以擴(kuò)展效率不高。AI芯片公司Cerebras則想出了一個(gè)在大規(guī)模集群下提高水平擴(kuò)展性的解決方案。

Cerebras的WSE

要說(shuō)在AI芯片的初創(chuàng)公司里，走著獨(dú)立無(wú)二路線的公司，Cerebras絕對(duì)能排得上名號(hào)。2019年，他們推出了WSE，一個(gè)晶圓大小的AI處理器，到了2021年，他們又推出了第二代的WSE-2，采用更先進(jìn)的工藝將單個(gè)處理器的核心數(shù)推進(jìn)至85萬(wàn)核。而這次Hot Chips上，他們則展示了用于對(duì)抗英偉達(dá)的解決方案。
Cerebras選擇了將內(nèi)存和計(jì)算解耦的方案，利用內(nèi)存擴(kuò)展技術(shù)MemoryX，將模型權(quán)重存儲(chǔ)在外部，然后將權(quán)重傳輸給WSE-2組成的CS-2系統(tǒng)，CS-2再將梯度傳給外部存儲(chǔ)。Cerebras還打造了一個(gè)互聯(lián)方案SwarmX，用于連接多個(gè)CS-2系統(tǒng)，從而提高擴(kuò)展性。

以Cerebras搭建的Andromeda超算為例，該超算由16個(gè)CS-2系統(tǒng)組成，擁有1350萬(wàn)個(gè)AI優(yōu)化核心，稀疏算力高達(dá)1ExaFLOPs，稠密算力高達(dá)120PetaFLOPs。在這樣強(qiáng)大的算力下，訓(xùn)練大模型只要幾周的時(shí)間。而且在Cerebras不同規(guī)模的集群上，不同參數(shù)的大模型可以共享同樣的代碼，以同樣的方式訓(xùn)練，省去了不少開(kāi)發(fā)時(shí)間。

除了Andromeda以外，Cerebras也已經(jīng)開(kāi)始了下一個(gè)AI超算的部署，由64個(gè)CS-2系統(tǒng)組成的Condor Galaxy 1，該超算的算力將擴(kuò)展至4ExaFLOPs的稀疏算力。而Condor Galaxy 1名字后的1，也意味著這僅僅是單個(gè)超算中心所用的系統(tǒng)而已，未來(lái)他們計(jì)劃在2024年底之前擴(kuò)展為9個(gè)超算中心，分布在美國(guó)各地，構(gòu)建最大的分布式超算網(wǎng)絡(luò)，總算力高達(dá)36ExaFLOPs，是英偉達(dá)Israel-1超算的9倍，是谷歌最大TPUv4集群的4倍。

寫(xiě)在最后

單從擴(kuò)展性和性能的角度來(lái)看，Cerebras確實(shí)已經(jīng)做到了一個(gè)新的高度。但對(duì)于購(gòu)置這些GPU或AI芯片的云服務(wù)或互聯(lián)網(wǎng)公司來(lái)說(shuō)，GPU或許是一個(gè)更加通用的資源，在AI技術(shù)日新月異的當(dāng)下，GPU總能憑借自己的軟硬件生態(tài)快速找到自己的一席之地，并在高性能的王座上穩(wěn)坐一段時(shí)間。這也就是AI爆款應(yīng)用的市場(chǎng)導(dǎo)向決定的了，性能固然重要，但搶占先機(jī)才是最關(guān)鍵的一環(huán)。