碾壓與崛起

AI算法的崛起并非一帆風(fēng)順的，現(xiàn)在的主流的NN類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)是第二波浪潮了，早在上個(gè)世紀(jì)80年代，源于仿生學(xué)，后又發(fā)展于概率學(xué)的早期AI算法已經(jīng)取得了重大的進(jìn)展，到1986年Rumelhart等人提出多層網(wǎng)絡(luò)的反向傳播算法（BP算法，這是AI算法可進(jìn)行數(shù)據(jù)訓(xùn)練并能收斂的基礎(chǔ)）后，第一波AI算法以“連接主義”的旗幟高高舉起。

不幸的是，旗幟沒(méi)舉多久就開(kāi)始偃旗息鼓，讓位于基于統(tǒng)計(jì)學(xué)的算法，直到2006年，Hinton提出了“深度信念網(wǎng)絡(luò)”的概念，從此，AI算法從“連接主義”變成“深度神經(jīng)網(wǎng)絡(luò)”再次華麗登場(chǎng)。

第一波AI算法之所以會(huì)快速落寞，不在于算法不夠精美，是因?yàn)楫?dāng)時(shí)的cpu不夠強(qiáng)大，算力完全無(wú)法適配當(dāng)時(shí)的算法需求.第二次AI算法的崛起也并非算法足夠驚艷，恰恰是證明了算力的崛起。

而且這算力的提供者并不是CPU，這種基于調(diào)度和內(nèi)存交換的方式難以支持如此強(qiáng)大的AI算力缺口。

與此同時(shí)，基于異構(gòu)計(jì)算的ASIC/FPGA/GPU也在快速崛起，其計(jì)算性能完全碾壓CPU，有效的補(bǔ)充AI算力的缺口。

其中GPU迅速發(fā)展，成為目前AI崛起之路的最大收益者，然而GPU最初的設(shè)計(jì)目的不是針對(duì)AI算法而是處理圖形圖像的，因?yàn)閳D像上每個(gè)像素點(diǎn)處理的過(guò)程和方式都十分相似，所以GPU的構(gòu)成相對(duì)簡(jiǎn)單，有數(shù)量眾多的計(jì)算單元和用于并行的流水線(xiàn)，正是這種單指令流多數(shù)據(jù)流的設(shè)計(jì)模式，特別適合處理大量的類(lèi)型統(tǒng)一的數(shù)據(jù)。

這也是在用GPU處理AI算法時(shí)，batchsize不能太低的原因。而在其他方面，如面積/功耗/能耗比方面，GPU也便成了弱勢(shì)，相比較而言，ASIC芯片從一開(kāi)始便是為AI而生，能效比高，不會(huì)有冗余，功耗低，適合算法穩(wěn)定且要求的應(yīng)用。

其缺點(diǎn)也是硬件為算法而定制，導(dǎo)致其只能運(yùn)行特定的算法，當(dāng)然，能做出通用AI算法的ASIC芯片是業(yè)界的終極目標(biāo)。

而同時(shí)，作為ASIC的共軛形式存在的FPGA越來(lái)越受重視，F(xiàn)PGA能效比高，可編程邏輯，計(jì)算效率高，F(xiàn)PGA 同時(shí)擁有控制流并行和數(shù)據(jù)并行，是天生適合異構(gòu)計(jì)算的芯片，目前開(kāi)發(fā)FPGA應(yīng)用方面還有很多潛能可挖。

通用Or靈活

一個(gè)基本的認(rèn)知是ASIC雖然高效，但只能走專(zhuān)業(yè)化定制化的部分，ASIC制作成本很高，而算法一直在持續(xù)更新，如何解決這個(gè)矛盾呢？

是否可以做一個(gè)通用的ASIC來(lái)解決算力提升和靈活性的問(wèn)題？寒武紀(jì)的NPU和google的TPU給出了答案，兩者的實(shí)現(xiàn)雖然不同，但思路是一致的。

即：既然NN算法可以拆分成不同的算子，設(shè)計(jì)的硬件建模應(yīng)該全部支持這些算子從而解決通用性問(wèn)題，并建立相應(yīng)的指令集來(lái)解決不同算子的組合，來(lái)解決靈活性的問(wèn)題。當(dāng)然，核心模塊還是圍繞計(jì)算量最大的模塊卷積進(jìn)行的。那么,在實(shí)現(xiàn)方式上它們又有哪些共同點(diǎn)和不足呢?

寒武紀(jì)dadiannao：

圖1 （dadiannao）

上圖的硬件建模就是在模仿神經(jīng)網(wǎng)絡(luò)部分的數(shù)據(jù)流向，NFU（Neural Functional Units）分三部分順序展開(kāi)，NFU-1是乘法單元，NFU-2是加法數(shù)樹(shù)，處理filter內(nèi)部或通道累加的問(wèn)題，NFU-3是激活單元。

從模型上不難看出，這里的核心處理卷積的單元是在數(shù)據(jù)流方向上的一維展開(kāi)進(jìn)行計(jì)算的。

一維度展開(kāi)會(huì)帶來(lái)兩個(gè)問(wèn)題，一個(gè)是多扇出（fan-out）的問(wèn)題，如果想更大限度的利用內(nèi)部數(shù)據(jù)帶寬優(yōu)勢(shì)以及多用乘法器模塊，一個(gè)data需要同時(shí)廣播給多個(gè)計(jì)算單元，這會(huì)導(dǎo)致多扇出的問(wèn)題，要保證多個(gè)模塊同時(shí)到達(dá)，則頻率就不能提的太高。

另外一個(gè)問(wèn)題就是為了保證乘法器都能充分工作，需對(duì)filter的相關(guān)參數(shù)進(jìn)行限制.以DianNao為例，一個(gè)PE中的16個(gè)mul是同時(shí)計(jì)算的，那么卷積層中的kernel、channel、windows的長(zhǎng)和寬都會(huì)對(duì)計(jì)算的效率造成影響，如channel最好是16或16的倍數(shù)，否則就會(huì)造成計(jì)算資源的浪費(fèi).

相比較而言，Google的TPU采用脈動(dòng)矩陣的方式，巧妙的避開(kāi)了對(duì)filter敏感的問(wèn)題，TPU的脈動(dòng)矩陣是面向數(shù)據(jù)流方向的二維結(jié)構(gòu)，在處理卷積乘加這塊有很強(qiáng)的優(yōu)勢(shì)。

理論上可以支持任何形式的windows、kernel和channel這種設(shè)計(jì)使得TPU有更強(qiáng)的靈活性和高效性。

TPU：

圖2 （TPU）

然而，有得必有失。脈動(dòng)矩陣中處理卷積時(shí)優(yōu)勢(shì)明顯，但在處理非卷積類(lèi)算子方面則未必高效。

比如在fastRcnn中的要用到排序算法proposal層，又如在多網(wǎng)融合的過(guò)程中會(huì)經(jīng)常被使用 interp層（雙線(xiàn)性插值）。

其中，排序算法在基因里是反asic的(區(qū)塊鏈中的零幣就是以排序?yàn)橹鞯乃惴ǎ饕糜诜碼sic的功能)。類(lèi)似這種非卷積算法因子則會(huì)導(dǎo)致脈動(dòng)矩陣的功能大大降低，正是因?yàn)橛布墓潭ㄔO(shè)置所限制。

ASIC 在走一個(gè)統(tǒng)一的路子，DADIANNAO和TPU都在用統(tǒng)一的模式來(lái)解決一切問(wèn)題，然而現(xiàn)實(shí)是很骨感的，有兩個(gè)基本點(diǎn)是ASIC中無(wú)法完美解決的，一個(gè)就是AI算法在不同的探索和更改期。

目前尚未突破其中的黑盒特性，而支持AI算法優(yōu)化的強(qiáng)有力的基礎(chǔ)理論遲遲沒(méi)有發(fā)現(xiàn)，這個(gè)時(shí)期就好比科學(xué)歷史上人們只知道電的存在而沒(méi)有電磁原理支撐是一個(gè)道理，說(shuō)明AI算法的研究應(yīng)處于發(fā)展初期。

另外一點(diǎn)就是針對(duì)各個(gè)垂直領(lǐng)域，如無(wú)人機(jī)/自動(dòng)駕駛/智能安防/無(wú)人零售的各種特殊的情況，每一個(gè)領(lǐng)域都對(duì)功耗/能耗比/性能/系統(tǒng)等等方面有不同的訴求，這些需求都有極強(qiáng)的定制性。如此，想要一顆ASIC芯片通吃天下的事情似乎是個(gè)無(wú)法求出的解。

找規(guī)律，找突破

如果ASIC無(wú)法解決算法通用性問(wèn)題，那么更具有靈活配置性的芯片F(xiàn)PGA便越來(lái)越受到重視，F(xiàn)PGA的低延時(shí)，高可配置性的特點(diǎn)使其天然的在靈活性方面比ASIC略勝一籌。

那么FPGA能否滿(mǎn)足統(tǒng)一性呢？其實(shí)，在業(yè)界對(duì)FPGA的探索一直沒(méi)有停止，

圖3（三級(jí)壓縮流水線(xiàn)）

國(guó)內(nèi)FPGA的頭部公司深鑒科技一直研究深度壓縮技術(shù)，并在FPGA上實(shí)現(xiàn)了基于深度壓縮技術(shù)的方案：深度壓縮技術(shù)，其采用剪枝+量化+霍夫曼編碼，形成三級(jí)大流水，如圖3所示，實(shí)現(xiàn)高度壓縮權(quán)重占用的存儲(chǔ)空間。

其基本的思路就是，先對(duì)網(wǎng)絡(luò)本身做pruning來(lái)減少權(quán)重的個(gè)數(shù)，同時(shí)通過(guò)訓(xùn)練來(lái)彌補(bǔ)由于減少權(quán)重而帶來(lái)的精度損失，然后經(jīng)過(guò)量化部分來(lái)減少權(quán)重的位寬，最后用霍夫曼編碼來(lái)壓縮權(quán)重。

總之目的只有一個(gè)，制作稀疏矩陣，然后利用稀疏矩陣的特性生成weight查找表，從而達(dá)到數(shù)據(jù)壓縮的目的。數(shù)據(jù)壓縮后再用FPGA實(shí)現(xiàn)會(huì)大大的降低開(kāi)發(fā)難度和門(mén)檻。

而國(guó)內(nèi)另外一個(gè)頭部公司商湯科技的設(shè)計(jì)思想就是：通過(guò)大量減少卷積計(jì)算的乘法操作，降低運(yùn)算復(fù)雜度，來(lái)提高運(yùn)算速度，并在FPGA中順利實(shí)現(xiàn)。

不管是降低乘法操作，還是做網(wǎng)絡(luò)裁剪，其思路都是在修改算法的方式來(lái)適配FPGA的實(shí)現(xiàn)。

即先將FPGA的設(shè)計(jì)以固定的方式配置好，然后去修改算法來(lái)適配這種固定好的硬件設(shè)計(jì)。

這種方式的缺點(diǎn)也是顯而易見(jiàn)的，且不說(shuō)固定的設(shè)計(jì)方式會(huì)遇到ASIC同樣的問(wèn)題，單就修改網(wǎng)絡(luò)的部分可能會(huì)導(dǎo)致原有網(wǎng)絡(luò)的精度丟失的問(wèn)題。

更為嚴(yán)重的是，這種設(shè)計(jì)方式會(huì)導(dǎo)致無(wú)法挖掘FPGA的全部潛力。

FPGA本身就是一個(gè)可編程系統(tǒng)，能夠適配各種算法，為什么大家都在想辦法修改算法問(wèn)題，而沒(méi)有想辦法去修改FPGA的內(nèi)部實(shí)現(xiàn)優(yōu)化，從而完美的使其適配不同神經(jīng)網(wǎng)絡(luò)算法呢？答案很簡(jiǎn)單，用FPGA開(kāi)發(fā)高難度的算法是一件很困難的事。

換一個(gè)語(yǔ)言，換一個(gè)世界

工欲善其事，必先利其器，現(xiàn)在主流的開(kāi)發(fā)語(yǔ)言verilog HDL 是上個(gè)世紀(jì)80年代研究出來(lái)的，這在計(jì)算機(jī)界就好比是原始社會(huì)階段，而且這么多年來(lái)一直沒(méi)有更新過(guò)，對(duì)比高級(jí)語(yǔ)言的B->C->C++->java->python的不斷升級(jí)，它就好比一個(gè)古老的青銅寶劍，雖價(jià)值連城，但并不適用，而讓這個(gè)古老的語(yǔ)言來(lái)開(kāi)發(fā)現(xiàn)在最先進(jìn)的AI算法，這便是一個(gè)現(xiàn)代版的愚翁移山的故事。

接著探尋問(wèn)題的本質(zhì)，verilog的缺陷：

A)無(wú)規(guī)則化，或規(guī)范化，或許這是一個(gè)社會(huì)工程的問(wèn)題，因?yàn)橛玫娜松?，所以沒(méi)有形成統(tǒng)一的規(guī)范，編程方式過(guò)分自由，基本上是一千個(gè)人里有一千個(gè)哈姆雷特。

B)遇到復(fù)雜的邏輯，只能用狀態(tài)機(jī)。

C)同步信號(hào)建模時(shí)，對(duì)控制信號(hào)的掌控偏弱。

D)沒(méi)有圖形化界面，仿真工具都是看波形。

而改進(jìn)的方案正是解決這些問(wèn)題，F(xiàn)PGA的開(kāi)發(fā)就像是在玩樂(lè)高游戲，其實(shí)現(xiàn)過(guò)程就是在搭積木，其中的原語(yǔ)部分就是積木的原始器件，只是顆粒度有點(diǎn)小而已。

有沒(méi)有一種方式將原始器件進(jìn)行封裝，加強(qiáng)控制邏輯，同時(shí)將控制邏輯和數(shù)據(jù)流邏輯分開(kāi)，用軟件的思想來(lái)封裝硬件，包含繼承，多態(tài)，遞歸，然后以圖形化的形式展現(xiàn)出來(lái)，自帶仿真系統(tǒng)，所見(jiàn)即所得，利用核心庫(kù)器件，真正做到用搭積木的方式來(lái)開(kāi)發(fā)FPGA，這樣便能大大降低其開(kāi)發(fā)門(mén)檻。

有一種很好用的開(kāi)發(fā)工具ptero，是雪湖信息科技公司自主研發(fā)的開(kāi)發(fā)FPGA的工具鏈，可以顛覆對(duì)FPGA開(kāi)發(fā)的認(rèn)知，上文的種種特性都已經(jīng)在該工具中實(shí)現(xiàn)，相當(dāng)于用全新的語(yǔ)言來(lái)開(kāi)發(fā)FPGA，且完全是界面化的形式進(jìn)行開(kāi)發(fā),所見(jiàn)即所得,極大的降低了開(kāi)發(fā)門(mén)檻并提高了開(kāi)發(fā)效率。

舉個(gè)例子，在實(shí)現(xiàn)AI算法的過(guò)程中，對(duì)數(shù)據(jù)流的嚴(yán)格控制是關(guān)鍵，如下圖所示，圖中的例子是一個(gè)卷積核是3×3的數(shù)據(jù)組裝功能實(shí)現(xiàn)，一個(gè)數(shù)據(jù)產(chǎn)生器來(lái)模擬數(shù)據(jù)來(lái)源，補(bǔ)零模塊來(lái)進(jìn)行padding補(bǔ)零操作，地址譯碼器來(lái)處理數(shù)據(jù)組裝需要的不斷變化的bram地址，三行緩存模塊完成數(shù)據(jù)的組裝。

圖4 卷積里面的數(shù)據(jù)組裝模塊

圖4便是對(duì)上述流程的一個(gè)展示，從圖形化里面我們很容易理解設(shè)計(jì)思路，由于里面的用到的模塊都是在核心模塊封裝好。

所以，對(duì)開(kāi)發(fā)人員來(lái)說(shuō)，只需要將所有的精力都來(lái)放到邏輯這塊即可。

同時(shí)，可以隨時(shí)驗(yàn)證邏輯的正確性，所有的輸出結(jié)果都可以打印輸出。這種所見(jiàn)即所得的開(kāi)發(fā)模式極大的提高了硬件邏輯的開(kāi)發(fā)效率。

那么，在FPGA實(shí)現(xiàn)的過(guò)程中，是否可以做出通用化的過(guò)程呢？答案是肯定的，如圖4中的紅色字體所示，控制參數(shù)部分就是自動(dòng)更新的參數(shù)，通過(guò)自動(dòng)化工具生成的控制參數(shù)能有效的控制不同算子模塊的實(shí)現(xiàn)，而無(wú)需改動(dòng)硬件電路。

有了這樣方便又強(qiáng)大的工具，又有了底層封裝的模塊，才能在上層建筑有更大的發(fā)揮空間，就能更好的發(fā)揮FPGA的潛能，使其適配更多的算法結(jié)構(gòu)，而不是只關(guān)注于修改算法來(lái)削足適履。

換一種維度思考

解決了開(kāi)發(fā)FPGA效率的問(wèn)題，我們可以把主要精力在提升FPGA的性能上下功夫，利用FPGA的分布式的存儲(chǔ)的思路來(lái)設(shè)計(jì)模型，將FPGA的性能提升到最高。

假設(shè)網(wǎng)絡(luò)結(jié)構(gòu)中有三層卷積依次執(zhí)行，如下圖所示：

圖5（卷積合并示例）

在這樣的網(wǎng)絡(luò)結(jié)構(gòu)下，第一層是1×1的卷積核，第二層是3×3的depwise卷積運(yùn)算，第三層又是一個(gè)1×1的卷積核，每層的conv模塊的kernel和channel都不是很大，類(lèi)似這樣的網(wǎng)絡(luò)不同的算子組合在AI算法中很常見(jiàn)，若按傳統(tǒng)的思路,只能每層conv都單獨(dú)計(jì)算。

但每一層的計(jì)算都不能將FPGA的資源用滿(mǎn)（dsp&bram），這會(huì)導(dǎo)致資源的浪費(fèi)，最重要的是沒(méi)有發(fā)揮FPGA的最大的性能，從而導(dǎo)致處理的幀率降低。

為了更好的利用FPGA 資源，挖掘FPGA的潛能，我們可以根據(jù)每層的資源分布做個(gè)統(tǒng)計(jì)，發(fā)現(xiàn)將上述三層的資源合并成一個(gè)全流水的方式（即一次IO讀寫(xiě)，三層連續(xù)計(jì)算）才能將FPGA的潛能發(fā)揮到最大。

這種設(shè)計(jì)方案是根據(jù)算法的規(guī)律進(jìn)行調(diào)整FPGA的組裝結(jié)構(gòu)，從而發(fā)揮出并行計(jì)算的最大性能。

如此定制化的方式是發(fā)揮了FPGA的最大性能，那么又會(huì)產(chǎn)生一個(gè)問(wèn)題：AI算法那么多，有沒(méi)有那種即能發(fā)揮FPGA的最大性能,又能有通用性的方法？

要回答這個(gè)問(wèn)題，我們得先探究FPGA的本質(zhì)，F(xiàn)PGA本質(zhì)上是個(gè)分布式的資源分布系統(tǒng)，那么對(duì)核心資源（主要是dsp和bram）是否可以進(jìn)行動(dòng)態(tài)分配？

如果解決了這個(gè)問(wèn)題，那么就能完美解決上述問(wèn)題。

我們可以通過(guò)給相應(yīng)模塊不同的參數(shù)來(lái)適配不同的算法因子以及不同的算法組合，而修改這些參數(shù)并不需要修改FPGA程序。

而對(duì)這種方式的探索，雪湖信息科技已經(jīng)做了很多工作，并有相當(dāng)多的積累，并有可以商用的成熟案例，如下圖，是我們生成參數(shù)的一角。

圖6（控制參數(shù)列表）

這樣的設(shè)計(jì)思路是根據(jù)不同的參數(shù)控制，針對(duì)不同的filter大小、不同的算子、不同的算子組合、不同的conv層的組合，來(lái)進(jìn)行不同的控制。

這種設(shè)計(jì)兼顧了FPGA的靈活性和通用性，可以說(shuō)著兼顧通用性的情況下最大限度的提高了FPGA資源的使用率，也不會(huì)出現(xiàn)設(shè)計(jì)硬傷，可以適配任何新的算子，對(duì)interp等非卷積類(lèi)支持很充分。

而針對(duì)proposal層的處理，可以在采用將網(wǎng)絡(luò)一分為二，預(yù)留比較小的資源進(jìn)行排序處理，而其他資源可以處理新的數(shù)據(jù)，兩者并行處理，只有控制邏輯和周期計(jì)算處理好，兩者不會(huì)產(chǎn)生阻塞和延時(shí)。

另一種維度的統(tǒng)一

反過(guò)來(lái)想，能否在保持FPGA靈活性的情況下，做成統(tǒng)一平臺(tái)，這種探索是可行的，這種探索雪湖信息科技一直在堅(jiān)持。

圖7（各個(gè)網(wǎng)絡(luò)/芯片平臺(tái)的評(píng)估數(shù)據(jù)表）

控制參數(shù)在處理平臺(tái)的靈活性，而模塊化的開(kāi)發(fā)則是開(kāi)發(fā)平臺(tái)的基石ptero在開(kāi)發(fā)卷積過(guò)程中不斷的積累現(xiàn)有的卷積模塊/非卷積模塊，在不斷的打磨過(guò)程中將平臺(tái)的核心庫(kù)不斷的更新/優(yōu)化，這些高效的模塊才是能兼顧通用和靈活的關(guān)鍵所在。

當(dāng)這種模塊經(jīng)過(guò)實(shí)踐證明可行之后，雪湖開(kāi)發(fā)出了自動(dòng)化工具平臺(tái)，該工具平臺(tái)包括自動(dòng)解析網(wǎng)絡(luò)結(jié)構(gòu)、生成控制參數(shù)、生成計(jì)算參數(shù)、推薦相應(yīng)的模塊、分配合理的FPGA資源等等內(nèi)容。

同時(shí)會(huì)包含自動(dòng)測(cè)試部分，有了自動(dòng)化工具的支持，對(duì)平臺(tái)的通用性和便捷性提到了一個(gè)新的高度。

如下圖，便是自動(dòng)化測(cè)試工具測(cè)試示例：

已經(jīng)實(shí)現(xiàn)的卷積算法計(jì)算量在5.3 Gflops左右（算法的細(xì)節(jié)涉及機(jī)密不便展開(kāi)），用znq7020里進(jìn)行實(shí)現(xiàn)，dsp利用率在88.88%左右，下圖為自動(dòng)測(cè)試工具生成結(jié)果圖：

圖8（自動(dòng)測(cè)試工具生成結(jié)果圖）

自動(dòng)化工具是自適應(yīng)FPGA開(kāi)發(fā)平臺(tái)的濃縮表現(xiàn)，可以根據(jù)不同的算法推薦不同的方案，通過(guò)生成的不同的控制參數(shù)來(lái)合理的分配FPGA資源使用。隨著該平臺(tái)的不斷更新和升級(jí)，最終完成一鍵式端到端的FPGA實(shí)現(xiàn)方案。

通過(guò)這種方式，最終解決FPGA開(kāi)發(fā)中通用性和靈活性的問(wèn)題，這是雪湖不遺余力去追求的目標(biāo)。

通過(guò)這種方式，不同的用戶(hù)可以根據(jù)自己的需求進(jìn)行不同的配置，得到高性?xún)r(jià)比的FPGA開(kāi)發(fā)方案。

同時(shí)，更重要的是該方案不需要修改網(wǎng)絡(luò)結(jié)構(gòu)，不需要對(duì)用戶(hù)的數(shù)據(jù)進(jìn)行重新訓(xùn)練，從而保護(hù)用戶(hù)的核心資產(chǎn)。

而同時(shí)，由于FPGA的高度可配置性，當(dāng)用戶(hù)的算法進(jìn)行更新時(shí)，可以快速的修改和部署，這也是保護(hù)用戶(hù)投資的有效手段。

總之，從復(fù)雜到簡(jiǎn)單，由繁瑣到簡(jiǎn)潔，是事物發(fā)展的普遍規(guī)律。

而將FPGA開(kāi)發(fā)的由難到易，以工具建平臺(tái)，以平臺(tái)來(lái)培養(yǎng)人才，在靈活易用的FPGA芯片上，解決應(yīng)用開(kāi)發(fā)難題，能夠加快AI算法的快速落地。