2019 ISSCC 大會于2月17—21日在美國舊金山開幕，F(xiàn)acebook 首席 AI 科學(xué)家 Yann LeCun 在會上發(fā)表了主題演講「深度學(xué)習(xí)硬件：過去、現(xiàn)在和未來」，詳細(xì)介紹了深度學(xué)習(xí)研究的發(fā)展將如何影響未來硬件架構(gòu)。

如今，只要在網(wǎng)絡(luò)上搜索“深度學(xué)習(xí)”算法，都會顯示很多相關(guān)的信息，在過去的數(shù)十年里，人工智能已經(jīng)越來越成功地應(yīng)用于生物識別、語音識別、視頻識別、翻譯等。國內(nèi)更是誕生了諸如曠視科技、商湯科技、極鏈科技Video++、依圖科技等優(yōu)秀人工智能初創(chuàng)企業(yè)。設(shè)計人員將大量高度并行的計算加載到硬件上，尤其是最初為快速圖像渲染而開發(fā)的圖形處理單元（GPU）。這些芯片特別適合于計算密集型“訓(xùn)練”階段，該階段使用許多經(jīng)過驗證的例子來調(diào)整系統(tǒng)參數(shù)。在“推理”階段，其中部署深度學(xué)習(xí)處理的輸入，需要更大的存儲器訪問和快速響應(yīng)，目前已經(jīng)可以使用GPU實現(xiàn)。

深度學(xué)習(xí)與GPU

為了快速應(yīng)對增長的需求，許多公司都正在開發(fā)能夠直接賦予深度學(xué)習(xí)能力的硬件，迫切的需要進行推理以及培訓(xùn)。近年來隨著深度學(xué)習(xí)的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）被廣泛使用，特別是在圖像識別場景中的應(yīng)用。為了滿足更多場景應(yīng)用，需要有一種能夠根據(jù)實際場景需求替換不同CNN網(wǎng)絡(luò)模型的系統(tǒng)框架。在過去的20年里，視頻、游戲等產(chǎn)業(yè)推動了GPU的進步，其繪制圖形所需的矩陣正是深度學(xué)習(xí)所需的計算類型。

GPU技術(shù)的進步則是推動了神經(jīng)網(wǎng)絡(luò)的發(fā)展，因為在沒有GPU的情況下訓(xùn)練深度學(xué)習(xí)模型在大多數(shù)情況下會非常緩慢。許多人把生產(chǎn)中深度學(xué)習(xí)的想法想的過于復(fù)雜，我們可以在生產(chǎn)中使用CPU和選擇的網(wǎng)絡(luò)服務(wù)器進行深入學(xué)習(xí)。生產(chǎn)中進行訓(xùn)練是非常罕見的。即使你想每天更新你的模型權(quán)重，也不需要在生產(chǎn)中進行訓(xùn)練。這意味著你只是在生產(chǎn)過程中進行“推理”，比“培訓(xùn)”更快更容易。你可以使用任何你喜歡的Web服務(wù)器，并將其設(shè)置為簡單的API調(diào)用。如果能夠有效地批量處理數(shù)據(jù)，GPU只會提供更快的速度。

GPU在處理圖形的時候，從最初的設(shè)計就能夠執(zhí)行并行指令，從一個GPU核心收到一組多邊形數(shù)據(jù)，到完成所有處理并輸出圖像可以做到完全獨立。由于最初GPU就采用了大量的執(zhí)行單元，這些執(zhí)行單元可以輕松的加載并行處理，而不像CPU那樣的單線程處理。另外，現(xiàn)代的GPU也可以在每個指令周期執(zhí)行更多的單一指令。所以GPU比CPU更適合深度學(xué)習(xí)的大量矩陣、卷積運算的需求。深度學(xué)習(xí)的應(yīng)用與其原先的應(yīng)用需求頗為類似。GPU廠家順理成章的在深度學(xué)習(xí)，找到了新增長點。

深度學(xué)習(xí)發(fā)展是否出現(xiàn)“瓶頸”

我們之所以使用GPU加速深度學(xué)習(xí)，是因為深度學(xué)習(xí)所要計算的數(shù)據(jù)量異常龐大，用傳統(tǒng)的計算方式需要漫長的時間。但如果未來深度學(xué)習(xí)的數(shù)據(jù)量有所下降，或者說我們不能提供給深度學(xué)習(xí)所需要的足夠數(shù)據(jù)量，是否就意味著深度學(xué)習(xí)也要進入“瓶頸”了呢?

做深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要大量模型，然后才能實現(xiàn)數(shù)學(xué)上的收斂。深度學(xué)習(xí)要真正接近成人的智力，它所需要的神經(jīng)網(wǎng)絡(luò)規(guī)模非常龐大，它所需要的數(shù)據(jù)量，會比我們做語言識別、圖像處理要多得多。假設(shè)說，我們發(fā)現(xiàn)我們沒有辦法提供這樣的數(shù)據(jù)，則很有可能出現(xiàn)瓶頸。

目前，深度學(xué)習(xí)還在蓬勃發(fā)展往上的階段。比如我們現(xiàn)階段主要做得比較成熟的語音、圖像、視頻方面，整個的數(shù)據(jù)量還是在不斷的增多的，網(wǎng)絡(luò)規(guī)模也在不斷的變復(fù)雜?？梢哉f深度學(xué)習(xí)是GPU計算發(fā)展的關(guān)鍵，誰能找到最適合深度學(xué)習(xí)的模式，誰就是勝利者。

結(jié)語：

深度學(xué)習(xí)經(jīng)過這么長時間的發(fā)展，在網(wǎng)絡(luò)的種類、復(fù)雜程度和處理的信息量上都發(fā)生了天翻地覆的變化。當(dāng)前，網(wǎng)絡(luò)種類上，從早期的 AlexNet 和 GoogleNet 到現(xiàn)在各企業(yè)推出的 GAN以及各種深度強化學(xué)習(xí)的網(wǎng)絡(luò)，它們各自網(wǎng)絡(luò)結(jié)構(gòu)都有不同，開發(fā)者在適應(yīng)最新的網(wǎng)絡(luò)上常常會遇到一些麻煩。處理的信息量也在成倍地增長，算力需求越來越高的情況下，也將對搭載處理單元的硬件有著更高的要求。