1.團(tuán)隊(duì)介紹

參賽單位：西安電子科技大學(xué) 指導(dǎo)老師：蔡覺平、丁瑞雪 參賽隊(duì)員：王瑞青、江立峰、陳培林 總決賽獎(jiǎng)項(xiàng)：二等獎(jiǎng)

2.項(xiàng)目簡介

2.1項(xiàng)目背景

由于深度對于理解三維場景非常重要，因此它被廣泛應(yīng)用于機(jī)器人技術(shù)、三維建模和駕駛自動(dòng)化系統(tǒng)等領(lǐng)域。如圖1所示，單目深度估計(jì)從單個(gè)RGB圖像生成像素方向的深度。單目深度估計(jì)有可能取代現(xiàn)有的深度傳感器，如激光雷達(dá)和紅外傳感器，成為低成本和功率單目RGB相機(jī)。由于單目RGB相機(jī)的可靠性和高精度，最近基于CNN的單目深度估計(jì)方法受到關(guān)注。然而，CNN需要大量的乘法運(yùn)算，在有限的功耗限制下，很難對嵌入式系統(tǒng)進(jìn)行實(shí)時(shí)、準(zhǔn)確的估計(jì)。在以往的單目深度估計(jì)研究中，為了加快gpu上的訓(xùn)練時(shí)間或推理速度，這些研究通常使用具有輕量級卷積（如可分離卷積）的編解碼網(wǎng)絡(luò)[2]。然而，gpu需要很高的功耗，并且不適合處理編碼器-解碼器網(wǎng)絡(luò)中使用的許多不同卷積的快速內(nèi)存訪問。

2.2項(xiàng)目功能

單目深度估計(jì)是指從單個(gè)二維彩色圖像中估計(jì)像素級深度測量的任務(wù)。這個(gè)問題的輸入是一個(gè)2D RGB彩色圖像，輸出是一個(gè)密集的深度圖，如圖1-1所示。2D RGB圖像提供像素級的顏色信息，這有助于識(shí)別場景中對象的相對位置；然而，圖像本身并不能提供尺度感。因此，可以想象不同的RGB圖像如何能夠產(chǎn)生相同的深度圖，例如，保持對象的相對位置但在垂直于圖像平面的深度維度上具有縮放的距離的圖像。這對單目深度估計(jì)算法提出了挑戰(zhàn)，因?yàn)樗鼈儽仨毻茢噙m當(dāng)?shù)谋壤?，以便生成精確的像素級深度測量。

2.3項(xiàng)目應(yīng)用

深度估計(jì)對于許多機(jī)器人應(yīng)用來說至關(guān)重要，尤其是導(dǎo)航。這通常是即時(shí)定位與地圖構(gòu)建（SLAM）算法中的一個(gè)關(guān)鍵步驟，一些著作已經(jīng)將基于學(xué)習(xí)的深度估計(jì)結(jié)合到SLAM框架中，例如CNN-SLAM 。深度估計(jì)也是3D重建算法的一個(gè)關(guān)鍵步驟，應(yīng)用于增強(qiáng)現(xiàn)實(shí)和醫(yī)學(xué)成像。當(dāng)我們考慮功率受限的小型化機(jī)器人時(shí)，單目深度估計(jì)變得也很重要，這種機(jī)器人上的機(jī)載傳感器技術(shù)可能僅限于簡單的RGB相機(jī)，并且可能不存在附加信息(例如，立體圖像對、IMU測量、稀疏深度點(diǎn)云、光流)。對于這樣的應(yīng)用，以計(jì)算有效的方式從單個(gè)RGB圖像估計(jì)密集深度的能力成為挑戰(zhàn)和目標(biāo)。

3.系統(tǒng)組成

天乾C216F開發(fā)板
我們使用的開發(fā)板，完成將RGB圖像處理成深度圖像的功能

全息相冊
展示天乾C216F處理后的全息影像

上位機(jī)
發(fā)送指令，完成使系統(tǒng)功能在“懷舊模式”、“攝影模式”、“拍照模式”等多種模式之間的切換

單目攝像頭
可以捕獲圖像或者視頻，并輸出給天乾C216F

HDMI顯示器
顯示當(dāng)前模式以及圖像處理情況

4.網(wǎng)路設(shè)計(jì)與優(yōu)化方法

4.1FastDepth簡介

我們設(shè)計(jì)的單目深度估計(jì)網(wǎng)絡(luò)FastDepth主要由卷積構(gòu)成，主要由編碼器-解碼器兩部分組成。編碼器從輸入圖像中提取高層次低分辨率特征。然后將這些特征輸入解碼器，在解碼器中對它們進(jìn)行逐步的上采樣、細(xì)化和合并，以形成最終的高分辨率輸出深度圖。

編碼器用藍(lán)色表示；解碼器用黃色表示。中間特征圖的尺寸對應(yīng)關(guān)系為高× 寬×深度。從編碼層到解碼層的箭頭表示加法跳過連接。

FastDepth的大部分卷積層使用深度可分離卷積。只有MobileNet編碼器的第一層（標(biāo)準(zhǔn)卷積層）和解碼器的最后一層（簡單的逐點(diǎn)卷積，然后是插值）沒有使用深度可分離卷積。FastDepth中的每個(gè)卷積層后面是一個(gè)標(biāo)準(zhǔn)化層和一個(gè)ReLU函數(shù)。在訓(xùn)練之后，將標(biāo)準(zhǔn)化層和卷積層合并，從而形成一個(gè)僅由卷積層、ReLU函數(shù)和加法跳過連接操作組成的神經(jīng)網(wǎng)絡(luò)拓?fù)洹?/p>

我們在PyTorch中建立了FastDepth網(wǎng)絡(luò)，并使用官方的train/test數(shù)據(jù)分割在NYU Depth v2數(shù)據(jù)集上進(jìn)行訓(xùn)練。編碼層使用了已經(jīng)在ImageNet上預(yù)訓(xùn)練的模型的權(quán)重進(jìn)行初始化。然后將網(wǎng)絡(luò)作為一個(gè)整體進(jìn)行20個(gè)epochs的訓(xùn)練，batch size為16，初始學(xué)習(xí)率為0.01。學(xué)習(xí)率每5個(gè)epochs降低2倍。

4.2網(wǎng)絡(luò)優(yōu)化

4.2.1網(wǎng)絡(luò)剪枝

為了進(jìn)一步減少網(wǎng)絡(luò)延遲，我們使用NetAdapt執(zhí)行訓(xùn)練后網(wǎng)絡(luò)修剪。NetAdapt從一個(gè)經(jīng)過訓(xùn)練的網(wǎng)絡(luò)開始，自動(dòng)地從特征映射中識(shí)別和刪除冗余通道，以降低計(jì)算復(fù)雜度。在每次迭代中，NetAdapt都會(huì)生成一組從參考網(wǎng)絡(luò)簡化而來的網(wǎng)絡(luò)建議。然后選擇具有最佳精度和復(fù)雜度權(quán)衡的網(wǎng)絡(luò)方案作為下一次迭代的參考網(wǎng)絡(luò)。該過程一直持續(xù)到達(dá)到目標(biāo)精度或復(fù)雜度。網(wǎng)絡(luò)復(fù)雜性可以通過間接指標(biāo)（如mac）或直接指標(biāo)（如目標(biāo)硬件平臺(tái)上的延遲）來衡量。

4.2.2將5×5卷積和最近鄰插值分解為3×3卷積

參考了Yazdanbakhsh等人在他們關(guān)于FlexiGAN的工作中探索的這種分解的一種變體，他們在FlexiGAN中使用了濾波器和行重新排序，以使零插入后的卷積更加緊湊和密集，從而更好地利用硬件資源。我們采用了一種類似的方法如圖所示。

把5×5核分解成4個(gè)更小的3×3核。當(dāng)5×5卷積之前是最近鄰插值。此處的紅色框表示插值輸入特征圖中具有相同值的像素窗口。隨著5×5核的滑動(dòng)，2×2的窗口中的內(nèi)核值將與相同的特性映射值相乘。與執(zhí)行4次乘法和4次加法不同，內(nèi)核值可以先預(yù)加，然后再與共享像素值相乘一次。（b）經(jīng)過濾波器分解，每四個(gè)較小的3×3濾波器可與非插值輸入特征映射卷積。這將產(chǎn)生四個(gè)可以交錯(cuò)的輸出。得到的輸出特征映射與最近鄰插值后執(zhí)行的原始5×5卷積的特征映射相匹配。

5.部署方式

本文實(shí)現(xiàn)了兩種部署方式：通過TVM編譯器和pytorch深度學(xué)習(xí)框架部署。通過TVM端到端深度學(xué)習(xí)編譯器部署fastdepth模型，顯示效果一般，但由于對模型經(jīng)過剪枝、量化等優(yōu)化操作，幀率高達(dá)34.7fps；通過pytorch深度學(xué)習(xí)框架部署midas，模型精度高，顯示效果好，但幀率下降至0.82fps左右。

TVM是由華盛頓大學(xué)在讀博士陳天奇等人提出的深度學(xué)習(xí)自動(dòng)代碼生成方法，該技術(shù)能自動(dòng)為大多數(shù)計(jì)算硬件生成可部署優(yōu)化代碼，其性能可與當(dāng)前最優(yōu)的供應(yīng)商提供的優(yōu)化計(jì)算庫相比，且可以適應(yīng)新型專用加速器后端。

TVM可以優(yōu)化CPU和其他專用硬件為后端的常見深度學(xué)習(xí)計(jì)算負(fù)載。

TVM通過利用多線程、數(shù)據(jù)布局轉(zhuǎn)化和一些新的計(jì)算原語，可以針對GPU做很多高效優(yōu)化。

同時(shí)，TVM已為x86、ARM等平臺(tái)提供了同意的優(yōu)化框架，利用其部署大大提高了板子資源利用率，幀率高達(dá)34.7fps。

下圖是TVM端到端深度學(xué)習(xí)編譯器的說明圖：

6.作品效果展示

通過全息相冊上位機(jī)選擇生成后的深度圖即可在全息相冊上展示。

審核編輯 ：李倩