——詮釋圖形處理器（GPU）和神經(jīng)網(wǎng)絡(luò)加速器芯片如何為汽車應(yīng)用提供智能優(yōu)勢

作者：Imagination Technologies汽車產(chǎn)品部總監(jiān)Bryce Johnstone

汽車行業(yè)是推動人工智能（AI）發(fā)展的重要行業(yè)之一，這是因為該行業(yè)致力于自動駕駛汽車和高級駕駛員輔助系統(tǒng)（ADAS）的泛在利益。

汽車正在變得越來越智能，但是如果汽車行業(yè)要實現(xiàn)完全自動駕駛的目標(biāo)，他們還有很長的路要走。盡管業(yè)界還在討論實現(xiàn)全自動化所需的理想技術(shù)組合，但是有一點是明確的，那就是人工智能，尤其是神經(jīng)網(wǎng)絡(luò)將發(fā)揮重要作用。

神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的作用是執(zhí)行對于傳統(tǒng)視覺或模式識別系統(tǒng)來說具有挑戰(zhàn)性的任務(wù)。通過使每個神經(jīng)網(wǎng)絡(luò)各自不同，并針對特定任務(wù)進(jìn)行設(shè)計，它可以更高效、更精確地執(zhí)行任務(wù)。

所有神經(jīng)網(wǎng)絡(luò)的組織模式都是在多個層面上多次處理數(shù)據(jù)。因此，神經(jīng)網(wǎng)絡(luò)可以在不同的輸入模式下運行十到二十次，而不是用一組特定的參數(shù)只運行一次操作。這個想法是，通過所有這些不同的路徑，選擇的數(shù)量就會增加。當(dāng)?shù)搅诵枰龀鰶Q策的時候，它已經(jīng)從輸入中提取了所有的信息。

在路標(biāo)識別的示例中，第一層可能正在尋找一個標(biāo)識的角形狀，然后是顏色等各個步驟執(zhí)行下去，直到它可以非常確信地說這是一個路標(biāo)并說明其含義。這樣做的好處在于無需對每一個步驟都進(jìn)行編程，神經(jīng)網(wǎng)絡(luò)將會自己完成，并且隨著時間的推移而不斷學(xué)習(xí)。該算法知道它需要識別的內(nèi)容，并將嘗試不同的方法，直到實現(xiàn)目標(biāo)，并在過程中不斷學(xué)習(xí)。一旦神經(jīng)網(wǎng)絡(luò)在經(jīng)過培訓(xùn)之后，它便可以在實際應(yīng)用中發(fā)揮作用。這意味著工程師不必花費數(shù)小時來微調(diào)復(fù)雜的算法，他們只需向神經(jīng)網(wǎng)絡(luò)展示它需要發(fā)現(xiàn)的內(nèi)容并讓其自學(xué)完成。

這些技術(shù)已經(jīng)在車輛中被廣泛用于目標(biāo)檢測、分類和分析，而駕駛員監(jiān)測、訪問控制以及語音和手勢識別也可以利用不同類型的神經(jīng)網(wǎng)絡(luò)。此外，將傳統(tǒng)視覺與神經(jīng)網(wǎng)絡(luò)相結(jié)合的人工智能方法，可用于行人路徑分析和環(huán)繞視圖等應(yīng)用場景，它將同時依賴于圖形處理器（GPU）和神經(jīng)網(wǎng)絡(luò)加速器（NNA）。

在從傳感器到電子控制單元（ECU）整個鏈路中也可以使用神經(jīng)網(wǎng)絡(luò)，在預(yù)處理、中間處理和后處理中使用的各種技術(shù)將人工智能引入了其中。

此外，車聯(lián)網(wǎng)（V2X）技術(shù)正在開發(fā)中，該技術(shù)將主要使用自動駕駛汽車作為傳感載體，為各種智慧城市和智慧交通場景提供數(shù)據(jù)和信息。同樣，這些進(jìn)展將依賴于采用GPU和NNA的方法實現(xiàn)人工智能，以支持來自越來越大的輸入集的各種分析和計算。

傳感器融合

自動駕駛和高度自動化的車輛將嚴(yán)重依賴各種類型的傳感器，包括攝像頭、熱成像、雷達(dá)、激光雷達(dá)（LiDAR）等。所有這些傳感器傳出的信號都需要進(jìn)行解讀和融合，以便全面了解車輛內(nèi)部和外部發(fā)生的情況。

傳感器融合對于自動駕駛至關(guān)重要，它將涉及到GPU和神經(jīng)網(wǎng)絡(luò)以及機(jī)器學(xué)習(xí)和人工智能的結(jié)合。

車輛內(nèi)部傳感器融合的一個很好的示例是駕駛員監(jiān)測。在當(dāng)今的車輛中，各種各樣的傳感器都能夠檢測到駕駛員是否注意力不集中。神經(jīng)網(wǎng)絡(luò)可以分析拍攝到的駕駛員圖像，以判斷他或她是否在睡覺、處于疲倦狀態(tài)、注意力不集中，甚至通過移動設(shè)備講話或發(fā)信息。這對于早期的自動駕駛車輛來說是至關(guān)重要的信息，因為它可能需要駕駛員在某些時候重新控制車輛，因為汽車需要知道駕駛員是否處于合適的狀態(tài)才能這樣做。

駕駛員監(jiān)測是如何工作的？對準(zhǔn)駕駛員面部的攝像頭為分析面部元素（尤其是眼睛）的算法提供了輸入。是睜著眼睛還是閉著眼睛？如果是閉著眼睛，閉眼多長時間？眼神是否飄忽不定？駕駛員正在看向哪里？

研究整個面部可以確定駕駛員是生氣還是悲傷。如果是憤怒，系統(tǒng)會建議駕駛員先靠邊停車并冷靜下來，然后再繼續(xù)行駛。

所有這些都是基于構(gòu)建一個面部圖像，提取關(guān)鍵點并使用神經(jīng)網(wǎng)絡(luò)提取情緒、注視時間等來判斷駕駛員的精神狀態(tài)。

在未來的兩三年內(nèi)，駕駛員監(jiān)測可能會成為必須從歐洲新車評估計劃（NCAP）和美國國家高速公路通行安全管理局（NHTSA）獲得批準(zhǔn)的一項要求，因此駕駛員監(jiān)測會成為汽車制造商必須要實施的技術(shù)，不僅要適用于高端汽車，還要適用于所有車輛。

自動駕駛的等級

美國汽車工程師學(xué)會（SAE）和美國高速公路交通安全管理局已將自動駕駛汽車的能力分為六個等級?；旧?，等級0完全沒有自動化，而在等級1中，汽車將為駕駛員提供一些幫助。等級2具有更多的駕駛輔助功能，甚至可以自主執(zhí)行一些任務(wù)，例如自動緊急制動以避免碰撞。

等級3是一個棘手的問題，雖然汽車是自動駕駛，但駕駛員必須隨時準(zhǔn)備駕駛車輛。駕駛員監(jiān)測將是等級3自動駕駛的關(guān)鍵，因為駕駛員必須做好干預(yù)的準(zhǔn)備，并且在一定程度上，車輛有責(zé)任確保駕駛員做好準(zhǔn)備。

在等級4中，即使駕駛員可以接手車輛駕駛，但從理論上講，車輛也可以處理它所處現(xiàn)場的所有情況。等級5的車輛將實現(xiàn)全自動化，沒有方向盤和踏板。

車輛自動駕駛性能每提高一個級別，所需的計算性能就會增加大約十倍。這就是為什么神經(jīng)網(wǎng)絡(luò)很重要的原因，因為它們可以在非常低的功耗下提供這種性能。

目標(biāo)檢測

以一個行人為例，汽車的車載攝像頭和傳感器可以記錄行人是在行走或站立；神經(jīng)網(wǎng)絡(luò)可被用于繪制行人可能要走的路線，并計算車輛是否需要減速或快速制動。神經(jīng)網(wǎng)絡(luò)還可以觀察同一幅圖像并對其進(jìn)行分割，從中挑選出其他物體，并應(yīng)用目標(biāo)識別技術(shù)來判斷出它們是否代表了車輛需要注意的東西。所有這些都必須把車輛的位置以及它想要去的地方納入考慮之中，如果車輛正在倒車，并檢測到在車輛后面有一個小孩，就需要迅速處理并進(jìn)行剎車。要做到這一點，就需要人工智能和神經(jīng)網(wǎng)絡(luò)來查看那里是否有物體存在，并對其進(jìn)行識別認(rèn)出是一個孩子，然后向執(zhí)行器或駕駛員發(fā)送一個信號，以采取措施。

由于攝像頭通常會帶有某種魚眼鏡頭，因此這將使其變得更加復(fù)雜。這會產(chǎn)生一張變形的圖片，需要先矯正然后進(jìn)行解讀。來自這個設(shè)備以及其他傳感器的輸入需要結(jié)合起來，從而在瞬間做出決策。

數(shù)據(jù)處理

與此同時，來自汽車周圍的其他信息也源源不斷地被送達(dá)，包括來自于所有傳感器的以及從其他車輛或基礎(chǔ)設(shè)施通過無線通信接收到的信息。這是一個巨大的數(shù)據(jù)量，可能在太字節(jié)（terabyte）范圍內(nèi)。

ECU將遍布汽車各處，并根據(jù)數(shù)據(jù)做出決策。這可能會涉及到100個或者更多的ECU。業(yè)界正在使用一些方法來研究如何用更少的ECU和更多的計算能力來實現(xiàn)這一點。攝像頭或傳感器旁邊的嵌入式人工智能可以做出一些決定，從而減少車輛需要傳遞的信息。

這意味著需要不同等級的處理方式。數(shù)據(jù)可以在捕獲點進(jìn)行預(yù)處理，例如拉直魚眼鏡頭的圖像。中間處理可能包括各種已計劃的任務(wù)、目標(biāo)識別、決策制定等。之后可以進(jìn)行后處理，當(dāng)信息可以被清理整齊并顯示在屏幕上時，讓駕駛員就知道正在發(fā)生什么或已經(jīng)發(fā)生了什么。

應(yīng)用

這些數(shù)據(jù)處理技術(shù)也被用于創(chuàng)建當(dāng)前正在開發(fā)的應(yīng)用，以在車內(nèi)創(chuàng)建虛擬環(huán)視車身支撐柱。在此用例中，將在支撐柱（連接車頂和車身的支撐柱）上安裝攝像頭來捕獲車外發(fā)生的事情。支撐柱的內(nèi)部將提供一個顯示器，以顯示這些攝像頭正在捕獲的內(nèi)容，從而為駕駛員提供一個不間斷的視場。

這個過程非常難以實現(xiàn)。系統(tǒng)必須了解駕駛員正在查看的另一側(cè)是什么情景。圖片將需要修正變形并放置在不平整或彎曲的表面上，然后重新變形到支撐柱的輪廓上。

盡管這一進(jìn)步是未來的趨勢，但一些高端車輛已經(jīng)提供了環(huán)繞視圖系統(tǒng)，并且它們很快將應(yīng)用于中檔和入門級車輛。GPU被用于分析遍布車輛周圍的各個攝像頭所捕獲的圖像（通常有四個或五個攝像頭），并將圖像拼接在一起。根據(jù)拼接的圖像，神經(jīng)網(wǎng)絡(luò)將執(zhí)行目標(biāo)檢測和路徑預(yù)測，以查看這些目標(biāo)是否有可能攔擋車輛的路徑。

信息娛樂和導(dǎo)航

在車載信息娛樂系統(tǒng)（IVI）和導(dǎo)航方面，GPU也起著重要作用。它們還參與語音控制，這很可能成為人與車之間的關(guān)鍵接口。因此，對于衛(wèi)星導(dǎo)航系統(tǒng)來說，駕駛員不必操作按鈕和鍵盤來輸入目的地，而是只需說出郵政編碼或街道名字，然后就可要求系統(tǒng)繪制出路線。

儀表盤將被連接到外部攝像頭，以用于路標(biāo)識別等操作。如果攝像頭捕捉到一個限速的標(biāo)志，該標(biāo)志可以在有效的時間內(nèi)顯示在駕駛員面前；如果汽車超過限速，就會發(fā)出聲響警告。

實際上，整個儀表顯示區(qū)將使用GPU進(jìn)行圖像渲染和信息優(yōu)先級排序。如果系統(tǒng)確定駕駛員需要了解一些關(guān)鍵信息，該信息可能會從儀表顯示區(qū)中彈出，甚至可以投射到擋風(fēng)玻璃上。擋風(fēng)玻璃上的圖像也可以被用作導(dǎo)航系統(tǒng)的一部分，向駕駛員顯示正確的轉(zhuǎn)彎方向或說明汽車在即將到來的路口需要駛?cè)肽臈l車道。

后視鏡的換代是另一個主要的、潛在的發(fā)展方向。一些新型汽車已經(jīng)在開發(fā)中，其上的后視鏡已被可顯示來自不同攝像頭視圖的屏幕取代。與傳統(tǒng)的后視鏡一樣，除了顯示車后發(fā)生的情況之外，它們還可被用于盲點檢測。在此，神經(jīng)網(wǎng)絡(luò)可以向駕駛員發(fā)出關(guān)于有關(guān)其無法看到的汽車的警告，并自動阻止汽車變道進(jìn)入另一輛汽車的路線。

智慧城市

世界各國的各地政府正在朝著一個長期目標(biāo)邁進(jìn)，那就是讓智慧城市擁有自動駕駛和高度自動化的車輛，并將其集成到覆蓋整個城鎮(zhèn)或城市的智能交通系統(tǒng)中。

其背后的理念是，所有的城市服務(wù)和規(guī)劃工作都是相互協(xié)調(diào)和聯(lián)系的，以便讓市民獲得更多的信息，讓城市生活更愉快，更重要的是更加健康。為實現(xiàn)這一目標(biāo)，減少污染和交通擁堵至關(guān)重要。

智能交通系統(tǒng)將控制整個城市的交通基礎(chǔ)設(shè)施。該基礎(chǔ)設(shè)施將與車輛進(jìn)行通信，交通信號燈和車輛也將相互通信，并將收集到的數(shù)據(jù)發(fā)送回去。

這方面的一個實例就是控制交通信號燈，使車輛暢通無阻地以最佳速度通過一個區(qū)域。如果緊急服務(wù)車輛需要快速駛?cè)?，則可以使用這些相同的交通信號燈來阻止其他道路使用者，并為他們創(chuàng)建一條安全的道路。

如果一地發(fā)生交通堵塞，車輛可以將此信息傳遞給基礎(chǔ)設(shè)施；反過來，基礎(chǔ)設(shè)施又可以通知其他車輛遠(yuǎn)離該區(qū)域，這樣就不會增加問題的嚴(yán)重性，以便交通堵塞可以被更快地被清除。這甚至可以被用于城市以外的地方，例如在高速公路的入口匝道上。如果系統(tǒng)已經(jīng)從反向行駛的汽車中獲悉了備用信息，它可以在駕駛員駛?cè)敫咚俟分皩ζ浒l(fā)出警告，從而使他們能夠考慮其他路線。

為了實現(xiàn)這一目標(biāo)，城市將需要有一個中央智能樞紐，該中樞可以處理傳入的信息并計算哪些數(shù)據(jù)要發(fā)送給其他車輛或交通信號燈。這只有在結(jié)合了神經(jīng)網(wǎng)絡(luò)、人工智能、機(jī)器學(xué)習(xí)和先進(jìn)算法之后才能實現(xiàn)。

結(jié)論

NHTSA的研究發(fā)現(xiàn)：高度自動化的車輛將比由人類駕駛的車輛更加安全，94％的事故是由人為失誤造成的。基于AI的技術(shù)在響應(yīng)能力和識別需要快速響應(yīng)的威脅方面已經(jīng)優(yōu)于人類駕駛。

為了實現(xiàn)這些車輛所需的處理能力，將需要NNA和GPU配合使用。隨著汽車行業(yè)轉(zhuǎn)向全自動駕駛汽車，計算能力將需要被大幅提升，NNA將應(yīng)需而扮演重要角色。據(jù)估計，一輛等級5自動駕駛汽車需要的計算能力是等級1自動駕駛汽車的10，000倍。

這是處理性能的極大提高，但也必須在一個給定的功耗預(yù)算內(nèi)完成。一個神經(jīng)網(wǎng)絡(luò)加速器（NNA）的性能已經(jīng)是中央處理器（CPU）的100到800倍，而其成品封裝卻比CPU大小小很多。一輛車可能有一個很大的CPU，同時還有許多NNA遍布于車輛各處，并以比同樣遍布車輛各處的CPU低得多的功耗和更高的性能來執(zhí)行各種任務(wù)。

Imagination Technologies提供了GPU和NNA硅知識產(chǎn)權(quán)（IP）。其應(yīng)用在數(shù)字儀表盤中的技術(shù)比任何競爭對手都要多，并且公司在先進(jìn)駕駛員輔助系統(tǒng)（ADAS）和自動駕駛汽車市場中也處于領(lǐng)先地位。賦能自動駕駛汽車實用化所需的所有要素都將取決于這些技術(shù)，而這些技術(shù)成為現(xiàn)實只是時間問題。