[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛里的多傳感器融合，本質(zhì)是把不同來(lái)源的信息拼在一起，讓系統(tǒng)對(duì)環(huán)境的理解更完整。攝像頭提供顏色和語(yǔ)義，激光雷達(dá)提供三維結(jié)構(gòu)，毫米波雷達(dá)提供距離和速度，這些信息如果分開用，很容易出現(xiàn)盲區(qū)，而融合之后就可以相互補(bǔ)充。

在這些融合方式里，前融合是最“靠前”的一種，它不是等模型理解完再合，而是直接從原始數(shù)據(jù)開始處理。

什么叫“前融合”？

前融合通常指數(shù)據(jù)級(jí)融合，也就是在傳感器剛輸出數(shù)據(jù)時(shí)就開始整合，而不是等到檢測(cè)結(jié)果出來(lái)之后再合并。

可以這樣理解，系統(tǒng)不再分別處理圖像、點(diǎn)云和雷達(dá)數(shù)據(jù)，而是先把它們變成一個(gè)統(tǒng)一的數(shù)據(jù)輸入，再交給后面的模型。

圖片源自：網(wǎng)絡(luò)

前融合常見的做法簡(jiǎn)單說(shuō)就是把激光雷達(dá)點(diǎn)云投影到攝像頭圖像上，讓每個(gè)像素同時(shí)帶有顏色和距離的信息，或者反過(guò)來(lái)，把圖像里的語(yǔ)義信息映射到三維點(diǎn)上，讓點(diǎn)云不僅有位置，還有類別屬性。

從輸入形式上看，這一步已經(jīng)不再是單一傳感器數(shù)據(jù)，而是一個(gè)融合后的多模態(tài)數(shù)據(jù)體。

它具體在做哪些處理？

前融合并不是簡(jiǎn)單拼接數(shù)據(jù)，而是會(huì)解決幾個(gè)很基礎(chǔ)但關(guān)鍵的問(wèn)題。

最先要處理的是時(shí)間和空間的統(tǒng)一。不同傳感器采樣頻率不同、安裝位置不同，如果不對(duì)齊，同一個(gè)目標(biāo)在不同數(shù)據(jù)里會(huì)出現(xiàn)在不同位置甚至不同時(shí)間點(diǎn)。前融合必須先完成時(shí)間同步和坐標(biāo)系統(tǒng)一，讓同一個(gè)物體在同一時(shí)刻出現(xiàn)在同一位置。

圖片源自：網(wǎng)絡(luò)

在此基礎(chǔ)上，需要建立不同數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系。典型操作是把三維點(diǎn)投影到圖像平面，或者根據(jù)相機(jī)模型把圖像信息映射回空間。這一步解決的是圖像像素和空間點(diǎn)如何一一對(duì)應(yīng)的問(wèn)題。

當(dāng)對(duì)應(yīng)關(guān)系建立之后，就可以把信息綁定在一起。一個(gè)點(diǎn)不僅只是空間坐標(biāo)，還可以帶有顏色、紋理或者語(yǔ)義標(biāo)簽。最終得到的數(shù)據(jù)，既包含幾何結(jié)構(gòu)，又包含語(yǔ)義信息，相當(dāng)于把多個(gè)傳感器合成了一個(gè)更完整的輸入。

為什么要這么早融合？

說(shuō)到這里，可能會(huì)有很多小伙伴想問(wèn)，為什么要進(jìn)行前融合？

其實(shí)前融合的核心價(jià)值在于盡量少丟傳感器感知到的信息。

圖片源自：網(wǎng)絡(luò)

如果等各傳感器做完目標(biāo)檢測(cè)候再合并，很多底層細(xì)節(jié)就可能被壓縮或丟棄。而在原始數(shù)據(jù)階段融合，可以最大程度保留如邊緣信息、稀疏點(diǎn)結(jié)構(gòu)以及弱信號(hào)目標(biāo)等細(xì)節(jié)。

這將直接影響感知能力的上限。模型在訓(xùn)練時(shí)可以同時(shí)利用幾何和語(yǔ)義信息，能夠既知道一個(gè)目標(biāo)是什么，也知道它在空間中的精確位置。

前融合還可以讓不同模態(tài)之間的關(guān)系更容易被模型學(xué)習(xí)。因?yàn)檫@些信息在一開始就是對(duì)齊的，模型不需要再去“猜測(cè)”它們之間的對(duì)應(yīng)關(guān)系，而是可以直接建模這種關(guān)聯(lián)。

前融合很難容易落地？

前融合的思路聽起來(lái)非常理想，但實(shí)現(xiàn)難度其實(shí)很高。

前融合需要面對(duì)的最直接的問(wèn)題就是數(shù)據(jù)量。原始圖像和點(diǎn)云本身就很大，如果在數(shù)據(jù)層面直接融合，會(huì)明顯增加帶寬和計(jì)算壓力，這對(duì)自動(dòng)駕駛的實(shí)時(shí)需求是個(gè)不小的挑戰(zhàn)。

對(duì)齊精度其實(shí)也是一個(gè)難點(diǎn)。前融合依賴精確的時(shí)間同步和空間標(biāo)定，一旦有誤差，融合結(jié)果就會(huì)錯(cuò)位，反而影響模型判斷。在高速場(chǎng)景或者復(fù)雜環(huán)境中，這種誤差更難控制。

另外，前融合幾乎不做篩選，傳感器的噪聲會(huì)一起進(jìn)入模型，對(duì)算法的魯棒性提出更高要求。一旦某個(gè)傳感器數(shù)據(jù)質(zhì)量下降，這個(gè)影響將會(huì)被直接放大。

圖片源自：網(wǎng)絡(luò)

因此在實(shí)際量產(chǎn)方案中，很多系統(tǒng)會(huì)采用折中方式，在數(shù)據(jù)層做部分對(duì)齊，然后在特征層再進(jìn)一步融合，以兼顧效果和穩(wěn)定性。

從技術(shù)路徑上看，前融合做的就是盡可能早地統(tǒng)一信息表達(dá)，讓模型直接面對(duì)一個(gè)完整的環(huán)境描述。

雖然它還沒(méi)有成為主流，但它的思路已經(jīng)被很多新架構(gòu)吸收，比如在BEV表達(dá)、多模態(tài)網(wǎng)絡(luò)中，都會(huì)提前做一定程度的對(duì)齊和信息融合。

簡(jiǎn)單理解前融合，其實(shí)可以將其看做一種更徹底的融合方式。它不是在結(jié)果上做疊加，而是試圖從源頭上消除傳感器之間的邊界。

最后的話

多傳感器前融合就是在數(shù)據(jù)最原始的階段，把不同傳感器的信息統(tǒng)一到一起，再交給模型處理。它解決的是“信息什么時(shí)候開始融合”的問(wèn)題。越早融合，信息越完整，但對(duì)系統(tǒng)能力要求也越高。在當(dāng)前階段，它更像是一種能力上限的探索方向，而不是默認(rèn)選擇。

審核編輯 黃宇