[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛汽車想要在道路上安全行駛，需要識(shí)別的東西遠(yuǎn)比我們所知道的諸如紅綠燈、行人、車輛等復(fù)雜得多。其中有一個(gè)是我們經(jīng)常會(huì)忽略，但同樣非常重要的障礙物，那就是小物體，像是地面上常見的小坑、碎石、塑料袋、紙箱角落、掉落的車載零件，甚至是一只小鳥或小貓，都可能對(duì)車輛的行駛安全與乘坐舒適性造成影響。

小物體檢測聽起來“小事兒一樁”，但實(shí)際難度會(huì)高很多。小物體具有目標(biāo)體積小、與背景對(duì)比弱、遮擋嚴(yán)重、在不同光照和天氣下表現(xiàn)各異等特征，而且在發(fā)現(xiàn)時(shí)已距離非常近了，常需要極低的延遲就決定躲避或減速，這給自動(dòng)駕駛系統(tǒng)提出了非常高的要求，那自動(dòng)駕駛汽車在遇到小物體的時(shí)候，是如何準(zhǔn)確識(shí)別的？

感知硬件的必要性

聊到自動(dòng)駕駛，一定離不開傳感器，相機(jī)因?yàn)榉直媛矢?、成本低、能提供豐富的紋理和顏色信息，是檢測小物體的主力。把鏡頭換成更高像素、采用更窄的近距離視場或者多個(gè)短焦攝像頭組合，都能增加小物體在圖像中占比，從而更容易被檢測器捕捉到。但相機(jī)在弱光、逆光和大雨雪中表現(xiàn)會(huì)急劇下降。激光雷達(dá)（LiDAR）提供了直接的深度測量，能幫助判斷障礙物是否是真實(shí)物體以及其三維尺寸，但對(duì)小物體的點(diǎn)云回波可能稀疏或根本無回波，特別是遠(yuǎn)距離或低反射率物體，所能得到的回波更是微乎其微。毫米波雷達(dá)對(duì)小塑料、紙張等非金屬目標(biāo)通常無能為力，但對(duì)散落的金屬碎片或車輛零件有一定補(bǔ)充價(jià)值。超聲波在近距離（幾米內(nèi)）對(duì)軟性或低矮物體靈敏，是泊車和低速情況下的好幫手。還有一些如紅外/熱成像能在夜間突出生物目標(biāo)，事件相機(jī)能夠?qū)焖僮兓木置嬉詷O低延遲捕捉邊界，這些特殊傳感器在特定場景有獨(dú)特作用。

當(dāng)然，為了精確感知到小物體，在選擇傳感器時(shí)并不能只考慮傳感器的能力，還有很多細(xì)節(jié)需要考慮，相機(jī)與LiDAR的安裝高度、俯仰角會(huì)影響對(duì)近地小物體的感知覆蓋；鏡頭選擇（廣角或窄角）以及畸變校正會(huì)決定小物體在圖像中的形態(tài)表達(dá)；傳感器清潔（擋風(fēng)玻璃、LiDAR蓋板）和防凍措施也會(huì)直接關(guān)系到夜間或惡劣天氣的檢測能力。這時(shí)就可以引入自檢模塊，持續(xù)監(jiān)控傳感器健康，當(dāng)某個(gè)傳感器的置信度下降時(shí)自動(dòng)調(diào)整融合策略，同時(shí)告知上層決策降低速度或把駕駛權(quán)限交還給人類。

為了實(shí)現(xiàn)更加精準(zhǔn)的識(shí)別，感知融合是非常重要的一環(huán)。把LiDAR的稀疏點(diǎn)云投影到圖像平面，可以在圖像上得到稀疏深度點(diǎn)，作為額外通道輸入給檢測網(wǎng)絡(luò)；反過來，圖像檢測結(jié)果可以限制點(diǎn)云聚焦區(qū)，從而提高點(diǎn)云模型對(duì)小物體的敏感度（Frustum-based方法就是這么干的）。此外，雷達(dá)數(shù)據(jù)的速度信息可以幫助區(qū)分靜止的垃圾與正在滾動(dòng)的障礙物，熱成像能在夜間把動(dòng)物與背景區(qū)分開來。多模態(tài)融合的難點(diǎn)在于對(duì)齊（時(shí)間戳同步、外參內(nèi)參標(biāo)定）、置信度建模以及在模態(tài)缺失時(shí)的退化策略。有技術(shù)提出使用一種“模態(tài)優(yōu)先級(jí)”邏輯，即在視覺良好時(shí)優(yōu)先以相機(jī)為主，在夜間或大霧天則把熱像或雷達(dá)權(quán)重抬高，而在近距離停車/低速場景下，超聲波數(shù)據(jù)被賦予最高優(yōu)先級(jí)。

算法對(duì)于識(shí)別依然重要

想要實(shí)現(xiàn)精準(zhǔn)識(shí)別，除了感知外，更重要的還有算法。曾幾何時(shí)，目標(biāo)檢測靠手工特征+分類器，面對(duì)小目標(biāo)普遍乏力?，F(xiàn)代自動(dòng)駕駛更多依賴深度學(xué)習(xí)，但直接把通用目標(biāo)檢測網(wǎng)絡(luò)（比如早期的YOLO、SSD）拿來套用也不足以處理路面小物體。小目標(biāo)的關(guān)鍵問題是，特征信息在網(wǎng)絡(luò)傳遞過程中容易丟失。當(dāng)輸入分辨率、或特征圖尺度過小，小物體的特征就被下采樣吞掉了。為了彌補(bǔ)這一點(diǎn)，常用的策略包括保留高分辨率分支、使用特征金字塔（Feature Pyramid Network, FPN）來匯聚不同尺度的信息，采用空間金字塔池化、多尺度訓(xùn)練以及專門為小目標(biāo)優(yōu)化的檢測頭。

近年來興起的anchor-free方法、以及Transformer框架（如DETR類模型）也在不斷改進(jìn)各尺度之間的建模能力，但它們對(duì)訓(xùn)練數(shù)據(jù)和算力要求高。對(duì)小物體特別有效的技巧還包括，在訓(xùn)練時(shí)對(duì)小目標(biāo)進(jìn)行過抽樣（讓模型看到更多小目標(biāo)樣本）、使用焦點(diǎn)損失（Focal Loss）緩解正負(fù)樣本不平衡、引入上下文模塊（因?yàn)楹芏嘈∥矬w難以從局部判斷，周圍語義和道路結(jié)構(gòu)常常是重要線索）、以及用可變形卷積或注意力機(jī)制提升對(duì)不規(guī)則形態(tài)的響應(yīng)能力。

時(shí)間維度是另一個(gè)強(qiáng)有力的工具。單幀圖像里一個(gè)不起眼的小紙袋可能看不出什么，但通過連續(xù)幀的運(yùn)動(dòng)信息、光流、或基于跟蹤的策略，就可以把“短暫的噪點(diǎn)”演變?yōu)榉€(wěn)定的目標(biāo)。常見的做法就是把檢測和跟蹤結(jié)合，先用檢測器在每一幀產(chǎn)生候選，再用輕量級(jí)跟蹤器（例如基于卡爾曼濾波和外觀關(guān)聯(lián)的SORT/DeepSORT思想）在時(shí)間上鏈接目標(biāo)軌跡，從而用運(yùn)動(dòng)一致性來濾掉偶發(fā)誤報(bào)并且增強(qiáng)小物體置信度。還有更先進(jìn)的做法是構(gòu)建時(shí)空網(wǎng)絡(luò)，直接對(duì)多幀輸入進(jìn)行端到端推斷，讓模型學(xué)會(huì)把跨幀的微弱線索整合起來。

小物體本身在自然采集中往往是長尾分布，即絕大多數(shù)幀里沒有稀有的小物體，這就會(huì)導(dǎo)致訓(xùn)練數(shù)據(jù)里小物體樣本不足。為此，行業(yè)里普遍使用數(shù)據(jù)增強(qiáng)和合成數(shù)據(jù)來補(bǔ)樣本。有一種簡單但有效的做法是“copy-paste”，也就是把標(biāo)注好的小物體裁剪出來，按合理的物理規(guī)則粘貼到其他場景中，保持遮擋與陰影一致性以減少域差異。更進(jìn)一步的做法就是使用模擬器生成合成數(shù)據(jù)，模擬不同天氣、不同路面、不同攝像頭參數(shù)下的小物體表現(xiàn)。還有一些技術(shù)細(xì)節(jié)會(huì)顯著提升檢測率，比如在訓(xùn)練時(shí)使用高分辨率輸入、在數(shù)據(jù)增強(qiáng)里有意放大小物體、以及在訓(xùn)練損失中對(duì)小目標(biāo)增加權(quán)重。標(biāo)注本身對(duì)小物體也更考驗(yàn)審校質(zhì)量，標(biāo)注框要足夠緊、類別標(biāo)簽和元數(shù)據(jù)（反光、材質(zhì)、固定/移動(dòng)）要準(zhǔn)確，以便訓(xùn)練出能區(qū)分細(xì)微差別的模型。

為了能夠讓自動(dòng)駕駛汽車真實(shí)上路，對(duì)于小物體的檢測還要考慮計(jì)算和延遲約束。自動(dòng)駕駛系統(tǒng)對(duì)實(shí)時(shí)性要求極高，檢測模型必須在有限算力下完成推理并輸送給規(guī)劃模塊。常見的辦法包括模型壓縮（剪枝、蒸餾、量化）、把繁重的檢測放在邊緣GPU上而把更高層決策放在車端CPU上，以及采用多階段流程，先用一個(gè)極輕量的快速篩查網(wǎng)絡(luò)做高召回檢測（允許較多誤報(bào)），然后把篩查結(jié)果送到更精細(xì)但慢一些的網(wǎng)絡(luò)做精確識(shí)別與分類。對(duì)于小物體尤其重要的是在保證高召回的前提下控制誤報(bào)率，因?yàn)樘摷俦茏寱?huì)影響流暢性。為此，系統(tǒng)里常會(huì)加入置信度后處理和多模態(tài)確認(rèn)策略，確保只有在至少兩個(gè)模態(tài)或時(shí)間上穩(wěn)定出現(xiàn)時(shí)才觸發(fā)緊急規(guī)避動(dòng)作。

路面小坑、路面裂縫與低矮凸起這類問題，有時(shí)屬于“語義級(jí)”的路面檢測，與傳統(tǒng)的物體檢測有所不同。為此很多技術(shù)方案中會(huì)額外訓(xùn)練專門的路面質(zhì)量模型，使用語義分割或深度回歸來估計(jì)路面高度場與凹坑深度。這種方法往往要結(jié)合車輛自身的慣性測量單元（IMU）和懸掛傳感器數(shù)據(jù)，當(dāng)車輪經(jīng)過坑洼引發(fā)的振動(dòng)與加速度突變與視覺/攝像頭檢測到的路面形態(tài)相吻合時(shí)，可以更可靠地識(shí)別出“真實(shí)的坑洞”。同樣地，某些車隊(duì)或地圖服務(wù)會(huì)長期積累路面缺陷的高精度地圖，通過先驗(yàn)地圖與在線感知對(duì)比來提示已知坑洞的位置，從而提前規(guī)劃繞行或減速。

最后的話

從長遠(yuǎn)看，有幾類技術(shù)方向會(huì)進(jìn)一步提升小物體檢測能力。一是傳感器硬件的改進(jìn)，更高分辨率的LiDAR、短距高密度固態(tài)雷達(dá)、事件相機(jī)與主動(dòng)照明結(jié)合，都會(huì)直接提高小目標(biāo)的可觀測性。二是算法層面的專門設(shè)計(jì)，為小物體設(shè)計(jì)的微尺度檢測模塊、結(jié)合Transformer的時(shí)空模型、以及更好的自監(jiān)督表示學(xué)習(xí)可以減少對(duì)大量標(biāo)注樣本的依賴。三是利用模擬與合成數(shù)據(jù)進(jìn)行大規(guī)模預(yù)訓(xùn)練，再在真實(shí)數(shù)據(jù)上做少量微調(diào)，以實(shí)現(xiàn)更好的域遷移能力。四是邊緣計(jì)算與異構(gòu)計(jì)算協(xié)同，讓復(fù)雜模型在保證延遲的同時(shí)提升檢測精度。

當(dāng)然，我們一定要明白，任何感知系統(tǒng)都不是完美的，系統(tǒng)設(shè)計(jì)要假設(shè)感知會(huì)出錯(cuò)，并把這種不確定性納入決策。對(duì)小物體而言，最穩(wěn)妥的做法不是把所有東西都“確定檢測”出來再?zèng)Q策，而是在檢測不確定時(shí)采取保守策略，也就是立刻完成減速、拉開車距、優(yōu)先保證乘客與周圍人的安全。如果是在低速城市場景，可以適當(dāng)放慢車速，從而換取更高的安全邊際；在高速上則更可以依賴高精地圖與車隊(duì)協(xié)同感知來降低突發(fā)小物體的暴露概率。

總的來說，小物體檢測是個(gè)跨越硬件、數(shù)據(jù)、算法與系統(tǒng)工程的綜合問題?？恳豁?xiàng)單一技術(shù)很難把它完全解決，現(xiàn)實(shí)的做法是多模態(tài)傳感器融合、時(shí)空信息整合、專門的小目標(biāo)網(wǎng)絡(luò)優(yōu)化、以及將工程級(jí)的冗余與退化策略結(jié)合起來。未來，隨著傳感器成本的下降、模擬訓(xùn)練的成熟、以及更高效的時(shí)空深度學(xué)習(xí)模型出現(xiàn)，我們會(huì)看到自動(dòng)駕駛系統(tǒng)在面對(duì)那些原先容易忽略的小坑小物體時(shí)變得越來越穩(wěn)健。但在此之前，謹(jǐn)慎、分級(jí)、可解釋并可驗(yàn)證的策略仍然是確保行駛安全的核心原則。

審核編輯 黃宇