[首發(fā)于智駕最前沿微信公眾號(hào)]就在最近，聽到了置信度驗(yàn)證的相關(guān)概念，作為一名自動(dòng)駕駛行業(yè)小白，智駕最前沿在聽到這個(gè)概念后，便去了解下這個(gè)內(nèi)容，今天智駕最前沿就跟大家來(lái)簡(jiǎn)單聊聊置信度驗(yàn)證以及置信度驗(yàn)證對(duì)于自動(dòng)駕駛來(lái)說(shuō)的作用，如有不準(zhǔn)確之處，歡迎大家留言指正。

為什么這置信度驗(yàn)證是個(gè)重要問(wèn)題

所謂置信度驗(yàn)證，就是檢驗(yàn)自動(dòng)駕駛系統(tǒng)在它“自認(rèn)為正確”的判斷上，到底有多可靠。在基于規(guī)則的自動(dòng)駕駛方案中，程序的輸出可以通過(guò)明確的規(guī)則和邊界條件來(lái)檢驗(yàn)。但隨著深度學(xué)習(xí)模型在自動(dòng)駕駛領(lǐng)域中的使用越來(lái)越多，模型會(huì)對(duì)圖像或雷達(dá)點(diǎn)云等輸入數(shù)據(jù)輸出一個(gè)概率分?jǐn)?shù)。這些概率分?jǐn)?shù)本身并不代表“真實(shí)發(fā)生的概率”，只是對(duì)某種場(chǎng)景的可能性判斷。

模型可能根本無(wú)法發(fā)現(xiàn)錯(cuò)誤的檢測(cè)，或者在遇到訓(xùn)練數(shù)據(jù)之外的情況（如極端天氣、從未見過(guò)的物體）時(shí)，即使判斷錯(cuò)誤也會(huì)給出高置信度。置信度驗(yàn)證的目的，就是要發(fā)現(xiàn)并糾正這種“盲目的自信”，確保系統(tǒng)在面臨不確定性時(shí)，能夠采取適當(dāng)?shù)慕导?jí)或保護(hù)措施。

置信度驗(yàn)證的重要性是顯而易見的，如果系統(tǒng)在關(guān)鍵時(shí)刻低估風(fēng)險(xiǎn)（即高置信度但判斷錯(cuò)誤），就可能引發(fā)碰撞事故；此外，監(jiān)管、認(rèn)證和保險(xiǎn)都需要看到系統(tǒng)在不確定情況下的具體表現(xiàn)、監(jiān)控機(jī)制以及如何確保風(fēng)險(xiǎn)可控。沒(méi)有經(jīng)過(guò)嚴(yán)謹(jǐn)?shù)闹眯哦闰?yàn)證，自動(dòng)駕駛系統(tǒng)就缺乏可解釋的安全邊界，難以通過(guò)上市前和運(yùn)營(yíng)中的審查。

置信度是什么？

置信度驗(yàn)證的概念看似簡(jiǎn)單，但卻涵蓋了多個(gè)層面的內(nèi)容。第一個(gè)是“概率輸出”，即模型直接輸出的分?jǐn)?shù)；第二個(gè)是“校準(zhǔn)”，指的是模型輸出的概率值與真實(shí)世界中事件發(fā)生的頻率是否匹配；第三是“不確定性的類型”，其可分為可歸因于觀測(cè)噪聲的“偶然不確定性”，以及因模型知識(shí)不足或遇到分布外情況而產(chǎn)生的“認(rèn)知不確定性”。

概念總是晦澀難懂的，舉個(gè)例子吧，在下雨天，攝像頭圖像模糊，這屬于偶然不確定性；但如果車輛從未見過(guò)駱駝橫穿馬路的場(chǎng)景，那就是認(rèn)知不確定性，這不是模型訓(xùn)練不足的原因?qū)е碌?，而是?chǎng)景本身就極不常見或完全陌生。置信度驗(yàn)證需要同時(shí)考慮這兩種不確定性，前者可以通過(guò)更好的傳感器融合與噪聲建模來(lái)緩解，后者則需要檢測(cè)分布外的樣本、增加訓(xùn)練數(shù)據(jù)覆蓋或通過(guò)保守策略來(lái)提升。

置信度驗(yàn)證在自動(dòng)駕駛系統(tǒng)中的作用

置信度驗(yàn)證在自動(dòng)駕駛體系里是貫穿感知、預(yù)測(cè)、規(guī)劃和決策的橫向能力。在感知層面，檢測(cè)到的目標(biāo)會(huì)帶有一個(gè)置信度分?jǐn)?shù)，此時(shí)就需要驗(yàn)證這個(gè)分?jǐn)?shù)是否可靠，以便決定是否把目標(biāo)納入規(guī)劃邏輯、是否進(jìn)行跟蹤或觸發(fā)預(yù)警。低置信度的目標(biāo)可能被標(biāo)記為可疑物體，從而需要系統(tǒng)采取更保守的軌跡規(guī)劃或提高復(fù)核頻率。

在軌跡預(yù)測(cè)和行為預(yù)測(cè)上，置信度更像是對(duì)未來(lái)不確定性的度量。一個(gè)高置信度的單一預(yù)測(cè)表示模型對(duì)未來(lái)軌跡有明確預(yù)判，規(guī)劃模塊可以相對(duì)積極地應(yīng)對(duì)；但當(dāng)預(yù)測(cè)分布分散、置信度低時(shí)，規(guī)劃模塊就需要為更多可能性留出空間，或者觸發(fā)減速、增大跟車距離等保守策略。置信度驗(yàn)證保證了預(yù)測(cè)模塊輸出的分布是可信的，從而讓規(guī)劃層能據(jù)此做出合適的風(fēng)險(xiǎn)權(quán)衡。

在決策與控制層面，置信度還直接關(guān)系到運(yùn)行時(shí)監(jiān)控與接管邏輯。許多系統(tǒng)會(huì)設(shè)定一個(gè)閾值，當(dāng)整體系統(tǒng)的不確定性超過(guò)某個(gè)界限，車輛會(huì)請(qǐng)求人工接管、切換到更保守的駕駛模式，或者執(zhí)行安全?？康膭?dòng)作。置信度驗(yàn)證就是要證明這些閾值設(shè)置和響應(yīng)策略是合理的，并在各種邊界條件下有明確的表現(xiàn)。

置信度驗(yàn)證也是實(shí)現(xiàn)閉環(huán)數(shù)據(jù)采集和模型迭代升級(jí)的基礎(chǔ)。通過(guò)在線記錄低置信度或預(yù)測(cè)偏差大的事件，就能有目標(biāo)地收集這些長(zhǎng)尾數(shù)據(jù)，進(jìn)行標(biāo)注并用于模型再訓(xùn)練，從而逐步提升模型的魯棒性。

置信度驗(yàn)證的難點(diǎn)

進(jìn)行置信度驗(yàn)證最困難的地方，主要來(lái)自于長(zhǎng)尾問(wèn)題。很多系統(tǒng)驗(yàn)證失敗的場(chǎng)景是因?yàn)閿?shù)據(jù)本身就極為罕見，或者完全未出現(xiàn)在訓(xùn)練數(shù)據(jù)里。如何利用有限的數(shù)據(jù)來(lái)證明系統(tǒng)在這些長(zhǎng)尾場(chǎng)景下仍能以可接受的風(fēng)險(xiǎn)運(yùn)行，是一個(gè)核心難題。傳統(tǒng)的統(tǒng)計(jì)驗(yàn)證需要大量樣本才能給出高置信度的覆蓋率保證，但收集真實(shí)世界的極端樣本不僅昂貴且非常危險(xiǎn)，為此可借助仿真、合成數(shù)據(jù)以及系統(tǒng)化的邊界場(chǎng)景構(gòu)造來(lái)補(bǔ)充驗(yàn)證。

置信度驗(yàn)證的另一個(gè)難點(diǎn)在于置信度閾值的設(shè)定與業(yè)務(wù)難以權(quán)衡。閾值設(shè)置得太寬松，系統(tǒng)可能頻繁地將不安全情況誤判為安全，從而增加事故風(fēng)險(xiǎn)；閾值設(shè)置得太保守，又會(huì)導(dǎo)致系統(tǒng)功能頻繁降級(jí)、頻繁要求人為接管，嚴(yán)重影響用戶體驗(yàn)。想在安全性、可用性和成本之間找到合適的平衡點(diǎn)，需要大量的A/B測(cè)試、長(zhǎng)期數(shù)據(jù)監(jiān)控和跨學(xué)科的聯(lián)合決策。此外，置信度的閾值并非一成不變，它需要隨著模型更新、數(shù)據(jù)分布變化以及傳感器改動(dòng)而持續(xù)調(diào)整，因此置信度驗(yàn)證必須是一個(gè)持續(xù)的、并被納入持續(xù)集成/持續(xù)部署流程的一個(gè)工作。

置信度驗(yàn)證的影響

置信度驗(yàn)證對(duì)自動(dòng)駕駛行業(yè)的影響是深遠(yuǎn)的，它不僅改變了技術(shù)研發(fā)的路徑，更影響著合規(guī)、商業(yè)和運(yùn)營(yíng)模式。對(duì)于研發(fā)團(tuán)隊(duì)來(lái)說(shuō)，需要將不確定性建模和置信度評(píng)估前置到產(chǎn)品設(shè)計(jì)的早期階段，而不能將其視為訓(xùn)練完成后的附加步驟。這意味著數(shù)據(jù)策略要更注重場(chǎng)景覆蓋的全面性，測(cè)試策略要包含大量的場(chǎng)景化仿真，系統(tǒng)架構(gòu)則必須支持運(yùn)行時(shí)的不確定性監(jiān)控和低置信度事件的快速回收機(jī)制。

從監(jiān)管與認(rèn)證的層面考慮，置信度驗(yàn)證正成為評(píng)估自動(dòng)駕駛系統(tǒng)可接受性的重要依據(jù)。監(jiān)管機(jī)構(gòu)和標(biāo)準(zhǔn)組織應(yīng)該更關(guān)注系統(tǒng)在規(guī)定運(yùn)行設(shè)計(jì)域內(nèi)外如何應(yīng)對(duì)不確定性、風(fēng)險(xiǎn)如何被暴露以及當(dāng)系統(tǒng)面對(duì)未知時(shí)采取怎樣的安全措施。缺乏透明和可驗(yàn)證的置信度能力，自動(dòng)駕駛產(chǎn)品將難以滿足合規(guī)要求，也會(huì)在保險(xiǎn)和責(zé)任劃分上面臨更高的門檻。

從商業(yè)角度看，置信度能力會(huì)直接影響產(chǎn)品的可用場(chǎng)景范圍和部署策略。將模型的“軟”概率輸出轉(zhuǎn)化為“硬”的安全保證，能使廠商將自動(dòng)駕駛功能部署到更廣泛的場(chǎng)景中。置信度驗(yàn)證也會(huì)同時(shí)影響售后與運(yùn)維策略，需要建立持續(xù)的在線監(jiān)控、日志審計(jì)和基于低置信度事件的快速迭代流程。對(duì)于終端用戶而言，良好的置信度策略能提升體驗(yàn)的可預(yù)測(cè)性，減少因功能頻繁降級(jí)或接管帶來(lái)的不好體驗(yàn)。

最后的話

置信度驗(yàn)證不是解決所有問(wèn)題的萬(wàn)能藥，但它是自動(dòng)駕駛技術(shù)從“看起來(lái)聰明”走向“值得信賴”的必經(jīng)之路。通過(guò)對(duì)模型自信程度的量化、校準(zhǔn)與系統(tǒng)性驗(yàn)證，工程團(tuán)隊(duì)可以在設(shè)計(jì)上更好地平衡安全與可用性，監(jiān)管者可以更合理地評(píng)估系統(tǒng)的實(shí)際風(fēng)險(xiǎn)，用戶也能獲得更可預(yù)測(cè)、更安心的體驗(yàn)。完美的置信度雖不存在，但一套可測(cè)試、可證明且能持續(xù)演進(jìn)的置信度驗(yàn)證能力，無(wú)疑是自動(dòng)駕駛從試驗(yàn)場(chǎng)走向大規(guī)模商業(yè)化部署的關(guān)鍵支撐。

審核編輯 黃宇