VLA：把“看”和“說”連到“做”上

[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛中常提的VLA，全稱是Vision-Language-Action，直譯就是“視覺-語(yǔ)言-動(dòng)作”。VLA的目標(biāo)是把相機(jī)或傳感器看到的畫面、能理解和處理自然語(yǔ)言的大模型能力，和最終控制車輛的動(dòng)作輸出連到一起。這樣一套模型既能把路面情況轉(zhuǎn)成語(yǔ)義信息（比如識(shí)別行人、車道、交通標(biāo)志），又能在內(nèi)部用類語(yǔ)言的方式做推理（比如判斷行人的意圖是否會(huì)橫穿），最后直接輸出控制量或軌跡建議，從而完成從感知到?jīng)Q策到動(dòng)作的閉環(huán)。

VLA常把視覺特征先經(jīng)過編碼器變成一組向量，然后把這些向量與語(yǔ)言模型連接，語(yǔ)言模型負(fù)責(zé)做高層推理或上下文理解，最后再用一個(gè)動(dòng)作生成模塊把推理結(jié)果映射到可執(zhí)行的控制指令。因?yàn)橛小罢Z(yǔ)言”這條中間線索，VLA在解釋模型為什么這樣決策、把決策用人能看懂的方式表達(dá)方面有天然優(yōu)勢(shì)，這對(duì)事故回溯、人工審查和人機(jī)交互都很有幫助。

世界模型：在“腦?！崩?a href="http://m.brongaenegriffin.com/analog/" target="_blank">模擬未來

世界模型的核心是讓系統(tǒng)學(xué)會(huì)預(yù)測(cè)環(huán)境會(huì)如何變化。給定當(dāng)前的觀測(cè)和一系列動(dòng)作，世界模型嘗試預(yù)測(cè)接下來一段時(shí)間內(nèi)的感知輸出或場(chǎng)景演化，例周圍車輛會(huì)怎么走、行人會(huì)如何移動(dòng)，或者道路上的占用情況會(huì)如何變化等。它更像是一個(gè)可以在內(nèi)部反復(fù)“試驗(yàn)”的模擬器。

世界模型可以是像素級(jí)的，也可以是抽象的潛在空間表示。像素級(jí)的會(huì)直接生成未來幾幀圖像，抽象的潛在表示則在更緊湊的編碼下預(yù)測(cè)物體的狀態(tài)和動(dòng)力學(xué)。自動(dòng)駕駛中常把世界模型用來做兩件事，一是在線短時(shí)預(yù)測(cè)，輔助規(guī)劃器評(píng)估當(dāng)前動(dòng)作的后果；二是離線大規(guī)模仿真，用來生成難例、做策略評(píng)估和安全驗(yàn)證。世界模型的強(qiáng)項(xiàng)在于對(duì)因果關(guān)系和動(dòng)力學(xué)的建模，它能回答“如果我這么做，環(huán)境會(huì)怎樣”，這對(duì)安全評(píng)估非常關(guān)鍵。

兩者的核心差別與各自擅長(zhǎng)的事

把VLA和世界模型放在一起對(duì)比，其實(shí)有非常大的差別。VLA更強(qiáng)調(diào)把復(fù)雜語(yǔ)義和推理能力直接引入決策鏈，善于解釋性和把人類語(yǔ)義知識(shí)（比如規(guī)則、常識(shí)）融入行為判斷；世界模型更強(qiáng)調(diào)動(dòng)力學(xué)與未來狀態(tài)的預(yù)測(cè)，擅長(zhǎng)評(píng)估動(dòng)作后果和生成訓(xùn)練用的極端場(chǎng)景。

因?yàn)檎Z(yǔ)言式推理要靠語(yǔ)料和場(chǎng)景標(biāo)簽來訓(xùn)練，因此VLA需要大量多模態(tài)、標(biāo)注或與人類語(yǔ)義對(duì)齊的數(shù)據(jù)；世界模型更依賴連續(xù)的時(shí)序數(shù)據(jù)與準(zhǔn)確的動(dòng)力學(xué)反饋，或是高保真仿真器來補(bǔ)足現(xiàn)實(shí)數(shù)據(jù)不足。

對(duì)于自動(dòng)駕駛行業(yè)來說，VLA能讓系統(tǒng)“說出理由”，有利于合規(guī)和用戶信任；世界模型能把長(zhǎng)期風(fēng)險(xiǎn)提前顯現(xiàn)，有利于安全驗(yàn)證和策略穩(wěn)健性。兩者在算力和實(shí)時(shí)性上的要求也不同，端到端的VLA若要部署在車端，需要在多模態(tài)推理與延時(shí)之間做平衡；高保真世界模型若用于在線預(yù)測(cè)，也要保證預(yù)測(cè)速度和穩(wěn)定性，否則實(shí)時(shí)控制就受影響。

如何將這兩者用好？

自動(dòng)駕駛行業(yè)常見做法是把世界模型放在云端或仿真平臺(tái)，用來大規(guī)模生成極端和稀有場(chǎng)景，做訓(xùn)練數(shù)據(jù)擴(kuò)充和策略評(píng)估；把VLA或其它決策模型放到車端，負(fù)責(zé)實(shí)時(shí)感知-推理-動(dòng)作映射，并把可解釋的中間表示（例如“為什么剎車”）記錄下來，用于審計(jì)。還有一種做法是在車端保留一個(gè)輕量的世界模型，用于短時(shí)軌跡預(yù)測(cè)和冗余校驗(yàn)，作為主決策器的安全網(wǎng)。

在選擇技術(shù)路線時(shí)，務(wù)必要考慮幾個(gè)現(xiàn)實(shí)問題，即目標(biāo)場(chǎng)景是什么（城市復(fù)雜路況還是高速長(zhǎng)途）、能否承擔(dān)大量真實(shí)路測(cè)、對(duì)可解釋性和監(jiān)管合規(guī)的要求有多高。面向消費(fèi)者的駕駛輔助系統(tǒng)可能更重視用戶體驗(yàn)和自然交互，VLA能提高語(yǔ)義層面的表現(xiàn)；面向商用車隊(duì)或?qū)Π踩弦?guī)嚴(yán)格的場(chǎng)景，則更需要強(qiáng)大的世界模型做仿真與驗(yàn)證。無論哪條路，一定要建立嚴(yán)格的sim-to-real校準(zhǔn)流程、冗余策略以及持續(xù)的在線/離線評(píng)估體系，避免把過擬合的語(yǔ)言推理或低保真仿真直接當(dāng)成“能上路”的決策依據(jù)。

對(duì)于自動(dòng)駕駛企業(yè)來說，可以用世界模型生成的極端場(chǎng)景來補(bǔ)齊訓(xùn)練集，但要用真實(shí)數(shù)據(jù)來校準(zhǔn)；在車端實(shí)現(xiàn)可解釋性輸出和異常檢測(cè)機(jī)制，以便監(jiān)管和事后分析；在設(shè)計(jì)系統(tǒng)邊界時(shí)明確何時(shí)由人工接管、何時(shí)由系統(tǒng)限制能力，避免模型在不確定情況下做出過激動(dòng)作?；旌鲜褂脙烧卟⑼ㄟ^嚴(yán)格驗(yàn)證可以讓自動(dòng)駕駛系統(tǒng)既能“想清楚后果”，又能“把理由講清楚”，是比較穩(wěn)妥的路線。

最后的話

VLA和世界模型不是誰替代誰，而是兩種互補(bǔ)的工具。VLA把語(yǔ)言式的推理能力帶進(jìn)決策里，提升對(duì)復(fù)雜語(yǔ)義場(chǎng)景的處理和可解釋性；世界模型讓系統(tǒng)能在“腦子里”模擬未來，提升對(duì)風(fēng)險(xiǎn)和后果的評(píng)估能力。對(duì)于自動(dòng)駕駛行業(yè)來說，更實(shí)際的做法是把兩者的優(yōu)點(diǎn)結(jié)合起來，用世界模型來補(bǔ)數(shù)據(jù)、做驗(yàn)證，用VLA提升語(yǔ)義理解與交互，同時(shí)確保有清晰的安全邊界和多層冗余。這樣既能提高功能性，也能把安全性和可審計(jì)性放在首位。