VLA：把“看”和“說”連到“做”上

[首發(fā)于智駕最前沿微信公眾號]自動駕駛中常提的VLA，全稱是Vision-Language-Action，直譯就是“視覺-語言-動作”。VLA的目標(biāo)是把相機(jī)或傳感器看到的畫面、能理解和處理自然語言的大模型能力，和最終控制車輛的動作輸出連到一起。這樣一套模型既能把路面情況轉(zhuǎn)成語義信息（比如識別行人、車道、交通標(biāo)志），又能在內(nèi)部用類語言的方式做推理（比如判斷行人的意圖是否會橫穿），最后直接輸出控制量或軌跡建議，從而完成從感知到?jīng)Q策到動作的閉環(huán)。

VLA常把視覺特征先經(jīng)過編碼器變成一組向量，然后把這些向量與語言模型連接，語言模型負(fù)責(zé)做高層推理或上下文理解，最后再用一個動作生成模塊把推理結(jié)果映射到可執(zhí)行的控制指令。因?yàn)橛小罢Z言”這條中間線索，VLA在解釋模型為什么這樣決策、把決策用人能看懂的方式表達(dá)方面有天然優(yōu)勢，這對事故回溯、人工審查和人機(jī)交互都很有幫助。

世界模型：在“腦?！崩?a href="http://m.brongaenegriffin.com/analog/" target="_blank">模擬未來

世界模型的核心是讓系統(tǒng)學(xué)會預(yù)測環(huán)境會如何變化。給定當(dāng)前的觀測和一系列動作，世界模型嘗試預(yù)測接下來一段時間內(nèi)的感知輸出或場景演化，例周圍車輛會怎么走、行人會如何移動，或者道路上的占用情況會如何變化等。它更像是一個可以在內(nèi)部反復(fù)“試驗(yàn)”的模擬器。

世界模型可以是像素級的，也可以是抽象的潛在空間表示。像素級的會直接生成未來幾幀圖像，抽象的潛在表示則在更緊湊的編碼下預(yù)測物體的狀態(tài)和動力學(xué)。自動駕駛中常把世界模型用來做兩件事，一是在線短時預(yù)測，輔助規(guī)劃器評估當(dāng)前動作的后果；二是離線大規(guī)模仿真，用來生成難例、做策略評估和安全驗(yàn)證。世界模型的強(qiáng)項(xiàng)在于對因果關(guān)系和動力學(xué)的建模，它能回答“如果我這么做，環(huán)境會怎樣”，這對安全評估非常關(guān)鍵。

兩者的核心差別與各自擅長的事

把VLA和世界模型放在一起對比，其實(shí)有非常大的差別。VLA更強(qiáng)調(diào)把復(fù)雜語義和推理能力直接引入決策鏈，善于解釋性和把人類語義知識（比如規(guī)則、常識）融入行為判斷；世界模型更強(qiáng)調(diào)動力學(xué)與未來狀態(tài)的預(yù)測，擅長評估動作后果和生成訓(xùn)練用的極端場景。

因?yàn)檎Z言式推理要靠語料和場景標(biāo)簽來訓(xùn)練，因此VLA需要大量多模態(tài)、標(biāo)注或與人類語義對齊的數(shù)據(jù)；世界模型更依賴連續(xù)的時序數(shù)據(jù)與準(zhǔn)確的動力學(xué)反饋，或是高保真仿真器來補(bǔ)足現(xiàn)實(shí)數(shù)據(jù)不足。

對于自動駕駛行業(yè)來說，VLA能讓系統(tǒng)“說出理由”，有利于合規(guī)和用戶信任；世界模型能把長期風(fēng)險提前顯現(xiàn)，有利于安全驗(yàn)證和策略穩(wěn)健性。兩者在算力和實(shí)時性上的要求也不同，端到端的VLA若要部署在車端，需要在多模態(tài)推理與延時之間做平衡；高保真世界模型若用于在線預(yù)測，也要保證預(yù)測速度和穩(wěn)定性，否則實(shí)時控制就受影響。

如何將這兩者用好？

自動駕駛行業(yè)常見做法是把世界模型放在云端或仿真平臺，用來大規(guī)模生成極端和稀有場景，做訓(xùn)練數(shù)據(jù)擴(kuò)充和策略評估；把VLA或其它決策模型放到車端，負(fù)責(zé)實(shí)時感知-推理-動作映射，并把可解釋的中間表示（例如“為什么剎車”）記錄下來，用于審計(jì)。還有一種做法是在車端保留一個輕量的世界模型，用于短時軌跡預(yù)測和冗余校驗(yàn)，作為主決策器的安全網(wǎng)。

在選擇技術(shù)路線時，務(wù)必要考慮幾個現(xiàn)實(shí)問題，即目標(biāo)場景是什么（城市復(fù)雜路況還是高速長途）、能否承擔(dān)大量真實(shí)路測、對可解釋性和監(jiān)管合規(guī)的要求有多高。面向消費(fèi)者的駕駛輔助系統(tǒng)可能更重視用戶體驗(yàn)和自然交互，VLA能提高語義層面的表現(xiàn)；面向商用車隊(duì)或?qū)Π踩弦?guī)嚴(yán)格的場景，則更需要強(qiáng)大的世界模型做仿真與驗(yàn)證。無論哪條路，一定要建立嚴(yán)格的sim-to-real校準(zhǔn)流程、冗余策略以及持續(xù)的在線/離線評估體系，避免把過擬合的語言推理或低保真仿真直接當(dāng)成“能上路”的決策依據(jù)。

對于自動駕駛企業(yè)來說，可以用世界模型生成的極端場景來補(bǔ)齊訓(xùn)練集，但要用真實(shí)數(shù)據(jù)來校準(zhǔn)；在車端實(shí)現(xiàn)可解釋性輸出和異常檢測機(jī)制，以便監(jiān)管和事后分析；在設(shè)計(jì)系統(tǒng)邊界時明確何時由人工接管、何時由系統(tǒng)限制能力，避免模型在不確定情況下做出過激動作?；旌鲜褂脙烧卟⑼ㄟ^嚴(yán)格驗(yàn)證可以讓自動駕駛系統(tǒng)既能“想清楚后果”，又能“把理由講清楚”，是比較穩(wěn)妥的路線。

最后的話

VLA和世界模型不是誰替代誰，而是兩種互補(bǔ)的工具。VLA把語言式的推理能力帶進(jìn)決策里，提升對復(fù)雜語義場景的處理和可解釋性；世界模型讓系統(tǒng)能在“腦子里”模擬未來，提升對風(fēng)險和后果的評估能力。對于自動駕駛行業(yè)來說，更實(shí)際的做法是把兩者的優(yōu)點(diǎn)結(jié)合起來，用世界模型來補(bǔ)數(shù)據(jù)、做驗(yàn)證，用VLA提升語義理解與交互，同時確保有清晰的安全邊界和多層冗余。這樣既能提高功能性，也能把安全性和可審計(jì)性放在首位。