▍文章來源于康謀自動駕駛

01 引言

無論是暴雪過后的街道、夜幕下車燈照亮的路面、還是雨霧交織的高速公路——這些對人類駕駛員而言習(xí)以為常的場景，卻構(gòu)成了自動駕駛系統(tǒng)面臨的環(huán)境感知極限挑戰(zhàn)。這是由于傳統(tǒng)3D場景重建技術(shù)在面對復(fù)雜環(huán)境時常常力不從心：要么把雪花當(dāng)成場景的一部分輸入進模型，要么在光照變化時直接失效。

近年來，3D高斯?jié)姙R（3D Gaussian Splatting, 3DGS）技術(shù)的崛起，為這一困境帶來了革命性轉(zhuǎn)機。該技術(shù)不僅實現(xiàn)了近乎實時的逼真場景渲染，更在動態(tài)天氣建模、光照變化處理等關(guān)鍵領(lǐng)域取得突破性進展，正在重新定義自動駕駛仿真系統(tǒng)的能力邊界。

本文將系統(tǒng)梳理3DGS從靜態(tài)重建到動態(tài)環(huán)境建模的技術(shù)演進，并探討其在自動駕駛仿真中的實踐應(yīng)用。

02 靜態(tài)重建到動態(tài)環(huán)境的技術(shù)演進

3DGS的核心機制與局限

3DGS用數(shù)百萬個3D高斯橢球體來表示場景，每個高斯體攜帶位置、協(xié)方差、不透明度和顏色信息。渲染時按深度排序投影到2D平面，通過alpha混合生成最終圖像。相比NeRF需要對每個像素進行耗時的體積渲染，3DGS的光柵化過程能充分利用GPU并行計算，實現(xiàn)實時渲染。

但原始3DGS有個致命缺陷：它假設(shè)場景靜態(tài)、光照恒定。這在博物館文物掃描中沒問題，但放到真實世界就行不通了。雪天拍攝的街景會把空中飄落的雪花、鏡頭上的水滴都當(dāng)作場景固有特征學(xué)習(xí)進去，導(dǎo)致重建出的場景永遠(yuǎn)"下著雪"。

天氣環(huán)境重建

真實世界的天氣環(huán)境重建需要攻克三個核心難題：天氣偽影的分離去除、動態(tài)天氣效果的逼真生成，以及移動光源下的場景重建。針對這些挑戰(zhàn)，研究者們提出了多項創(chuàng)新解決方案，本文將聚焦三篇代表性論文進行分享交流：

天氣偽影的分離與去除——WeatherGS：https://arxiv.org/pdf/2412.18862

動態(tài)天氣效果的生成——Let it snow：https://arxiv.org/pdf/2504.05296

移動光源下的場景重建——DarkGS：https://arxiv.org/pdf/2403.10814

天氣偽影的分離與去除

WeatherGS將天氣干擾分為兩類：空氣中的密集粒子（雪花、雨滴）和鏡頭表面的稀疏遮擋（水珠、霧氣）。前者分布廣泛但單點影響小，后者局部遮擋嚴(yán)重但數(shù)量有限。

研究者設(shè)計了“密集到稀疏”的兩階段預(yù)處理流程：首先用大氣效應(yīng)濾波器清除空氣中的氣象干擾，類似圖像去噪但需保留場景真實紋理；隨后用鏡頭效應(yīng)檢測器提取稀疏遮擋掩膜，標(biāo)記被鏡頭污染遮擋的像素。處理后的圖像和掩膜一起送入3DGS訓(xùn)練，被遮擋區(qū)域不參與損失計算，從而恢復(fù)出干凈的底層場景。

這套方案的難點在于平衡：去除太激進會損失場景細(xì)節(jié)，太保守則天氣偽影殘留。更棘手的是，不同天氣條件(暴雪、小雨、霧霾)的特征差異很大，模型需要具備跨場景的泛化能力。

圖1：不同方法在雨雪天氣下的偽影去除效果

動態(tài)天氣效果的生成

去除天氣偽影只是第一步，更進階的需求是在干凈場景上主動添加可控的天氣效果。在清除偽影的基礎(chǔ)上，“Let it Snow”進一步實現(xiàn)了可控天氣效果的主動添加。該方法創(chuàng)新性地結(jié)合了物理仿真與AI生成模型：物理引擎確保粒子運動符合重力、風(fēng)力等自然規(guī)律；視頻擴散模型則通過學(xué)習(xí)真實天氣視頻，引導(dǎo)3DGS中的粒子外觀逼近真實效果。

通過聯(lián)合優(yōu)化框架，物理先驗與視覺先驗協(xié)同工作，既保證了雪花飄落、雨滴濺射的物理合理性，又實現(xiàn)了照片級的渲染質(zhì)感。

圖2：天氣粒子效果

移動光源下的場景重建

自動駕駛車輛經(jīng)常在夜間或隧道等暗光環(huán)境中工作，此時車載光源成為主要照明。但這帶來同一路面，車輛靠近時被強光照亮，遠(yuǎn)離時又陷入黑暗，視覺外觀完全不同的棘手問題。傳統(tǒng)3DGS會把不同光照下的觀測當(dāng)作不同的表面材質(zhì)來學(xué)習(xí)，導(dǎo)致重建失敗。

DarkGS針對自動駕駛常見的夜間或隧道場景，提出了NeLiS光源模型。該模型通過數(shù)據(jù)驅(qū)動學(xué)習(xí)真實光源行為，包含四個組件：相對照度分布用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)光源的角度相關(guān)特性；光衰減函數(shù)采用Lorentzian函數(shù)引入可學(xué)習(xí)參數(shù)；環(huán)境光建?？紤]非完全黑暗環(huán)境的基礎(chǔ)照明；BRDF模型采用Lambertian反射描述表面材質(zhì)。

訓(xùn)練時同時優(yōu)化場景幾何、表面反照率和光源參數(shù)。同時為避免高度耦合的參數(shù)陷入局部最優(yōu)，訓(xùn)練采用分階段預(yù)熱策略：先固定光源姿態(tài)學(xué)習(xí)場景結(jié)構(gòu)，再逐步放開光源參數(shù)進行聯(lián)合優(yōu)化。一旦完成標(biāo)定，即可在重建場景中自由調(diào)整光源位置與強度，模擬從正午陽光到夜間車燈的全時段光照變化。

圖3：移動光源下的場景重建效果

03 aiSim的3DGS實踐

現(xiàn)實困境

首先長尾場景的采集一直以來都是自動駕駛發(fā)展中難題之一。系統(tǒng)的安全性高度依賴其對極端情況的應(yīng)對能力，但這些Corner Case在實際道路上出現(xiàn)概率極低。例如，一輛測試車可能行駛數(shù)千公里才能遇到一次暴雪天氣，數(shù)萬公里才會碰到夜間施工區(qū)域的復(fù)雜光影場景。若完全依賴實車采集來覆蓋這些罕見狀況，所需的時間與經(jīng)濟成本將難以承受。

此外，傳統(tǒng)仿真技術(shù)雖能快速生成數(shù)據(jù)，卻在真實感上存在明顯不足。比如基于游戲引擎的仿真平臺（如CARLA、LGSVL）依賴于手工建模的場景和預(yù)設(shè)的天氣系統(tǒng)，其視覺表現(xiàn)與真實世界仍存在可察覺的差距。例如，雨滴的運動軌跡往往過于規(guī)則，水面反射缺乏自然變化，雨霧的層次感與遮擋效果也不夠真實。在光照模擬方面，游戲引擎常用的簡化模型（如Phong、Blinn-Phong）難以準(zhǔn)確復(fù)現(xiàn)車燈在濕滑路面上的復(fù)雜反射、路燈透過雨霧的散射等關(guān)鍵光學(xué)現(xiàn)象，而這些恰恰是夜間駕駛感知系統(tǒng)必須可靠應(yīng)對的場景。

aiSim的3DGS場景重建

aiSim采用3DGS作為核心場景表示技術(shù)，實現(xiàn)了“采集即建模”的高效工作流。數(shù)據(jù)采集車只需搭載多目相機和激光雷達(dá)，在目標(biāo)區(qū)域正常行駛一遍，就能收集到重建所需的多視角圖像和稀疏點云。回到實驗室后，3DGS重建流程可以在幾小時內(nèi)完成，這比傳統(tǒng)建模快了幾個數(shù)量級。

重建出的場景保留了真實世界的所有細(xì)節(jié)，如路面的磨損紋理、建筑物的風(fēng)化痕跡、植被的自然分布等。這種“照片級”的還原度讓仿真數(shù)據(jù)與真實數(shù)據(jù)在視覺統(tǒng)計特征上高度一致，大幅縮小sim-to-real gap。更重要的是極具可擴展性，當(dāng)需要新場景時，只需派出采集車跑一趟，無需等待建模團隊排期。這種"采集即建模"的模式讓場景庫的增長速度與算法迭代需求相匹配。

環(huán)境因素的精細(xì)控制

天氣系統(tǒng)：aiSim支持對3DGS重建場景的天氣修改。用戶可以通過參數(shù)面板調(diào)節(jié)天氣條件、天氣粒子強度、能見度等參數(shù)，系統(tǒng)實時生成對應(yīng)的天氣效果。

光照系統(tǒng)：aiSim每個場景在重建時會同步標(biāo)定光源特性，包括太陽光的方向和強度、環(huán)境光的色溫。在仿真時，可以任意調(diào)整時間、添加或移除人工光源。一個典型應(yīng)用場景是測試車輛在隧道出入口的適應(yīng)性：隧道內(nèi)是昏暗的人工照明，出口處是刺眼的陽光，這種劇烈的光照變化會導(dǎo)致相機曝光失調(diào)。在aisim中可以精確復(fù)現(xiàn)這一過程，讓感知算法在仿真中充分訓(xùn)練應(yīng)對策略。

材質(zhì)與反射：aiSim可以在3DGS重建的場景中模擬不同材質(zhì)在不同光照下的表現(xiàn)。如干燥路面的漫反射與積水路面的鏡面反射，復(fù)現(xiàn)車燈光斑等關(guān)鍵視覺特征。

圖4：不同天氣/光照下，aiSim中3DGS場景重建效果

3DGS的核心機制與局限

aiSim結(jié)合Word Extractor工具鏈，可實現(xiàn)3DGS場景的快速提取與重建。在真實數(shù)據(jù)重建的基礎(chǔ)上，系統(tǒng)支持多層次程序化擴展：

在重建的道路網(wǎng)絡(luò)上根據(jù)交通規(guī)則生成車輛、行人的運動軌跡；

定義天氣變化的時間序列，例如“晴天→多云→小雨→暴雨”的漸變過程；

模擬一天中太陽的運動軌跡，或者夜間路燈的閃爍、對向車輛遠(yuǎn)光燈的晃動。

這種“真實基底+程序化變化”的模式兼顧了真實感和可控性?；A(chǔ)場景的真實性保證了數(shù)據(jù)分布的準(zhǔn)確性，程序化變化則提供了測試所需的多樣性和可重復(fù)性。

圖5：Word Extractor工具鏈

04 結(jié)語

總之，3DGS技術(shù)在環(huán)境因素處理上的系列突破——從WeatherGS的偽影分離，到“Let it Snow”的動態(tài)天氣生成，再到DarkGS的移動光源建?！餐苿又摂M仿真向真實世界復(fù)雜性的不斷逼近。

可以這樣說，aiSim將這些前沿研究轉(zhuǎn)化為工程實踐，構(gòu)建了一個既高度真實又完全可控的自動駕駛測試環(huán)境。在重建的3DGS場景中，暴雪可以按需降臨，夜晚可以隨時切換到正午，同一場景可在無限變體中反復(fù)驗證算法魯棒性。

盡管當(dāng)前的3DGS方案在處理鏡面反射、透明物體、動態(tài)陰影等方面仍有局限，多傳感器融合仿真也有待完善。但技術(shù)方向已經(jīng)明確：通過真實數(shù)據(jù)驅(qū)動的場景重建，結(jié)合物理規(guī)律與AI生成的環(huán)境模擬。而行業(yè)內(nèi)的我們，正在朝著方向構(gòu)建一個足以支撐L4級自動駕駛驗證的仿真體系。