全新的 Cosmos Predict-2 世界基礎(chǔ)模型與 CARLA 的集成加速了智能汽車訓(xùn)練。

輔助駕駛堆棧正在從許多不同的模型演變?yōu)榻y(tǒng)一的端到端架構(gòu)，端到端架構(gòu)可直接根據(jù)傳感器數(shù)據(jù)執(zhí)行駕駛操作。這種向使用大模型的過(guò)渡大大增加了對(duì)用于訓(xùn)練、測(cè)試和驗(yàn)證的高質(zhì)量、基于物理學(xué)傳感器數(shù)據(jù)的需求。

為加速下一代輔助駕駛架構(gòu)的開(kāi)發(fā)，NVIDIA 發(fā)布了NVIDIA Cosmos Predict-2，這是一種全新的世界基礎(chǔ)模型，具有更強(qiáng)的未來(lái)世界狀態(tài)預(yù)測(cè)能力，可生成高質(zhì)量的合成數(shù)據(jù)，以及新的開(kāi)發(fā)者工具。

Cosmos Predict-2 是 NVIDIA Cosmos 平臺(tái)的一部分，該平臺(tái)為開(kāi)發(fā)者提供了應(yīng)對(duì)端到端輔助駕駛開(kāi)發(fā)中最復(fù)雜挑戰(zhàn)的技術(shù)。Oxa、Plus 與 Uber 等行業(yè)領(lǐng)導(dǎo)者正在使用 Cosmos 模型快速擴(kuò)展輔助駕駛開(kāi)發(fā)的合成數(shù)據(jù)生成。

Cosmos Predict-2 加速智能汽車訓(xùn)練

Cosmos Predict-1 可通過(guò)文本、圖像和視頻提示預(yù)測(cè)并生成未來(lái)世界狀態(tài)。在 Cosmos Predict-1 的基礎(chǔ)上，Cosmos Predict-2 可更好地理解文本和視覺(jué)輸入的上下文，從而減少幻覺(jué)，使生成的視頻細(xì)節(jié)更豐富。

Cosmos Predict-2 通過(guò)增強(qiáng)文字理解和常識(shí)推理水平，

優(yōu)化了路口停車標(biāo)志的識(shí)別效果。

通過(guò)使用最新的優(yōu)化技術(shù)，Cosmos Predict-2 顯著加快了 NVIDIA DGX Cloud 上合成數(shù)據(jù)的生成速度。

經(jīng)后訓(xùn)練的 Cosmos 模型解鎖了新的訓(xùn)練數(shù)據(jù)源

通過(guò)在輔助駕駛數(shù)據(jù)集上對(duì) Cosmos 模型進(jìn)行后訓(xùn)練，開(kāi)發(fā)者可以生成與現(xiàn)有物理環(huán)境與車輛軌跡高度匹配的視頻，還能從單視角視頻（如行車記錄儀片段）生成多視角視頻。這種將廣泛可用的行車記錄儀數(shù)據(jù)轉(zhuǎn)化為多攝像頭數(shù)據(jù)的能力，為開(kāi)發(fā)者提供了全新的輔助駕駛訓(xùn)練數(shù)據(jù)庫(kù)。這些多視角視頻數(shù)據(jù)還可用于替換因傳感器損壞或遮擋而缺失的真實(shí)攝像頭數(shù)據(jù)。

經(jīng)后訓(xùn)練的 Cosmos 模型會(huì)生成多視角視頻數(shù)據(jù)，從而大幅增強(qiáng)輔助駕駛訓(xùn)練數(shù)據(jù)集。

NVIDIA Research 團(tuán)隊(duì)基于 20,000 小時(shí)的真實(shí)世界駕駛數(shù)據(jù)對(duì) Cosmos 模型進(jìn)行了后訓(xùn)練。利用輔助駕駛專用模型生成多視角視頻數(shù)據(jù)，該團(tuán)隊(duì)提高了模型在霧天和雨天等復(fù)雜環(huán)境下的性能。

汽車行業(yè)生態(tài)系統(tǒng)

利用 Cosmos Predict 推動(dòng)技術(shù)進(jìn)步

多家汽車制造商已經(jīng)將 Cosmos Predict 集成到其系統(tǒng)中，以擴(kuò)展并加速車輛開(kāi)發(fā)的規(guī)模和速度。

輔助駕駛卡車領(lǐng)域的領(lǐng)軍企業(yè) Plus 正在利用NVIDIA DRIVE AGX平臺(tái)構(gòu)建其解決方案，該企業(yè)正在通過(guò)卡車運(yùn)輸數(shù)據(jù)對(duì) Cosmos Predict 進(jìn)行后訓(xùn)練，以生成高度逼真的合成駕駛場(chǎng)景，從而加速其輔助駕駛卡車解決方案的大規(guī)模商業(yè)化進(jìn)程。輔助駕駛軟件公司 Oxa 也正在使用 Cosmos Predict，以支持生成具有高保真和時(shí)間一致性的多攝像頭視頻數(shù)據(jù)。

全新 NVIDIA 模型

和 NIM 微服務(wù)助力智能汽車開(kāi)發(fā)

除 Cosmos Predict-2 外，NVIDIA 還以NVIDIA NIM微服務(wù)預(yù)覽版的方式發(fā)布了Cosmos Transfer，以便開(kāi)發(fā)者在數(shù)據(jù)中心 GPU 上部署。

Cosmos Transfer NIM微服務(wù)預(yù)覽版增強(qiáng)了數(shù)據(jù)集，并使用NVIDIA Omniverse平臺(tái)的結(jié)構(gòu)化輸入或地面實(shí)況仿真來(lái)生成逼真的視頻。另外，NuRec Fixer 模型有助于修復(fù)和填補(bǔ)重建輔助駕駛數(shù)據(jù)的空白。

NuRec Fixer 通過(guò)填補(bǔ)駕駛數(shù)據(jù)中的空白來(lái)提升神經(jīng)重建的質(zhì)量。

全球領(lǐng)先的開(kāi)源輔助駕駛模擬平臺(tái) CARLA，現(xiàn)已將 Cosmos Transfer 和NVIDIA NuRec集成到其最新版本中，后者是一套用于神經(jīng)重建和渲染的 API 工具集。這有助于 CARLA 平臺(tái)上超過(guò) 15 萬(wàn)智能汽車開(kāi)發(fā)者用戶群以高保真度渲染合成仿真場(chǎng)景和視角，并通過(guò)簡(jiǎn)單的提示生成無(wú)限種照明、天氣和地形組合變化。

開(kāi)發(fā)者可以使用 NVIDIA 物理 AI 數(shù)據(jù)集上提供的開(kāi)源數(shù)據(jù)試用該工作流。最新發(fā)布的數(shù)據(jù)集包括由 Cosmos 生成的 40,000 個(gè)片段，以及用于神經(jīng)渲染的樣本重建場(chǎng)景。借助最新版本的 CARLA，開(kāi)發(fā)者可以創(chuàng)建新的行駛軌跡、重新定位傳感器并完善模擬駕駛過(guò)程。

這種可擴(kuò)展的數(shù)據(jù)生成工作流為端到端輔助駕駛模型架構(gòu)的開(kāi)發(fā)提供了動(dòng)力，最近 NVIDIA Research 團(tuán)隊(duì)連續(xù)第二次獲得 CVPR 大會(huì)輔助駕駛國(guó)際挑戰(zhàn)賽“端到端輔助駕駛”賽道冠軍，就是最佳佐證。

該挑戰(zhàn)賽為研究人員提供了探索應(yīng)對(duì)突發(fā)情況方法的新機(jī)會(huì)，除使用真實(shí)世界人類駕駛數(shù)據(jù)之外，加速開(kāi)發(fā)更智能的汽車。

NVIDIA Halos 提升端到端智能汽車安全性

為增強(qiáng)輔助駕駛系統(tǒng)的運(yùn)行安全性，NVIDIA 今年早些時(shí)候推出了NVIDIA Halos，這是一個(gè)綜合安全系統(tǒng)，它將 NVIDIA 全套汽車硬件、軟件安全堆棧與專注于汽車安全領(lǐng)域的前沿 AI 研究成果相結(jié)合。

汽車行業(yè)領(lǐng)軍企業(yè)博世、Easyrain 與 Nuro 率先加入 NVIDIA Halos AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室，驗(yàn)證其產(chǎn)品與 NVIDIA 技術(shù)的安全集成，提升智能汽車的安全性。今年早些時(shí)候宣布加入實(shí)驗(yàn)室的成員還包括大陸集團(tuán)、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。