全新 NVIDIA 安全框架與技術(shù)正在推進(jìn)開發(fā)者構(gòu)建安全物理 AI 的方式。

本文是洞悉 Omniverse 系列文章?！岸聪?Omniverse”重點(diǎn)介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用 OpenUSD 和 NVIDIA Omniverse 的最新進(jìn)展深入改變他們的工作流。

物理 AI 正從研究實(shí)驗(yàn)室走向現(xiàn)實(shí)世界，為智能機(jī)器人和智能汽車 (如無人駕駛出租車) 提供支持，這些系統(tǒng)必須在不可預(yù)測(cè)的環(huán)境中可靠地感知、推理和行動(dòng)。

為了安全地?cái)U(kuò)展這些系統(tǒng)，開發(fā)者需要基于 OpenUSD 這一通用基礎(chǔ)架構(gòu)，將現(xiàn)實(shí)世界數(shù)據(jù)、高保真仿真和強(qiáng)大的 AI 模型連接起來的工作流。

最新發(fā)布的 OpenUSD 核心規(guī)范 1.0 (OpenUSD，即通用場(chǎng)景描述) 定義了標(biāo)準(zhǔn)數(shù)據(jù)類型、文件格式和組合行為，為開發(fā)者在擴(kuò)展自動(dòng)化系統(tǒng)時(shí)提供可預(yù)測(cè)、可互操作的 USD 管線。

借助 OpenUSD，NVIDIA Omniverse 庫(kù)結(jié)合了 NVIDIA RTX 渲染、物理仿真和高效的運(yùn)行時(shí)，能夠創(chuàng)建精準(zhǔn)反映現(xiàn)實(shí)環(huán)境的數(shù)字孿生以及仿真就緒 (SimReady) 資產(chǎn)，用于合成數(shù)據(jù)生成與測(cè)試。

NVIDIA Cosmos 世界基礎(chǔ)模型可在這些仿真之上運(yùn)行，增強(qiáng)數(shù)據(jù)多樣性，從同一場(chǎng)景生成新的天氣、光照和地形條件，讓團(tuán)隊(duì)能夠安全地覆蓋罕見且具有挑戰(zhàn)性的極端案例。

此外，合成數(shù)據(jù)生成、多模態(tài)數(shù)據(jù)集和 SimReady 工作流程的進(jìn)步，正在與 NVIDIA Halos 綜合安全系統(tǒng)相融合，共同為下一代輔助駕駛系統(tǒng)的部署構(gòu)建一條基于標(biāo)準(zhǔn)的路徑，使部署過程更安全、更快捷、成本效益更高。

構(gòu)建安全物理 AI 的基礎(chǔ)

開放標(biāo)準(zhǔn)與 SimReady 資產(chǎn)

OpenUSD 核心規(guī)范 1.0 建立了支撐 SimReady 資產(chǎn)的標(biāo)準(zhǔn)數(shù)據(jù)模型和行為，使開發(fā)者能夠在 OpenUSD 上構(gòu)建適用于 AI 工廠和機(jī)器人的可互操作的仿真管線。

基于這一基礎(chǔ)，SimReady 3D 資產(chǎn)可在不同工具和團(tuán)隊(duì)之間復(fù)用，并直接加載到 NVIDIA Isaac Sim 中，USDPhysics 碰撞器、剛體動(dòng)力學(xué)和基于組合弧的變體讓團(tuán)隊(duì)能夠在虛擬設(shè)施中測(cè)試機(jī)器人，對(duì)實(shí)際操作進(jìn)行逼真的模擬。

開源學(xué)習(xí)

Learn OpenUSD 課程現(xiàn)已開源并在 GitHub 上提供，允許貢獻(xiàn)者針對(duì)不同受眾、語(yǔ)言及應(yīng)用場(chǎng)景進(jìn)行模板、練習(xí)和內(nèi)容的本地化與適配。這為教育工作者提供了現(xiàn)成的基礎(chǔ)框架，幫助新團(tuán)隊(duì)快速融入基于 OpenUSD 的仿真工作流。

生成式世界作為安全倍增器

Gaussian splatting 是一種利用可編輯 3D 元素快速高保真渲染環(huán)境的技術(shù)，結(jié)合世界模型，加速安全機(jī)器人測(cè)試和驗(yàn)證的仿真管線。

在 SIGGRAPH Asia 上，NVIDIA 研究團(tuán)隊(duì)推出了 Play4D，這是一種流式工作流，可通過 4D Gaussian splatting 實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景的精準(zhǔn)渲染，提高逼真度。

空間智能公司 World Labs 正使用其 Marble 生成式世界模型，結(jié)合 NVIDIA Isaac Sim 和 Omniverse NuRec，使研究人員能夠僅在數(shù)小時(shí)內(nèi)，而非數(shù)周，將文本提示和示例圖像轉(zhuǎn)換為基于高斯的、物理就緒的逼真 3D 環(huán)境。

這些世界隨后可用于物理 AI 的訓(xùn)練、測(cè)試以及仿真到現(xiàn)實(shí)的遷移。這種高保真仿真工作流程擴(kuò)展了機(jī)器人可練習(xí)的場(chǎng)景范圍，同時(shí)將實(shí)驗(yàn)安全地保持在仿真中。

光輪智能幫助團(tuán)隊(duì)通過 SimReady 資產(chǎn)擴(kuò)展機(jī)器人訓(xùn)練

借助 OpenUSD，光輪智能的 SimReady 資產(chǎn)庫(kù)包含通用場(chǎng)景描述層，能夠更加便捷地構(gòu)建高保真機(jī)器人數(shù)字孿生。SimReady 資產(chǎn)嵌入了精確的幾何、材質(zhì)和驗(yàn)證的物理屬性，可直接加載到 NVIDIA Isaac Sim 和 Isaac Lab 中進(jìn)行機(jī)器人訓(xùn)練，使機(jī)器人在學(xué)習(xí)過程中體驗(yàn)真實(shí)的接觸、動(dòng)力學(xué)和傳感器反饋。

安全的端到端輔助駕駛

端到端輔助駕駛安全正借助新研究、開放框架和檢查服務(wù)的結(jié)合取得快速進(jìn)展，可推動(dòng)安全驗(yàn)證變得更嚴(yán)謹(jǐn)且可擴(kuò)展。

NVIDIA 研究人員與哈佛大學(xué)和斯坦福大學(xué)的伙伴最近推出了 Sim2Val 框架，該框架能夠通過統(tǒng)計(jì)學(xué)方法融合真實(shí)道路與仿真測(cè)試結(jié)果，在驗(yàn)證無人駕駛出租車及智能汽車于少見且關(guān)鍵的安全場(chǎng)景中能否安全運(yùn)行的同時(shí)，顯著減少開發(fā)者對(duì)昂貴的物理里程的依賴。

這些創(chuàng)新還包括新的開源 NVIDIA Omniverse NuRec Fixer，這是一個(gè)基于 Cosmos 的模型，訓(xùn)練于輔助駕駛數(shù)據(jù)，能去除神經(jīng)重建中的偽影，生成更高質(zhì)量的 SimReady 資產(chǎn)。

為使這些進(jìn)展符合嚴(yán)格的全球標(biāo)準(zhǔn)，獲得美國(guó)國(guó)家標(biāo)準(zhǔn)學(xué)會(huì)國(guó)家認(rèn)可委員會(huì) (ANAB) 認(rèn)證的 NVIDIA Halos AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室，正通過 Halos 認(rèn)證計(jì)劃，為無人駕駛出租車車隊(duì)、輔助駕駛堆棧、傳感器和制造商平臺(tái)中的 Halos 組件提供公正的檢測(cè)和認(rèn)證服務(wù)。

輔助駕駛生態(tài)系統(tǒng)領(lǐng)導(dǎo)者推動(dòng)物理 AI 安全落地

Bosch、Nuro 和 Wayve 是首批參與 NVIDIA Halos AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室的企業(yè)，該實(shí)驗(yàn)室旨在加速無人駕駛出租車車隊(duì)的安全大規(guī)模部署。生產(chǎn)輔助駕駛、工業(yè)自動(dòng)化和醫(yī)療應(yīng)用傳感器系統(tǒng)的 Onsemi 最近成為首個(gè)通過 NVIDIA Halos AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室檢查的公司。

開源仿真平臺(tái) CARLA 集成了 NVIDIA NuRec 和 Cosmos Transfer，能夠生成重建駕駛場(chǎng)景和多樣化場(chǎng)景變化;Voxel51 的 FiftyOne 引擎與 Cosmos Dataset Search、NuRec 和 Cosmos Transfer 連接，幫助團(tuán)隊(duì)在輔助駕駛流水線中對(duì)多模態(tài)數(shù)據(jù)集進(jìn)行整理、標(biāo)注與評(píng)估。

密歇根大學(xué)的 Mcity 正利用 Omniverse 庫(kù)和技術(shù)增強(qiáng)其 32 英畝輔助駕駛測(cè)試設(shè)施的數(shù)字孿生。團(tuán)隊(duì)正在集成 NVIDIA 輔助駕駛仿真藍(lán)圖和 Omniverse Sensor RTX API，以創(chuàng)建基于物理的攝像頭、激光雷達(dá)、雷達(dá)和超聲波傳感器模型。

通過將真實(shí)傳感器記錄與高保真仿真數(shù)據(jù)對(duì)齊，并開放共享相關(guān)數(shù)據(jù)資產(chǎn)，Mcity 能夠在車輛上路前安全、可重復(fù)地測(cè)試少見且危險(xiǎn)的駕駛場(chǎng)景。