埃森哲和 Foretellix 等企業(yè)組織正在通過高保真、可擴(kuò)展的傳感器仿真，加速開發(fā)新一代自動(dòng)駕駛汽車和機(jī)器人。

生成式 AI 和基礎(chǔ)模型讓自主機(jī)器的能力能夠超越其所訓(xùn)練的操作設(shè)計(jì)領(lǐng)域。通過標(biāo)記化和大型語言及擴(kuò)散模型等新 AI 技術(shù)，開發(fā)者和研究人員現(xiàn)可解決自主性方面長期以來面臨的障礙。

這些更大型的模型需要大量多樣化的數(shù)據(jù)進(jìn)行訓(xùn)練、微調(diào)和驗(yàn)證。但是，收集這些包括罕見的邊緣案例和潛在危險(xiǎn)場(chǎng)景的數(shù)據(jù)可能非常困難，且需要大量資源，例如行人從夜間行駛的自動(dòng)駕駛汽車（AV）前穿過，或工人進(jìn)入焊接機(jī)器人作業(yè)單元。

為了幫助開發(fā)者填補(bǔ)這一空白，NVIDIA Omniverse Cloud Sensor RTX API支持物理精確的傳感器仿真，從而大規(guī)模生成數(shù)據(jù)集。應(yīng)用程序編程接口（API）旨在支持自主運(yùn)行中常用的傳感器，包括攝像頭、雷達(dá)和激光雷達(dá)，并可以無縫集成到現(xiàn)有工作流中，以加速各類自動(dòng)駕駛汽車和機(jī)器人的開發(fā)。

Omniverse Sensor RTX API現(xiàn)已向部分開發(fā)者開放搶先體驗(yàn)。埃森哲、Foretellix、MITRE 和 Mcity 等機(jī)構(gòu)正在通過特定領(lǐng)域的藍(lán)圖整合這些 API，為終端客戶提供部署新一代工業(yè)制造機(jī)器人和自動(dòng)駕駛汽車所需的工具。

利用 Omniverse Blueprints 為工業(yè) AI 提供動(dòng)力

在工廠和倉庫等復(fù)雜環(huán)境中，機(jī)器人必須被精心協(xié)調(diào)，以便與機(jī)器和工人一起安全有效地工作。所有這些移動(dòng)部件在設(shè)計(jì)、測(cè)試或驗(yàn)證操作時(shí)帶來了巨大的挑戰(zhàn)，同時(shí)還要避免造成干擾。

Mega 是一款Omniverse Blueprint，為企業(yè)提供 NVIDIA 加速計(jì)算、AI、NVIDIA Isaac 和 NVIDIA Omniverse 技術(shù)的參考架構(gòu)。企業(yè)可以使用 Mega 來開發(fā)數(shù)字孿生，并測(cè)試 AI 賦能的驅(qū)動(dòng)機(jī)器人、攝像頭、設(shè)備等的機(jī)器人大腦，以大規(guī)模處理非常復(fù)雜的情境。

該藍(lán)圖集成了 Omniverse Sensor RTX，可讓機(jī)器人開發(fā)者同時(shí)渲染來自工廠各類型智能機(jī)器的傳感器數(shù)據(jù)，以進(jìn)行高保真、大規(guī)模的傳感器仿真。

借助在仿真中測(cè)試操作和工作流的能力，制造商可節(jié)省大量時(shí)間和投資，并以全新的方式提高效率。

國際供應(yīng)鏈解決方案公司 KION Group 和埃森哲正在使用 Mega 藍(lán)圖構(gòu)建 Omniverse 數(shù)字孿生，用作工業(yè) AI 機(jī)器人大腦的虛擬訓(xùn)練和測(cè)試環(huán)境，充分利用了智能攝像頭、叉車、機(jī)器人設(shè)備和數(shù)字人生成的數(shù)據(jù)。

機(jī)器人大腦通過 Omniverse Sensor RTX API 渲染的物理精確的傳感器數(shù)據(jù)感知仿真環(huán)境。它們利用這些數(shù)據(jù)來進(jìn)行規(guī)劃和行動(dòng)，每一步都通過 Mega 精確跟蹤，并與數(shù)字孿生中所有資產(chǎn)的狀態(tài)和位置同步。借助這些功能，開發(fā)者可以在物理世界實(shí)施前，不斷構(gòu)建和測(cè)試新的布局。

推動(dòng)自動(dòng)駕駛汽車開發(fā)和驗(yàn)證

自動(dòng)駕駛汽車開發(fā)已有十多年的歷史，但在獲取正確的訓(xùn)練和驗(yàn)證數(shù)據(jù)方面存在障礙，而且迭代周期緩慢，阻礙了大規(guī)模部署。

為了滿足傳感器數(shù)據(jù)的需求，眾多公司正在利用 NVIDIA Omniverse Blueprint 進(jìn)行自動(dòng)駕駛汽車仿真，這是一個(gè)可實(shí)現(xiàn)物理精確傳感器仿真的參考工作流。該工作流使用 Omniverse Sensor RTX API 來渲染自動(dòng)駕駛汽車開發(fā)和驗(yàn)證所需的攝像頭、雷達(dá)和激光雷達(dá)數(shù)據(jù)。

自動(dòng)駕駛汽車工具鏈提供商 Foretellix 已將該藍(lán)圖集成到其 Foretify AV 開發(fā)工具鏈中，將對(duì)象級(jí)仿真轉(zhuǎn)換為物理精確的傳感器仿真。

Foretify 工具鏈可以同時(shí)生成任意數(shù)量的測(cè)試場(chǎng)景。通過為這些場(chǎng)景添加傳感器仿真功能，F(xiàn)oretify 現(xiàn)可以讓開發(fā)者評(píng)估其自動(dòng)駕駛汽車開發(fā)的完整性，并在實(shí)現(xiàn)大規(guī)模安全部署所需的保真度和規(guī)模水平上進(jìn)行訓(xùn)練和測(cè)試。此外，F(xiàn)oretellix 將使用新發(fā)布的 NVIDIA Cosmos 平臺(tái)，為各種認(rèn)證和驗(yàn)證生成更為多樣化的場(chǎng)景。

Nuro 是一家擁有 L4 級(jí)自動(dòng)駕駛技術(shù)的大型供應(yīng)商，正在使用 Foretify 工具鏈在部署前對(duì)其自動(dòng)駕駛車輛進(jìn)行培訓(xùn)、測(cè)試和驗(yàn)證。

此外，研究機(jī)構(gòu) MITRE 正在與密歇根大學(xué)的 Mcity 測(cè)試中心合作，以建立一個(gè)用于監(jiān)管的數(shù)字自動(dòng)駕駛汽車驗(yàn)證框架，包括 Mcity 占地 32 英畝的自動(dòng)駕駛汽車試驗(yàn)場(chǎng)的數(shù)字孿生。該項(xiàng)目使用自動(dòng)駕駛汽車仿真藍(lán)圖，在虛擬環(huán)境中大規(guī)模渲染物理精確的傳感器數(shù)據(jù)，以提高訓(xùn)練效率。

得益于高保真度傳感器模擬的強(qiáng)大功能，機(jī)器人和自主化正成為未來的焦點(diǎn)。在 CES 訪問埃森哲和 Foretellix 展位，了解更多關(guān)于這些解決方案的詳情。