提供合成數(shù)據(jù)生成工具和服務(wù)的企業(yè)以及開發(fā)者現(xiàn)在可以使用 Omniverse Replicator SDK 構(gòu)建自定義、物理級精確的合成數(shù)據(jù)生成管線。Omniverse Replicator SDK 建立在 NVIDIA Omniverse 平臺上，目前已在 Omniverse Code 內(nèi)提供公測版。

Omniverse Replicator 是一個建立在可擴(kuò)展的 Omniverse 平臺上的高度可擴(kuò)展 SDK，它可以生成物理級精確的 3D 合成數(shù)據(jù)來加速 AI 感知網(wǎng)絡(luò)的訓(xùn)練和性能。開發(fā)者、研究人員和工程師現(xiàn)在可以使用 Omniverse Replicator 生成的大規(guī)模逼真合成數(shù)據(jù)來引導(dǎo)和提高現(xiàn)有深度學(xué)習(xí)感知模型的性能。

圖1：Replicator 使用基于開放標(biāo)準(zhǔn)的 Omniverse 平臺，以及 OmniGraph 和 Farm 架構(gòu)提供的可延伸性和可擴(kuò)展性

Omniverse Replicator 為開發(fā)者提供了一個可以根據(jù)他們的神經(jīng)網(wǎng)絡(luò)要求構(gòu)建特定合成數(shù)據(jù)生成應(yīng)用的特殊平臺。它建立在通用場景描述（USD）、PhysX 和材質(zhì)定義語言（MDL）等開放標(biāo)準(zhǔn)之上并帶有易于使用的 python API，還具有可擴(kuò)展性并且支持自定義隨機(jī)發(fā)生器、注釋器和寫入器。Replicator 通過基于 CUDA 的 OmniGraph 實(shí)現(xiàn)核心注釋器功能，支持瞬間數(shù)據(jù)生成，因此可以實(shí)時預(yù)覽輸出。當(dāng)與 Omniverse Farm 和 SwiftStack 輸出相結(jié)合時，Replicator 可在云中提供大規(guī)模的可擴(kuò)展性。

Omniverse Replicator SDK 由六個用于自定義合成數(shù)據(jù)工作流程的主要組件組成：

語義模式編輯器：通過對 3D 資產(chǎn)及其 prim 進(jìn)行語義標(biāo)記，Replicator 可以在渲染和數(shù)據(jù)生成過程中對目標(biāo)對象進(jìn)行注釋。語義模式編輯器提供一種通過用戶界面將這些標(biāo)簽應(yīng)用于 prim 的方式。

可視化器：為分配給 3D 資產(chǎn)的語義標(biāo)簽以及 2D/3D bounding box、法線、深度等注釋提供可視化功能。

隨機(jī)發(fā)生器：域隨機(jī)化是 Replicator 最重要的功能之一。用戶可以使用隨機(jī)發(fā)生器創(chuàng)建隨機(jī)化的場景，從資產(chǎn)、材質(zhì)、照明和攝像機(jī)位置等隨機(jī)化能力中取樣。

Omni.syntheticdata：提供與 Omniverse RTX 渲染器和 OmniGraph 計算圖系統(tǒng)的低層次集成，驅(qū)動 Replicator 的基準(zhǔn)真值數(shù)據(jù)提取注釋器，將任意輸出變量（AOV）從渲染器傳遞到注釋器。

注釋器：從 Omni.syntheticdata 擴(kuò)展程序中提取 AOV 和其他輸出，生成用于深度神經(jīng)網(wǎng)絡(luò)（DNN）訓(xùn)練的精確標(biāo)記注釋。

寫入器：處理來自注釋器的圖像和其他注釋，并生成用于訓(xùn)練的 DNN 專用數(shù)據(jù)格式。

用于 AI 訓(xùn)練的合成數(shù)據(jù)

為了訓(xùn)練一個用于感知任務(wù)的 DNN，通常需要從數(shù)百萬圖像中手動采集數(shù)據(jù)，然后對這些圖像進(jìn)行手動注釋和有選擇性的增強(qiáng)。

圖2：數(shù)據(jù)采集和注釋任務(wù)圖

人工數(shù)據(jù)采集和注釋是一項費(fèi)力而主觀的任務(wù)。在采集和注釋真實(shí)圖像的過程中，即便只是像大規(guī)模 2D bounding box 這樣的簡單注釋也會帶來許多人力協(xié)調(diào)方面的挑戰(zhàn)。分割等所涉及到的注釋存在資源限制，并且手動執(zhí)行此類任務(wù)時的準(zhǔn)確性要差得多。

圖3：語義分割任務(wù)的復(fù)雜性

在采集和注釋完畢后，數(shù)據(jù)將被轉(zhuǎn)換成 DNN 可用的格式，然后訓(xùn)練用于感知任務(wù)的 DNN。一般情況下，接下來會通過超參數(shù)調(diào)節(jié)或改變網(wǎng)絡(luò)結(jié)構(gòu)來優(yōu)化網(wǎng)絡(luò)性能。在對模型性能進(jìn)行分析時，可能會導(dǎo)致數(shù)據(jù)集發(fā)生變化，在大多數(shù)情況下，還需要進(jìn)行一輪手動數(shù)據(jù)采集和注釋，這種人工數(shù)據(jù)采集和注釋的迭代循環(huán)是昂貴、乏味且緩慢的。

憑借以合成方式生成的數(shù)據(jù)，團(tuán)隊就能以一種高成本效益的方式啟動和加強(qiáng)帶有準(zhǔn)確注釋的大規(guī)模訓(xùn)練數(shù)據(jù)的生成。此外，合成數(shù)據(jù)生成還有助于解決與長尾異常、缺乏可用訓(xùn)練數(shù)據(jù)和在線強(qiáng)化學(xué)習(xí)有關(guān)的挑戰(zhàn)。不同于人工采集和注釋的數(shù)據(jù)，以合成方式生成的數(shù)據(jù)具有較低的攤銷成本。由于數(shù)據(jù)采集/注釋和模型訓(xùn)練周期一般具有迭代性，因此這一點(diǎn)十分有益。

圖4：使用 Omniverse Replicator 生成帶有準(zhǔn)確注釋的大規(guī)模訓(xùn)練數(shù)據(jù)

Omniverse Replicator 通過利用 Omniverse 平臺的眾多核心功能和最佳實(shí)踐來解決這些挑戰(zhàn)，包括但不限于物理級精確、逼真的數(shù)據(jù)集和對超大數(shù)據(jù)集的訪問。

為了生成物理級精確的逼真數(shù)據(jù)集，需要使用各種 RTX 技術(shù)、基于物理學(xué)的材質(zhì)和物理引擎等 Omniverse 平臺的所有核心技術(shù)進(jìn)行準(zhǔn)確的光線追蹤和路徑追蹤。

圖5：使用 Omniverse Replicator 增強(qiáng)倉庫場景中的傳感器注釋

基于通用場景描述（USD）的 Omniverse 可以無縫連接其他 3D 應(yīng)用，因此開發(fā)者可以導(dǎo)入自定義內(nèi)容或編寫自己的工具來生成不同的域場景。由于需要在多個 GPU 和節(jié)點(diǎn)上進(jìn)行擴(kuò)展，因此這些資產(chǎn)的生成往往會成為瓶頸。

Omniverse Replicator 通過 Omniverse Farm 使團(tuán)隊能夠一起使用多個工作站或服務(wù)器驅(qū)動渲染或合成數(shù)據(jù)生成等工作。合成數(shù)據(jù)生成工作流程不是一蹴而就的，為了成功使用合成數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，必須在真實(shí)數(shù)據(jù)集上反復(fù)測試該網(wǎng)絡(luò)。Replicator 通過將模擬世界轉(zhuǎn)換為一組可學(xué)習(xí)的參數(shù)來提供這種以數(shù)據(jù)為中心的 AI 訓(xùn)練。

使用 Omniverse Replicator 和 TAO 工具套件加速現(xiàn)有的工作流程

開發(fā)者、工程師和研究人員可以將 Omniverse Replicator 與現(xiàn)有的工具進(jìn)行整合，來加快 AI 模型的訓(xùn)練速度。例如，在生成合成數(shù)據(jù)后，開發(fā)者可以利用 NVIDIA TAO 工具套件快速訓(xùn)練他們的 AI 模型。TAO 工具套件利用遷移學(xué)習(xí)讓開發(fā)者無需事先掌握 AI 專業(yè)知識，就能根據(jù)其用例來訓(xùn)練、調(diào)整和優(yōu)化模型。

圖6：用于合成數(shù)據(jù)生成和模型訓(xùn)練的 Omniverse Replicator 和 TAO 工具套件工作流程

使用 Omniverse Replicator 構(gòu)建應(yīng)用

Kinetic Vision 是一家為零售、內(nèi)部物流、消費(fèi)性制造和消費(fèi)性包裝品行業(yè)的大型客戶提供服務(wù)的系統(tǒng)集成商。為了向客戶提供高質(zhì)量的合成數(shù)據(jù)服務(wù)，該公司正在開發(fā)一個基于 Omniverse Replicator SDK 的新企業(yè)應(yīng)用。

當(dāng)訓(xùn)練深度學(xué)習(xí)模型所需的數(shù)據(jù)不可用時，Omniverse Replicator 會生成可用于增強(qiáng)有限數(shù)據(jù)集的合成數(shù)據(jù)。Lightning AI （前身為 Grid.AI）使用 NVIDIA Omniverse Replicator 生成基于通用場景描述（USD）格式、物理級精確的 3D 數(shù)據(jù)集，這些數(shù)據(jù)集可用于訓(xùn)練這些模型。用戶只需要拖放 3D 資產(chǎn)，然后在數(shù)據(jù)集生成后，就可以選擇最新、最先進(jìn)的計算機(jī)視覺模型并使用合成數(shù)據(jù)自動訓(xùn)練。

圖7：Lightning AI 應(yīng)用正在基于 Replicator 生成的合成數(shù)據(jù)來訓(xùn)練和測試 DNN。

NVIDIA Isaac Sim 和 DRIVE Sim 團(tuán)隊使用 Omniverse Replicator SDK 構(gòu)建特定領(lǐng)域的合成數(shù)據(jù)生成工具——用于機(jī)器人的 Isaac Replicator 和用于自動駕駛汽車訓(xùn)練的 DRIVE Replicator。Omniverse Replicator SDK 為開發(fā)者提供一套核心功能，方便開發(fā)者利用 Omniverse 平臺所提供的所有優(yōu)勢建立任何特定領(lǐng)域的合成數(shù)據(jù)生成管線。Replicator 通過將 Omniverse 作為 3D 模擬、渲染和 AI 開發(fā)能力的開發(fā)平臺，提供自定義合成數(shù)據(jù)生成管線。

圖8：使用 Omniverse Replicator 構(gòu)建的 NVIDIA Isaac Sim（左）和 DRIVE Sim（右）合成數(shù)據(jù)生成能力

使用Omniverse Replicator

現(xiàn)在可以在 Omniverse Code 中使用 Omniverse Replicator SDK。用戶可從 Omniverse Launcher 下載 Omniverse Code。

審核編輯 ：李倩